Self-Supervised Learning

Paradigma ML di mana label dibuat otomatis dari data itu sendiri (mis. masked word prediction, next sentence prediction). Fondasi LLM modern.

From: LLM Wiki URL: llm-wiki.pages.dev/concepts/self-supervised-learning Created: June 21, 2026 Updated: June 21, 2026 Read time: 1 min

Self-Supervised Learning

Definisi

Paradigma ML di mana label dibuat secara otomatis dari data itu sendiri — tidak butuh anotasi manusia.

Contoh

Masked Language Modeling (BERT) — prediksi kata yang disembunyikan
Next Token Prediction (GPT) — prediksi kata berikutnya
Contrastive Learning (SimCLR, CLIP) — representasi yang membedakan instance
Masked Image Modeling (MAE, BEiT)

Pentingnya

Self-supervised learning adalah fondasi revolusi LLM: model belajar dari triliunan token teks internet tanpa anotasi manual, lalu di-fine-tune untuk tugas spesifik.