Paradigma ML di mana label dibuat secara otomatis dari data itu sendiri — tidak butuh anotasi manusia.
Contoh
Masked Language Modeling (BERT) — prediksi kata yang disembunyikan
Next Token Prediction (GPT) — prediksi kata berikutnya
Contrastive Learning (SimCLR, CLIP) — representasi yang membedakan instance
Masked Image Modeling (MAE, BEiT)
Pentingnya
Self-supervised learning adalah fondasi revolusi LLM: model belajar dari triliunan token teks internet tanpa anotasi manual, lalu di-fine-tune untuk tugas spesifik.
Connected to
Not yet written
The following pages are referenced but don't exist yet — they'd make good future additions.