Kemampuan yang tidak diprogram secara eksplisit, muncul dari skala model + data. LLM menunjukkan emergent abilities pada skala tertentu (reasoning, in-context learning).
Emergent abilities: in-context learning, chain-of-thought, multi-step reasoning muncul di skala parameter tertentu. Dipopulerkan Wei et al. 2022. Kontroversi: Schaeffer et al. 2023 argumen 'mirage'.
Emergent behavior adalah kemampuan yang muncul secara tak terduga saat model mencapai skala tertentu — tidak ada instruksi eksplisit untuk kemampuan itu.
Contoh LLM
In-context learning (GPT-3, 175B) — belajar dari contoh di prompt
Chain-of-thought reasoning (PaLM 540B)
Multi-step arithmetic
Code generation yang benar
Translation antar bahasa tanpa training eksplisit
Analogi dan metafora
Kontroversi
Wei et al. 2022 — “Emergent Abilities of Large Language Models”
Schaeffer et al. 2023 — “Are Emergent Abilities of Large Language Models a Mirage?” — argumen bahwa emergence tergantung metric
Connected to
Not yet written
The following pages are referenced but don't exist yet — they'd make good future additions.