Peluncuran GPT-3
Ringkasan
OpenAI merilis GPT-3 (Generative Pre-trained Transformer 3) pada Juni 2020 — LLM 175 miliar parameter yang menunjukkan emergent behavior seperti few-shot learning, chain-of-thought reasoning, dan code generation.
Skala
- Parameters: 175 miliar (100x dari GPT-2)
- Training tokens: 300 miliar
- Compute: ~3,640 PF-days, $4.6M estimated
- Context window: 2.048 token
Kemampuan Emergent
- In-context learning — belajar dari contoh di prompt
- Chain-of-thought reasoning — penalaran multi-langkah
- Code generation — Python, JavaScript, dll
- Translation — banyak bahasa
- Summarization
- Question answering
- Creative writing — puisi, cerita, dialog
Aplikasi Pertama
Setelah GPT-3, muncul gelombang startup yang menggunakan API GPT-3:
- Copy.ai, Jasper — copy writing
- Replika — chatbot AI
- Viable — analisis feedback customer
- Latitude — game AI (AI Dungeon)
Dampak
- LLM race dimulai — Google (LaMDA, PaLM), Meta (OPT, LLaMA)
- Prompt engineering menjadi disiplin baru
- AI as a service (API) menjadi model bisnis
- Emergent abilities — konsep Wei et al. 2022
GPT-3 adalah nenek moyang semua LLM consumer modern.