Peluncuran GPT-3

Ringkasan

OpenAI merilis GPT-3 (Generative Pre-trained Transformer 3) pada Juni 2020 — LLM 175 miliar parameter yang menunjukkan emergent behavior seperti few-shot learning, chain-of-thought reasoning, dan code generation.

Skala

• Parameters: 175 miliar (100x dari GPT-2)
• Training tokens: 300 miliar
• Compute: ~3,640 PF-days, $4.6M estimated
• Context window: 2.048 token

Kemampuan Emergent

• In-context learning — belajar dari contoh di prompt
• Chain-of-thought reasoning — penalaran multi-langkah
• Code generation — Python, JavaScript, dll
• Translation — banyak bahasa
• Summarization
• Question answering
• Creative writing — puisi, cerita, dialog

Aplikasi Pertama

Setelah GPT-3, muncul gelombang startup yang menggunakan API GPT-3:

• Copy.ai, Jasper — copy writing
• Replika — chatbot AI
• Viable — analisis feedback customer
• Latitude — game AI (AI Dungeon)

Dampak

• LLM race dimulai — Google (LaMDA, PaLM), Meta (OPT, LLaMA)
• Prompt engineering menjadi disiplin baru
• AI as a service (API) menjadi model bisnis
• Emergent abilities — konsep Wei et al. 2022

GPT-3 adalah nenek moyang semua LLM consumer modern.