Peluncuran GPT-2

Ringkasan

OpenAI merilis GPT-2 (1,5B parameter) pada 14 Februari 2019. OpenAI awalnya menolak merilis model penuh karena khawatir digunakan untuk generate disinformasi massal.

Model

• 1,5B parameter (10x GPT-1)
• 1024-token context window
• Zero-shot benchmark SOTA di banyak tugas

Staged Release

• Februari 2019 — small model (117M) demo
• Mei 2019 — medium (345M) untuk AI2 & TTI
• Agustus 2019 — large (774M)
• November 2019 — full (1,5B)

Signifikansi

• Kontroversi “too dangerous to release” memicu perdebatan global tentang AI safety
• Mendorong diskursus tentang responsible AI
• Zero-shot capabilities meningkat
• Menjadi model untuk distilasi (DistilGPT2)

GPT-2 adalah bukti bahwa model bahasa yang lebih besar menunjukkan kemampuan baru tanpa fine-tuning — fondasi untuk GPT-3.