Peluncuran LLaMA 2
Ringkasan
Meta AI merilis LLaMA 2 pada 18 Juli 2023 — keluarga LLM open-source dengan lisensi komersial (OK, Open AI License). Ini adalah perubahan besar dari LLaMA 1 yang riset-only.
Model
- LLaMA 2 7B — 7B parameters
- LLaMA 2 13B — 13B parameters
- LLaMA 2 70B — 70B parameters
- Llama 2 Chat — fine-tuned dengan RLHF untuk dialog
Training
- 2 triliyun tokens (2x dari LLaMA 1)
- 40% lebih banyak data dari LLaMA 1
- GQA (Grouped-Query Attention)
- Context window: 4.096 token
Lisensi
Lisensi Open Weights License — boleh:
- ✅ Commercial use
- ✅ Modifikasi
- ✅ Distribusi
- ❌ Tidak boleh digunakan untuk training LLM lain (kecuali Llama derivative)
Impact
- Open-source LLM enterprise-ready
- Microsoft jadi partner utama (Azure distribution)
- Startup & enterprise bisa deploy LLM sendiri
- Open-source vs proprietary — race dimulai