Peluncuran LLaMA 2

Ringkasan

Meta AI merilis LLaMA 2 pada 18 Juli 2023 — keluarga LLM open-source dengan lisensi komersial (OK, Open AI License). Ini adalah perubahan besar dari LLaMA 1 yang riset-only.

Model

• LLaMA 2 7B — 7B parameters
• LLaMA 2 13B — 13B parameters
• LLaMA 2 70B — 70B parameters
• Llama 2 Chat — fine-tuned dengan RLHF untuk dialog

Training

• 2 triliyun tokens (2x dari LLaMA 1)
• 40% lebih banyak data dari LLaMA 1
• GQA (Grouped-Query Attention)
• Context window: 4.096 token

Lisensi

Lisensi Open Weights License — boleh:

• ✅ Commercial use
• ✅ Modifikasi
• ✅ Distribusi
• ❌ Tidak boleh digunakan untuk training LLM lain (kecuali Llama derivative)

Impact

• Open-source LLM enterprise-ready
• Microsoft jadi partner utama (Azure distribution)
• Startup & enterprise bisa deploy LLM sendiri
• Open-source vs proprietary — race dimulai