Recurrent Neural Network (RNN)
Arsitektur neural network untuk memproses data sekuensial (teks, audio, time series) dengan hidden state yang membawa memori dari langkah sebelumnya.
From: LLM Wiki URL: llm-wiki.pages.dev/concepts/recurrent-neural-network Created: June 21, 2026 Updated: June 21, 2026 Read time: 1 min
Recurrent Neural Network
Definisi
RNN memproses data sekuensial dengan hidden state yang diperbarui di setiap langkah waktu, membawa informasi dari masa lalu.
Masalah
- Vanishing gradients — gradien menghilang untuk sequence panjang
- Exploding gradients — gradien meledak
Solusi
- LSTM (Long Short-Term Memory, 1997) — gate forget/input/output
- GRU (Gated Recurrent Unit, 2014) — versi sederhana LSTM
- Bidirectional RNN — proses sequence dua arah
Era Pasca-2017
Transformer (Vaswani et al. 2017) menggeser RNN untuk NLP karena:
- Parallelizable (RNN sequential)
- Attention lebih baik untuk long-range dependencies
- Skala lebih baik