Concepts Good

Recurrent Neural Network (RNN)

Arsitektur neural network untuk memproses data sekuensial (teks, audio, time series) dengan hidden state yang membawa memori dari langkah sebelumnya.

RNN: input sequence → output sequence. Varian: LSTM (1997), GRU (2014). Banyak digantikan Transformer sejak 2017 untuk NLP.

June 21, 2026 1 min concepts

Also known as: RNN

Recurrent Neural Network

Definisi

RNN memproses data sekuensial dengan hidden state yang diperbarui di setiap langkah waktu, membawa informasi dari masa lalu.

Masalah

Vanishing gradients — gradien menghilang untuk sequence panjang
Exploding gradients — gradien meledak

Solusi

LSTM (Long Short-Term Memory, 1997) — gate forget/input/output
GRU (Gated Recurrent Unit, 2014) — versi sederhana LSTM
Bidirectional RNN — proses sequence dua arah

Era Pasca-2017

Transformer (Vaswani et al. 2017) menggeser RNN untuk NLP karena:

Parallelizable (RNN sequential)
Attention lebih baik untuk long-range dependencies
Skala lebih baik

Connected to

Not yet written

The following pages are referenced but don't exist yet — they'd make good future additions.

/concepts/neural-network

References

Wikipedia