LSTM — Long Short-Term Memory

Varian RNN yang mengatasi vanishing gradient dengan gate mechanism (forget, input, output). Diciptakan Hochreiter & Schmidhuber 1997. Standar NLP sebelum Transformer.

From: LLM Wiki URL: llm-wiki.pages.dev/concepts/lstm Created: June 21, 2026 Updated: June 21, 2026 Read time: 1 min

LSTM

Definisi

LSTM (Long Short-Term Memory) adalah varian RNN yang mengatasi masalah vanishing gradient dengan menggunakan gate mechanism.

Komponen

Cell state (Cₜ) — ‘memory’ yang mengalir melalui waktu
Forget gate (fₜ) — memutuskan apa yang dibuang dari cell state
Input gate (iₜ) — memutuskan apa yang ditambahkan ke cell state
Output gate (oₜ) — memutuskan apa yang di-outputkan

Sejarah

1997 — Hochreiter & Schmidhuber
2000-an — Graves et al. (deep learning LSTM)
2013–2017 — Standar NLP, speech recognition
2017+ — Banyak digantikan Transformer