Giới thiệu về LSTM

Hi mọi người, mình là Hiếu, ở bài viết trước mình có giới thiệu về RNN. Tuy RNN là một mô hình khá hay nhưng nó vẫn sẽ rất có thể bị Exploding Gradient hoặc Vanishing Gradient, từ đó gây ra hiện tượng đầu ra sai lệch cho mô hình. Hôm nay mình sẽ giới thiệu cho các bạn về LSTM – một mô hình có thể coi là một sự nâng cấp của RNN, giúp hạn chế hiện tượng Exploding Gradient và Vanishing Gradient.

1. Định nghĩa về LSTM

LSTM (Long Short-Term Memory) là một loại mạng nơ-ron hồi tiếp (RNN) được thiết kế để giải quyết vấn đề về việc ghi nhớ thông tin trong chuỗi dữ liệu dài hạn, vốn là điểm yếu của các RNN truyền thống do hiện tượng mất dần/lan truyền gradient. LSTM nổi bật bởi khả năng lưu trữ và truy xuất thông tin trong thời gian dài thông qua cấu trúc đặc biệt của các "cổng" (gates).

Sơ đồ hoạt động của LSTM như sau:

Nhìn rất quen đúng chứ, chúng ta có thể nói vui với nhau rằng LSTM là một RNN với những trang bị xịn hơn. Điểm đặc trưng của LSTM là các cổng, giúp kiểm soát việc truy xuất thông tin và việc lưu trữ.

LSTM bao gồm các đơn vị bộ nhớ (hay còn gọi là các memory cell) và 3 cổng chính để điều chỉnh luồng thông tin:

• Cổng quên (Forget Gate): Quyết định thông tin nào từ trạng thái ô (cell state) sẽ bị loại bỏ. Cổng quên sử dụng hàm sigmoid để tạo ra giá trị từ 0 (quên hoàn toàn) đến 1 (giữ hoàn toàn).
• Cổng nhập (Input Gate): Quyết định xem thông tin mới nào sẽ được thêm vào trạng thái ô. Cổng này cũng sử dụng hàm sigmoid để quyết định và hàm tanh để tạo ra giá trị mới.
• Cổng xuất (Output Gate): Quyết định thông tin nào từ trạng thái ô sẽ được sử dụng để tạo đầu ra. Kết hợp sigmoid và tanh để lọc và truyền thông tin.

Trạng thái ô (cell state) là "bộ nhớ dài hạn" của LSTM, cho phép lưu trữ thông tin qua nhiều bước thời gian. Trạng thái ẩn (hidden state) là đầu ra ngắn hạn, truyền thông tin đến bước tiếp theo.

Cơ chế hoạt động của LSTM

1. Bước 1: Quên thông tin không cần thiết: Cổng quên sử dụng đầu vào hiện tại và trạng thái ẩn trước đó để quyết định thông tin nào trong trạng thái ô nên được bỏ đi.
2. Bước 2: Cập nhật trạng thái ô: Cổng nhập chọn thông tin mới để thêm vào trạng thái ô, kết hợp với giá trị được tạo từ hàm tanh.
3. Bước 3: Tạo đầu ra: Cổng xuất lọc trạng thái ô qua hàm tanh và sigmoid để tạo trạng thái ẩn mới, đồng thời là đầu ra của bước hiện tại.

Ưu điểm của LSTM

• Xử lý chuỗi dài: Nhờ cơ chế trạng thái ô, LSTM có thể lưu giữ thông tin qua nhiều bước thời gian, phù hợp với các bài toán như dịch máy, phân tích cảm xúc, hay dự đoán chuỗi thời gian.
• Khắc phục vấn đề gradient: Cổng quên và cổng nhập giúp điều chỉnh luồng thông tin, giảm thiểu vấn đề gradient biến mất hoặc bùng nổ.
• Linh hoạt: Có thể áp dụng cho nhiều loại dữ liệu chuỗi, từ văn bản, âm thanh đến dữ liệu tài chính.

Hạn chế

• Phức tạp tính toán: LSTM yêu cầu nhiều tài nguyên tính toán hơn RNN thông thường do cấu trúc cổng phức tạp.
• Khó tối ưu hóa: Việc huấn luyện LSTM có thể phức tạp, đòi hỏi kỹ thuật điều chỉnh siêu tham số cẩn thận.
• Bị thay thế bởi Transformer: Trong nhiều ứng dụng hiện đại (như NLP), mô hình Transformer (như BERT, GPT) tỏ ra hiệu quả hơn nhờ cơ chế attention.

2. Chi tiết hoạt động của LSTM

Ok, sơ lược về cách hoạt động của LSTM là như vậy, nhưng mà để hiểu rõ ta cần sử dụng thêm một chút toán nữa, sau đây là cách các thành phần trong LSTM được tính toán.

Trước khi đi vào chi tiết từng công thức, mình sẽ chú thích các thành phần trong LSTM, cũng như RNN, đa số có các ký hiệu mà chúng ta rất quen:

• $x_t$: Đầu vào tại thời điểm $t$ (vector đầu vào). Đây là dữ liệu được nhận ở bước hiện tại (ví dụ như là 1 từ trong câu, giá trị đo tại thời điểm $t$,...).

• $h_{t-1}$: Trạng thái ẩn của bước trước đó ($t-1$). Chứa thông tin của toàn bộ chuỗi dữ liệu trước thời điểm $t$, như một bộ nhớ ngắn hạn.

• $W_f, W_i, W_C, W_O$: Ma trận trọng số cho từng thành phần của mạng:

  • $W_f$: Trọng số của cổng quên (forget gate).
  • $W_i$: Trọng số cổng nhập (input gate).
  • $W_C$: Trọng số tạo giá trị ứng viên (candidate state).
  • $W_O$: Trọng số cổng xuất (output gate).

  Các ma trận là các tham số học được trong quá trình huấn luyện, quyết định độ quan trọng của đầu vào và các trạng thái ẩn trước đó để tính tín hiệu cho từng cổng.

• $b_f, b_i, b_C, b_O$: Các vector bias cho từng cổng:

  • $b_f$: Bias cho cổng quên.
  • $b_i$: Bias cho cổng nhập.
  • $b_C$: Bias cho giá trị ứng viên.
  • $b_O$: Bias cho cổng xuất.

  Bias giúp tăng tính linh hoạt cho mô hình khi kết hợp với các phép nhân ma trận.

• $C_{t-1}$: Trạng thái ô (Cell state) tại thời điểm $t-1$, là bộ nhớ dài hạn của LSTM có chức năng lưu trữ thông tin quan trọng xuyên suốt chuỗi dữ liệu.

• $\sigma$: Hàm kích hoạt sigmoid, cho đầu ra từ 0 đến 1 giúp điều khiển mức độ thông tin đi qua các cổng.

• $\tanh$: Hàm kích hoạt tanh, cho đầu ra từ -1 đến 1 để chuẩn hóa giá trị cập nhật trạng thái ô và trạng thái ẩn.

Cổng quên (Forget Gate)

$$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$$

Hàm sigmoid cho đầu ra từ 0 đến 1 để cho cổng quên quyết định nên giữ lại hay loại bỏ thông tin nào từ trạng thái của ô trước $C_{t-1}$:

• Nếu $f_t$ gần 1: Giữ lại thông tin cũ.
• Nếu $f_t$ gần 0: Quên thông tin đó.

Cổng nhập (Input Gate)

$$i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)$$

Cổng nhập cũng sử dụng hàm sigmoid để xác định mức độ để cập nhật trạng thái mới, cổng này sẽ kiểm soát lượng thông tin mới sẽ được thêm vào trạng thái ô hiện tại.

Giá trị ứng viên trạng thái ô (Candidate Cell State)

$$\tilde{C}_t = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C)$$

Hàm tanh cho giá trị từ -1 đến 1 nhằm tạo ra một giá trị ứng viên để bổ sung thông tin mới vào trạng thái ô.

Cập nhật trạng thái ô (Cell State Update)

$$C_t = f_t \cdot C_{t-1} + i_t \cdot \tilde{C}_t$$

Trạng thái ô tại thời điểm $t$ là sự kết hợp giữa thông tin cũ (sau khi đã được chọn lọc bởi cổng quên) và thông tin mới (được xác định qua cổng nhập và giá trị ứng viên). Phép toán sẽ nhân từng thành phần để chọn lọc thông tin giữ lại và thông tin mới.

Cổng xuất (Output Gate)

$$o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)$$

Cổng xuất quyết định phần nào của trạng thái ô sẽ được đưa ra làm trạng thái ẩn $h_t$, là đầu ra của LSTM tại thời điểm hiện tại.

Trạng thái ẩn (Hidden State)

$$h_t = o_t \cdot \tanh(C_t)$$

Trạng thái ẩn là đầu ra cuối cùng của ô, sẽ làm đầu vào cho bước tiếp theo hoặc lớp phía sau (Chẳng hạn như lớp dự đoán).

3. Quy trình huấn luyện của LSTM

Ok, nếu mọi người đã đọc đến đây, thì hoàn toàn các bạn đã hiểu về cơ chế của LSTM rồi đó, bởi vì quy trình huấn luyện LSTM bao gồm các bước cơ bản giống với RNN: Lan truyền thuận -> Tính hàm mất mát -> Lan truyền ngược -> Cập nhật trọng số. Cái khác là LSTM có cấu trúc phức tạp nên các bước này có những đặc điểm riêng.

3.1 Lan truyền thuận (Forward Propagation)

Giống với RNN, tại mỗi bước thời gian $t$, mạng nhận đầu vào $x_t$, kết hợp với trạng thái ẩn trước $h_{t-1}$, tính trạng thái ẩn mới $h_t$ và tạo đầu ra thông qua một phép biến đổi (Ở đây mình dùng hàm $\tanh$ như đã trình bày ở trên).

Tuy nhiên với cấu trúc đặc biệt, LSTM sử dụng trạng thái ô và trạng thái ẩn cùng với 3 cổng để xử lý thông tin, quy trình của chúng mình đã trình bày ở cơ chế hoạt động ở mục 1.

3.2 Tính hàm mất mát (Loss)

Giống như RNN, hàm mất mát được tính dựa trên sự khác biệt giữa đầu ra dự đoán (Dựa trên $h_t$) và giá trị thực tế. Các hàm mất mát phổ biến gồm MSE cho bài toán hồi quy hoặc Cross-Entropy Loss cho bài toán phân loại.

Bước này ở LSTM không có khác biệt lớn, chỉ là LSTM thường được dùng trong các bài toán phức tạp (Dịch máy, dự đoán chuỗi), hàm mất mát có thể được tính trên toàn bộ chuỗi hoặc trên các đầu ra tại mỗi bước thời gian.

3.3 Lan truyền ngược qua thời gian (Backpropagation Through Time – BPTT)

Điểm giống với RNN là Gradient của hàm mất mát được tính ngược từ đầu ra về các tham số (Các trọng số $W$ và bias $b$) qua các bước thời gian. Gradient sẽ được truyền ngược qua các trạng thái ẩn để cập nhật trọng số.

Tuy nhiên, điểm “ăn tiền” của LSTM là:

• Tránh “biến mất” gradient: Nhờ cơ chế trạng thái ô và các cổng, LSTM duy trì thông tin qua các bước thời gian dài hiệu quả hơn. Trạng thái ô ($C_t$) truyền thông tin gần như tuyến tính, giảm thiểu việc gradient bị thu hẹp quá mức.
• Lan truyền ngược qua trạng thái ô: Trạng thái ô ($C_t$) được cập nhật liên tục qua các bước thời gian, và gradient được truyền ngược qua $C_t$ và $f_t$, giúp duy trì thông tin dài hạn.

Nhưng mà, với một đầu ra xịn hơn so với RNN, thì nó cũng phải bắt buộc thực hiện nhiều phép tính toán phức tạp hơn và nhiều hơn mà cụ thể là trong việc tính gradient:

• Gradient của hàm mất mát được tính qua $h_t$, sau đó lan truyền ngược qua $o_t$, $C_t$, $f_t$, $i_t$ và $\tilde{C}_t$.
• Các cổng sử dụng hàm sigmoid và tanh, nên gradient được tính bằng các áp dụng chain rule.

Nếu như bạn đã quên, thì công thức chain rule là:

Nếu:
$y = f(u)$
$u = g(x)$
Thì:

$$\frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx}$$

3.4 Cập nhật trọng số

LSTM cũng sử dụng các thuật toán tối ưu (Như SGD, Adam,…) Để cập nhật các tham số dựa trên Gradient:

$$W \leftarrow W - \eta \cdot \frac{\partial L}{\partial W}$$

Với $\eta$ là learning rate, $W$ là tham số.

Trong LSTM có nhiều tham số hơn do có các cổng và các ô, nên việc cập nhật cũng sẽ nhiều hơn:

• Trọng số và bias của cổng quên ($W_f, b_f$)
• Trọng số và bias của cổng nhập ($W_i, b_i, W_C, b_C$)
• Trọng số và bias của cổng xuất ($W_o, b_o$)

Do số lượng tham số nhiều như vậy nên LSTM thường cần nhiều tài nguyên tính toán hơn RNN.

3.5 Gradient cụ thể cho từng tham số của LSTM

Ta sử dụng quy tắc chuỗi (Chain rule) để lan truyền ngược gradient của hàm mất mát $L$ qua các bước thời gian. Gradient của $L$ ảnh hưởng đối với từng tham số cho đến các cổng và trạng thái ô. Vì yêu cầu của từng bài toán khác nhau nên $L$ sẽ được tính tùy theo đề bài.

3.5.1 Gradient của trạng thái ẩn và trạng thái ô

Gradient của $h_t$

$$\frac{\partial L}{\partial h_t}$$

Gradient của $C_t$

$$h_t = o_t \cdot \tanh(C_t) \implies \frac{\partial h_t}{\partial C_t} = o_t \cdot (1 - \tanh^2(C_t))$$

$$\frac{\partial L}{\partial C_t} = \frac{\partial L}{\partial h_t} \cdot \frac{\partial h_t}{\partial C_t} = \frac{\partial L}{\partial h_t} \cdot o_t \cdot (1 - \tanh^2(C_t))$$

Gradient của $o_t$

$$\frac{\partial h_t}{\partial o_t} = \tanh(C_t)$$

$$\frac{\partial L}{\partial o_t} = \frac{\partial L}{\partial h_t} \cdot \tanh(C_t)$$

3.5.2 Gradient của cổng xuất ($W_o, b_o$)

Từ lúc này, nhiều chỗ mình sẽ để $z_t = W_o \cdot [h_{t-1}, x_t]$ để cho gọn nhé

Gradient của $o_t$

$$o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o) \implies \frac{\partial o_t}{\partial (W_o \cdot [h_{t-1}, x_t] + b_o)} = o_t \cdot (1 - o_t)$$

Lý do là vì ta có hàm sigmoid có công thức: $\sigma(z) = \frac{1}{1 + e^{-z}}$ mà

$$\frac{d\sigma(z)}{dz} = \sigma(z) \cdot (1 - \sigma(z))$$

Mà $o_t = \sigma(z_t)$

Gradient đối với $W_o$

$$\frac{\partial L}{\partial W_o} = \frac{\partial L}{\partial o_t} \cdot \frac{\partial o_t}{\partial (W_o \cdot [h_{t-1}, x_t])} \cdot \frac{\partial (W_o \cdot [h_{t-1}, x_t])}{\partial W_o}$$

Mà:

$$\frac{\partial h_t}{\partial o_t} = \tanh(C_t) \implies \frac{\partial L}{\partial o_t} = \frac{\partial L}{\partial h_t} \cdot \frac{\partial h_t}{\partial o_t} = \frac{\partial L}{\partial h_t} \cdot \tanh(C_t)$$

$$\frac{d\sigma(z)}{dz} = \sigma(z) \cdot (1 - \sigma(z))$$

$$\frac{\partial (W_o \cdot [h_{t-1}, x_t])}{\partial W_o} = [h_{t-1}, x_t]^T \quad (\text{Dùng chain-rule})$$

Nên:

$$\frac{\partial L}{\partial W_o} = \left( \frac{\partial L}{\partial h_t} \cdot \tanh(C_t) \right) \cdot o_t \cdot (1 - o_t) \cdot [h_{t-1}, x_t]^T$$

Kết quả sẽ là ma trận $(d_h, d_h + d_x)$ ($d_h$ là số chiều của hidden state, $d_x$ là số chiều của input vector).

Gradient đối với $b_o$:

$$\frac{\partial L}{\partial b_o} = \frac{\partial L}{\partial o_t} \cdot \frac{\partial o_t}{\partial z_t} \cdot \frac{\partial z_t}{\partial b_o} = \frac{\partial L}{\partial h_t} \cdot \tanh(C_t) \cdot o_t \cdot (1 - o_t)$$

Kết quả là vector $d_h$

3.5.3 Gradient của trạng thái ô trước ($C_{t-1}$) và các cổng khác

Gradient của cổng quên ($f_t$)

$$\frac{\partial C_t}{\partial f_t} = C_{t-1}$$

$$\frac{\partial L}{\partial f_t} = \frac{\partial L}{\partial C_t} \cdot C_{t-1}$$

Gradient đối với $W_f, b_f$

$$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) \implies \frac{\partial f_t}{\partial (W_f \cdot [h_{t-1}, x_t] + b_f)} = f_t \cdot (1 - f_t)$$

$$\frac{\partial L}{\partial W_f} = \left( \frac{\partial L}{\partial C_t} \cdot C_{t-1} \right) \cdot f_t \cdot (1 - f_t) \cdot [h_{t-1}, x_t]^T$$

$$\frac{\partial L}{\partial b_f} = \left( \frac{\partial L}{\partial C_t} \cdot C_{t-1} \right) \cdot (f_t \cdot (1 - f_t))$$

Gradient của cổng nhập ($i_t$) và giá trị ứng viên ($\tilde{C}_t$)

$$\frac{\partial C_t}{\partial i_t} = \tilde{C}_t, \quad \frac{\partial C_t}{\partial \tilde{C}_t} = i_t$$

$$\frac{\partial L}{\partial i_t} = \frac{\partial L}{\partial C_t} \cdot \tilde{C}_t, \quad \frac{\partial L}{\partial \tilde{C}_t} = \frac{\partial L}{\partial C_t} \cdot i_t$$

Gradient đối với $W_i, b_i$

$$i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i) \implies \frac{\partial i_t}{\partial (W_i \cdot [h_{t-1}, x_t] + b_i)} = i_t \cdot (1 - i_t)$$

$$\frac{\partial L}{\partial W_i} = \left( \frac{\partial L}{\partial C_t} \cdot \tilde{C}t \right) \cdot (i_t \cdot (1 - i_t)) \cdot [h{t-1}, x_t]^T$$

$$\frac{\partial L}{\partial b_i} = \left( \frac{\partial L}{\partial C_t} \cdot \tilde{C}_t \right) \cdot (i_t \cdot (1 - i_t))$$

Gradient đối với $W_C, b_C$

$$\tilde{C}t = \tanh(W_C \cdot [h{t-1}, x_t] + b_C) \implies \frac{\partial \tilde{C}t}{\partial (W_C \cdot [h{t-1}, x_t] + b_C)} = 1 - \tilde{C}_t^2$$

$$\frac{\partial L}{\partial W_C} = \left( \frac{\partial L}{\partial C_t} \cdot i_t \right) \cdot (1 - \tilde{C}t^2) \cdot [h{t-1}, x_t]^T$$

$$\frac{\partial L}{\partial b_C} = \left( \frac{\partial L}{\partial C_t} \cdot i_t \right) \cdot (1 - \tilde{C}_t^2)$$

####3.5.4 Gradient truyền ngược qua thời gian

Gradient của $h_{t-1}$ và $x_t$

Mỗi cổng ($f_t, i_t, \tilde{C}t, o_t$) đều phụ thuộc vào $[h{t-1}, x_t]$, nên gradient đối với $h_{t-1}$ là tổng đóng góp từ tất cả các cổng:

$$\frac{\partial L}{\partial h_{t-1}} = \sum_{g \in {f_t, i_t, \tilde{C}t, o_t}} \left( \frac{\partial L}{\partial g} \cdot \frac{\partial g}{\partial (W_g \cdot [h{t-1}, x_t])} \cdot W_g^{h_{t-1}} \right)$$

Trong đó $W_g^{h_{t-1}}$ là phần của ma trận $W_g$ tương ứng với $h_{t-1}$. Gradient này sẽ được truyền ngược về các bước trước ($t-1, t-2, \ldots$).

3.6 Các điểm cần lưu ý khi huấn luyện LSTM

• Khởi tạo tham số: Trọng số và bias thường được khởi tạo ngẫu nhiên hoặc sử dụng kỹ thuật như Xavier initialization. Bias của cổng quên đôi khi được khởi tạo lớn hơn (ví dụ: 1.0) để khuyến khích giữ thông tin ban đầu.
• Gradient Clipping: Để tránh bùng nổ gradient, gradient thường được cắt nếu vượt quá một ngưỡng).
• Tính toán phức tạp: Do LSTM có nhiều tham số, việc tính gradient thủ công rất phức tạp. Trong thực tế, các framework như TensorFlow hoặc PyTorch tự động tính gradient bằng autograd.
• Chuẩn hóa gradient (Gradient Clipping): Để tránh bùng nổ gradient, gradient thường được cắt (clip) nếu vượt quá ngưỡng nhất định.
• Chuẩn bị dữ liệu:
  • Dữ liệu chuỗi cần được xử lý thành các batch với độ dài cố định hoặc sử dụng padding cho các chuỗi có độ dài khác nhau.
  • Với bài toán như NLP, đầu vào $x_t$ thường là các vector embedding (như Word2Vec, GloVe).
• Tối ưu hóa siêu tham số: Learning rate, số đơn vị LSTM, số lớp (layers), và kích thước batch cần được điều chỉnh cẩn thận để đạt hiệu quả tốt.

Đoạn kết

Vậy là chúng mình đã đi hết LSTM, một mô hình RNN cải tiến, tuy giải quyết khá tốt vấn đề bùng nổ gradient hoặc vanishing gradient, tuy nhiên do phải tính toán khá nhiều, nên là bài viết sau mình sẽ giới thiệu cho mọi người về Transformer.