Lan Truyền Ngược (Backpropagation) Là Gì? – Cách mạng nhiều lớp học bằng gradient

Bài 3.3: Lan truyền ngược là gì? – Cách mạng nhiều lớp học bằng gradient

Mục tiêu bài học

  • Hiểu lan truyền ngược (backpropagation) là gì.
  • Biết tại sao gradient thôi là chưa đủ, nếu mạng có nhiều lớp.
  • Nhìn rõ cách gradient được truyền ngược lại từ đầu ra về các lớp trước đó.

1. Từ mạng 1 lớp đến mạng nhiều lớp

Trong Bài 3.2, ta đã huấn luyện một mạng đơn giản với 1 lớp duy nhất:

\[ \hat{y} = w \cdot x + b \]

Nhưng trong thực tế, mạng nơ ron thường có nhiều lớp ẩn như:

x → [Lớp ẩn 1] → [Lớp ẩn 2] → … → [Lớp ra]

Vậy làm sao để cập nhật trọng số của từng lớp khi chỉ có sai số từ lớp cuối?

2. Khó khăn mới: Gradient không tự chảy về quá khứ

Giả sử mạng gồm 2 lớp:

\[ \text{Lớp 1: } h = \text{ReLU}(w_1 \cdot x + b_1) \] \[ \text{Lớp 2: } \hat{y} = w_2 \cdot h + b_2 \]

Khi tính sai số ở đầu ra (ví dụ dùng MSE):

\[ \text{Loss} = \frac{1}{2}(y – \hat{y})^2 \] \[ \text{Sai số chỉ xuất hiện ở lớp 2} \]

Vấn đề: Không thể cập nhật w1 nếu không biết gradient của nó!

3. Cách giải: Lan truyền ngược (Backpropagation)

Backpropagation là thuật toán dùng đạo hàm chuỗi (chain rule) để lan truyền sai số từ lớp cuối ngược về các lớp trước, từ đó tính được gradient của mọi tham số trong mạng.


4. Giải thích bằng hình ảnh

Giả sử mạng có cấu trúc:

x → [Lớp ẩn: h = f(z₁)] → [Lớp ra: ŷ = g(z₂)] → Loss

Với:

  • z1=w1⋅x+b1z
  • h=f(z1)
  • z2=w2⋅h+b2
  • y^=g(z2)

Khi đó:

\[ \frac{\partial \text{Loss}}{\partial w_2} = \frac{\partial \text{Loss}}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial z_2} \cdot \frac{\partial z_2}{\partial w_2} \] \[ \frac{\partial \text{Loss}}{\partial w_1} = \frac{\partial \text{Loss}}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial z_2} \cdot \frac{\partial z_2}{\partial h} \cdot \frac{\partial h}{\partial z_1} \cdot \frac{\partial z_1}{\partial w_1} \]

→ Như vậy, muốn cập nhật w1​ phải truy vết toàn bộ chuỗi gradient từ đầu ra quay ngược về.

5. Ví dụ đơn giản: mạng 2 lớp

Giả sử:

  • x=1, y=3
  • w1=2.0, b1=0
  • w2=1.0, b2=0
  • Hàm kích hoạt: đơn giản là f(x)=x (để dễ tính)

Lan truyền xuôi (forward):

\[ z_1 = w_1 \cdot x + b_1 = 2.0 \cdot 1 + 0 = 2.0 \] \[ h = f(z_1) = 2.0 \] \[ z_2 = w_2 \cdot h + b_2 = 1.0 \cdot 2.0 = 2.0 \] \[ \hat{y} = z_2 = 2.0 \] \[ \text{Sai số: } e = \hat{y} – y = 2.0 – 3.0 = -1.0 \] \[ \text{Loss} = \frac{1}{2}(-1.0)^2 = 0.5 \]

Lan truyền ngược:

  • Gradient theo w2:
    \[ \frac{\partial \text{Loss}}{\partial w_2} = \frac{\partial \text{Loss}}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial w_2} = (-1.0) \cdot h = -1.0 \cdot 2.0 = -2.0 \]
    • Gradient theo w1:
    \[ \frac{\partial \text{Loss}}{\partial w_1} = \frac{\partial \text{Loss}}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial h} \cdot \frac{\partial h}{\partial w_1} \] \[ = (-1.0) \cdot w_2 \cdot x = -1.0 \cdot 1.0 \cdot 1 = -1.0 \]

    6. Cập nhật tham số

    Nếu learning rate α=0.1

    \[ w_2 \leftarrow w_2 – \alpha \cdot (-2.0) = 1.0 + 0.2 = 1.2 \] \[ w_1 \leftarrow w_1 – \alpha \cdot (-1.0) = 2.0 + 0.1 = 2.1 \]

    → Mạng đã tự động cập nhật được tất cả trọng số, kể cả lớp ẩn, nhờ backpropagation.

    7. Tổng kết vai trò của backpropagation

    Thành phầnVai trò
    GradientCho biết hướng và độ lớn cần cập nhật tại mỗi lớp
    Đạo hàm chuỗiCho phép nối gradient từ lớp cuối về lớp đầu
    BackpropagationLàm cho toàn bộ mạng, kể cả lớp ẩn, có thể học cùng lúc
    Nếu không có backpropMạng nhiều lớp chỉ có lớp cuối học, các lớp trước sẽ “đứng yên”

    Comments are closed.