Bài 3.3: Lan truyền ngược là gì? – Cách mạng nhiều lớp học bằng gradient
Mục tiêu bài học
- Hiểu lan truyền ngược (backpropagation) là gì.
- Biết tại sao gradient thôi là chưa đủ, nếu mạng có nhiều lớp.
- Nhìn rõ cách gradient được truyền ngược lại từ đầu ra về các lớp trước đó.
1. Từ mạng 1 lớp đến mạng nhiều lớp
Trong Bài 3.2, ta đã huấn luyện một mạng đơn giản với 1 lớp duy nhất:
\[ \hat{y} = w \cdot x + b \]Nhưng trong thực tế, mạng nơ ron thường có nhiều lớp ẩn như:
x → [Lớp ẩn 1] → [Lớp ẩn 2] → … → [Lớp ra]Vậy làm sao để cập nhật trọng số của từng lớp khi chỉ có sai số từ lớp cuối?
2. Khó khăn mới: Gradient không tự chảy về quá khứ
Giả sử mạng gồm 2 lớp:
\[ \text{Lớp 1: } h = \text{ReLU}(w_1 \cdot x + b_1) \] \[ \text{Lớp 2: } \hat{y} = w_2 \cdot h + b_2 \]Khi tính sai số ở đầu ra (ví dụ dùng MSE):
\[ \text{Loss} = \frac{1}{2}(y – \hat{y})^2 \] \[ \text{Sai số chỉ xuất hiện ở lớp 2} \]Vấn đề: Không thể cập nhật w1 nếu không biết gradient của nó!
3. Cách giải: Lan truyền ngược (Backpropagation)
Backpropagation là thuật toán dùng đạo hàm chuỗi (chain rule) để lan truyền sai số từ lớp cuối ngược về các lớp trước, từ đó tính được gradient của mọi tham số trong mạng.
4. Giải thích bằng hình ảnh
Giả sử mạng có cấu trúc:
x → [Lớp ẩn: h = f(z₁)] → [Lớp ra: ŷ = g(z₂)] → LossVới:
- z1=w1⋅x+b1z
- h=f(z1)
- z2=w2⋅h+b2
- y^=g(z2)
Khi đó:
\[ \frac{\partial \text{Loss}}{\partial w_2} = \frac{\partial \text{Loss}}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial z_2} \cdot \frac{\partial z_2}{\partial w_2} \] \[ \frac{\partial \text{Loss}}{\partial w_1} = \frac{\partial \text{Loss}}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial z_2} \cdot \frac{\partial z_2}{\partial h} \cdot \frac{\partial h}{\partial z_1} \cdot \frac{\partial z_1}{\partial w_1} \]→ Như vậy, muốn cập nhật w1 phải truy vết toàn bộ chuỗi gradient từ đầu ra quay ngược về.
5. Ví dụ đơn giản: mạng 2 lớp
Giả sử:
- x=1, y=3
- w1=2.0, b1=0
- w2=1.0, b2=0
- Hàm kích hoạt: đơn giản là f(x)=x (để dễ tính)
Lan truyền xuôi (forward):
\[ z_1 = w_1 \cdot x + b_1 = 2.0 \cdot 1 + 0 = 2.0 \] \[ h = f(z_1) = 2.0 \] \[ z_2 = w_2 \cdot h + b_2 = 1.0 \cdot 2.0 = 2.0 \] \[ \hat{y} = z_2 = 2.0 \] \[ \text{Sai số: } e = \hat{y} – y = 2.0 – 3.0 = -1.0 \] \[ \text{Loss} = \frac{1}{2}(-1.0)^2 = 0.5 \]Lan truyền ngược:
- Gradient theo w2:
- Gradient theo w1:
6. Cập nhật tham số
Nếu learning rate α=0.1
\[ w_2 \leftarrow w_2 – \alpha \cdot (-2.0) = 1.0 + 0.2 = 1.2 \] \[ w_1 \leftarrow w_1 – \alpha \cdot (-1.0) = 2.0 + 0.1 = 2.1 \]→ Mạng đã tự động cập nhật được tất cả trọng số, kể cả lớp ẩn, nhờ backpropagation.
7. Tổng kết vai trò của backpropagation
| Thành phần | Vai trò |
|---|---|
| Gradient | Cho biết hướng và độ lớn cần cập nhật tại mỗi lớp |
| Đạo hàm chuỗi | Cho phép nối gradient từ lớp cuối về lớp đầu |
| Backpropagation | Làm cho toàn bộ mạng, kể cả lớp ẩn, có thể học cùng lúc |
| Nếu không có backprop | Mạng nhiều lớp chỉ có lớp cuối học, các lớp trước sẽ “đứng yên” |
