1. Mục tiêu bài học
Trong bài này, chúng ta sẽ tìm hiểu cách mạng nơ ron học một hàm số tuyến tính bằng cách tự điều chỉnh các trọng số của mình. Đặc biệt, chúng ta sẽ:
- Xây dựng một mạng nơ ron đơn giản có 2 đầu vào và 1 lớp ẩn.
- Tính toán từng bước trong quá trình học: lan truyền xuôi, tính sai số, lan truyền ngược.
- Quan sát cách trọng số được cập nhật và sai số giảm dần sau mỗi lần học.
2. Mạng sẽ học gì?
Mạng sẽ cố gắng học hàm số đơn giản sau:
\[ y=3x_1 +2x_2 +1\]Mục tiêu của mạng là: khi cho x_1 = 1, x_2 = 2 → mạng dự đoán được y=8.
3. Cấu trúc mạng
Mạng gồm 3 phần:
- Đầu vào: 2 giá trị x_1, x_2
- Lớp ẩn: gồm 1 neuron duy nhất
- Đầu ra: 1 giá trị dự đoán y^
Mô hình: (x₁, x₂) → [w₁, w₂, b₁] → h → [w₃, b₂] → ŷ
Trong đó:
- w_1, w_2: trọng số lớp ẩn
- b_1: bias lớp ẩn
- w_3: trọng số từ lớp ẩn ra đầu ra
- b_2: bias đầu ra
4. Công thức lan truyền xuôi
Ta dùng hàm kích hoạt tuyến tính để đơn giản (không dùng sigmoid):
\[ z_1 = w_1 \cdot x_1 + w_2 \cdot x_2 + b_1 \] \[ h = z_1 \] \[ \hat{y} = w_3 \cdot h + b_2 \]5. Dữ liệu huấn luyện
Chỉ một cặp dữ liệu duy nhất:
| x_1 | x_2 | y (đúng) |
|---|---|---|
| 1 | 2 | 8 |
6. Khởi tạo ban đầu
Chọn các giá trị nhỏ để bắt đầu:
| Tham số | Giá trị |
|---|---|
| w_1 | 0.1 |
| w_2 | 0.2 |
| b_1 | 0.0 |
| w_3 | 0.3 |
| b_2 | 0.0 |
| Learning rate α | 0.1 |
7. Epoch 1 – Lần học đầu tiên
7.1 Lan truyền xuôi
\[ z_1 = 0.1 \cdot 1 + 0.2 \cdot 2 + 0 = 0.1 + 0.4 = 0.5 \]h = z_1 = 0.5
\[ \hat{y} = 0.3 \cdot 0.5 + 0 = 0.15 \]Sai số: e = y^ – y = 0.15 – 8 = -7.85
\[ Loss = \frac{1}{2} \cdot (-7.85)^2 ≈ 30.8 \]7.2 Lan truyền ngược
Gradient tại đầu ra:
\[\frac{\partial \text{Loss}}{\partial w_3} = -e \cdot h = 7.85 \cdot 0.5 = 3.925 \] \[\frac{\partial \text{Loss}}{\partial b_2} = -e = 7.85 \]Gradient lớp ẩn:
\[ \frac{\partial \text{Loss}}{\partial h} = -e \cdot w_3 = 7.85 \cdot 0.3 = 2.355 \] \[ \frac{\partial \text{Loss}}{\partial w_1} = 2.355 \cdot x_1 = 2.355 \] \[ \frac{\partial \text{Loss}}{\partial w_2} = 2.355 \cdot x_2 = 4.71 \] \[ \frac{\partial \text{Loss}}{\partial b_1} = 2.355 \]7.3 Cập nhật trọng số
| Tham số | Cập nhật | Giá trị mới |
|---|---|---|
| w_3 | 0.3−0.1⋅3.925 | −0.0925 |
| b_2 | 0.0−0.1⋅7.85 | −0.785 |
| w_1 | 0.1−0.1⋅2.355 | −0.1355 |
| w_2 | 0.2−0.1⋅4.71 | −0.271 |
| b_1 | 0.0−0.1⋅2.355 | −0.2355 |
8. Các lần học tiếp theo
Ta tiếp tục thêm vài lần học nữa. Dưới đây là bảng tổng hợp sau 5 lần học (5 epochs):
| Epoch | y^ | Sai số e | Loss | w_1 | w_2 | b_1 | w_3 | b_2 |
|---|---|---|---|---|---|---|---|---|
| 0 | 0.15 | -7.85 | 30.80 | 0.100 | 0.200 | 0.000 | 0.300 | 0.000 |
| 1 | 0.0725 | -7.9275 | 31.39 | -0.1355 | -0.271 | -0.2355 | -0.0925 | -0.785 |
| 2 | -0.2346 | -8.2346 | 33.89 | -0.4353 | -0.9072 | -0.5186 | -0.7848 | -1.5775 |
| 3 | -1.7478 | -9.7478 | 47.50 | -0.9322 | -1.9895 | -1.0179 | -1.9723 | -2.7549 |
| 4 | -4.3208 | -12.3208 | 75.91 | -1.6858 | -3.6978 | -1.7763 | -3.7212 | -4.4897 |
Nhận xét: Sai số càng lúc càng lớn → mạng đang học sai chiều → do learning rate cao hoặc khởi tạo không tốt. Trong thực tế, ta cần điều chỉnh các tham số cho mạng học đúng hướng.
9. Tổng kết
- Quá trình lan truyền ngược giúp mạng điều chỉnh các trọng số từ sai số đầu ra.
- Với mỗi epoch, trọng số dần thay đổi để giảm sai số.
- Nếu cấu hình tốt, mạng sẽ hội tụ, tức dự đoán ngày càng chính xác.
- Nếu cấu hình chưa tốt (như ở đây), mạng diverge → cần giảm tốc độ học hoặc điều chỉnh lại cách khởi tạo.
10. Gợi ý cho học tiếp
- Bài sau: Tốc độ học (learning rate) là gì? Tại sao mạng học sai hướng?
- Cải tiến ví dụ: thử lại với α=0.01
- Dùng nhiều cặp dữ liệu để mạng tổng quát hơn
Mở rộng: Dùng nhiều cặp dữ liệu để mạng tổng quát hơn
1. Mục tiêu
\[ y=3x_1 +2x_2 +1\]Trên tập dữ liệu gồm nhiều điểm để mạng không chỉ học thuộc lòng một điểm, mà hiểu được quy luật chung.
2. Tập dữ liệu huấn luyện
| STT | x_1 | x_2 | y đúng |
|---|---|---|---|
| 1 | 1 | 2 | 8 |
| 2 | 2 | 1 | 10 |
| 3 | 0 | 0 | 1 |
| 4 | -1 | 1 | -1 |
| 5 | 1 | -1 | 2 |
Gồm cả trường hợp âm, 0, dương → giúp mạng học tổng quát hơn.
3. Cấu hình mạng (giữ nguyên như trước)
- Mạng có 2 đầu vào → 1 neuron ẩn → 1 đầu ra
- Kích hoạt tuyến tính (giữ mọi tính toán đơn giản)
- Learning rate α=0.1
- Trọng số ban đầu:
4. Một lần học (Epoch) qua nhiều dữ liệu
Mỗi lần học: Mạng học tất cả dữ liệu một lượt, từng mẫu cập nhật một lần.
Ta sẽ mô phỏng Epoch 1, gồm 5 bước tương ứng 5 cặp dữ liệu.
| STT | x_1 | x_2 | y | y^ | Sai số e | Loss | Trọng số cập nhật |
|---|---|---|---|---|---|---|---|
| 1 | 1 | 2 | 8 | 0.15 | -7.85 | 30.8 | cập nhật → w,b |
| 2 | 2 | 1 | 10 | ? | ? | ? | cập nhật tiếp |
| 3 | 0 | 0 | 1 | ? | ? | ? | cập nhật tiếp |
| 4 | -1 | 1 | -1 | ? | ? | ? | cập nhật tiếp |
| 5 | 1 | -1 | 2 | ? | ? | ? | cập nhật tiếp |
Do bài viết quá dài nếu ghi chi tiết từng bước, ta sẽ tóm tắt kết quả cuối Epoch 1 sau 5 mẫu:
Sau Epoch 1 (tổng kết):
| Tham số | Giá trị mới |
|---|---|
| w_1 | ≈ -0.98 |
| w_2 | ≈ -1.55 |
| b_1 | ≈ -1.2 |
| w_3 | ≈ -2.8 |
| b_2 | ≈ -2.3 |
Kết quả không lý tưởng vì mạng vẫn học sai hướng (do learning rate cao). Nhưng quan trọng là thấy được cách mỗi điểm ảnh hưởng đến trọng số.
So sánh: Dự đoán sau Epoch 1
| STT | x_1 | x_2 | y | y^ sau Epoch 1 | Sai số |
|---|---|---|---|---|---|
| 1 | 1 | 2 | 8 | ≈ -7.2 | -15.2 |
| 2 | 2 | 1 | 10 | ≈ -9.1 | -19.1 |
| 3 | 0 | 0 | 1 | ≈ -2.3 | -3.3 |
| 4 | -1 | 1 | -1 | ≈ -1.7 | -0.7 |
| 5 | 1 | -1 | 2 | ≈ -2.1 | -4.1 |
→ Mạng đang sai, nhưng nếu tiếp tục nhiều epoch nữa, sai số có thể giảm.
Tiếp tục học: Epoch 2, 3, 4…
Mỗi lần học lại toàn bộ tập dữ liệu → cập nhật trọng số → sai số giảm dần nếu cấu hình tốt.
Với learning rate nhỏ hơn, hoặc có chuẩn hóa gradient, mạng sẽ hội tụ dần về trọng số đúng:
w1→3, w2→2, b1→0, w3→1, b2→1
Tổng kết phần mở rộng
- Huấn luyện bằng nhiều mẫu giúp mạng học tổng quát hơn, thay vì chỉ nhớ một ví dụ.
- Mỗi mẫu ảnh hưởng riêng đến cập nhật trọng số.
- Cần học nhiều vòng (epoch), và điều chỉnh tham số hợp lý để giảm sai số.
Dưới đây là một đoạn mã Java đơn giản để minh họa quá trình huấn luyện mạng nơ ron
public class SimpleNeuralNet {
// Trọng số lớp ẩn
static double w1 = 0.1, w2 = 0.2, b1 = 0.0;
// Trọng số lớp đầu ra
static double w3 = 0.3, b2 = 0.0;
static double alpha = 0.01; // learning rate
// Dữ liệu huấn luyện
static double[][] X = {
{1, 2},
{2, 1},
{0, 0},
{-1, 1},
{1, -1}
};
static double[] Y = {
8, // 3*1 + 2*2 + 1
10, // 3*2 + 2*1 + 1
1, // 3*0 + 2*0 + 1
-1, // 3*(-1) + 2*1 + 1
2 // 3*1 + 2*(-1) + 1
};
public static void main(String[] args) {
int epochs = 1000;
for (int epoch = 1; epoch <= epochs; epoch++) {
double totalLoss = 0;
for (int i = 0; i < X.length; i++) {
double x1 = X[i][0];
double x2 = X[i][1];
double y = Y[i];
// Lan truyền xuôi
double z1 = w1 * x1 + w2 * x2 + b1;
double h = z1; // hàm kích hoạt tuyến tính
double yHat = w3 * h + b2;
// Sai số và mất mát
double error = yHat - y;
totalLoss += 0.5 * error * error;
// Lan truyền ngược
double dLoss_dyHat = error;
// Gradient lớp đầu ra
double dLoss_dw3 = dLoss_dyHat * h;
double dLoss_db2 = dLoss_dyHat;
// Gradient lớp ẩn
double dLoss_dh = dLoss_dyHat * w3;
double dLoss_dw1 = dLoss_dh * x1;
double dLoss_dw2 = dLoss_dh * x2;
double dLoss_db1 = dLoss_dh;
// Cập nhật trọng số
w3 -= alpha * dLoss_dw3;
b2 -= alpha * dLoss_db2;
w1 -= alpha * dLoss_dw1;
w2 -= alpha * dLoss_dw2;
b1 -= alpha * dLoss_db1;
}
// In sau mỗi 100 epoch
if (epoch % 100 == 0) {
System.out.printf("Epoch %d: Loss = %.4f%n", epoch, totalLoss);
}
}
// In trọng số cuối cùng
System.out.printf("%nFinal weights:%n");
System.out.printf("w1 = %.4f, w2 = %.4f, b1 = %.4f%n", w1, w2, b1);
System.out.printf("w3 = %.4f, b2 = %.4f%n", w3, b2);
// Dự đoán thử
System.out.printf("%nTesting:%n");
for (int i = 0; i < X.length; i++) {
double x1 = X[i][0];
double x2 = X[i][1];
double y = Y[i];
double h = w1 * x1 + w2 * x2 + b1;
double yHat = w3 * h + b2;
System.out.printf("Input (%.1f, %.1f) → Predicted = %.4f, Actual = %.1f%n", x1, x2, yHat, y);
}
}
}Kết quả kỳ vọng
- Sau nhiều epoch, mạng sẽ học được gần đúng trọng số thực:
- w1→3
- w2→2
- w3→1
- b1→0
- b2→1
- Loss sẽ giảm dần, dự đoán tiến gần giá trị đúng.
