Bài 3: Chính sách và Hàm giá trị trong Học tăng cường

1. Giới thiệu

Trong học tăng cường (Reinforcement Learning – RL), quá trình học của tác nhân (agent) xoay quanh hai thành phần cốt lõi:

  • Chính sách (policy): xác định cách hành động.
  • Hàm giá trị (value function): đánh giá chất lượng của trạng thái hoặc hành động.

Việc hiểu và sử dụng đúng hai khái niệm này là nền tảng để phát triển các thuật toán học tăng cường như Q-learning hay Deep Q-Network.


2. Chính sách (Policy)

2.1. Định nghĩa

Chính sách là chiến lược hành động mà tác nhân sử dụng để quyết định hành động tại mỗi trạng thái. Ký hiệu:

    • Chính sách xác suất (Stochastic): \( \pi(a|s) \) là xác suất chọn hành động \( a \) tại trạng thái \( s \).
    • Chính sách xác định (Deterministic): \( \pi(s) = a \) luôn chọn một hành động cụ thể tại trạng thái \( s \).

    Ví dụ

    Giả sử tác nhân là một robot trong mê cung ( 3 x 3 ), tại vị trí ( s = (2,2) ), có thể chọn các hành động: lên, xuống, trái, phải.

    • Chính sách xác suất: \[ \pi(\text{lên}|s) = 0.4,\quad \pi(\text{xuống}|s) = 0.1,\quad \pi(\text{trái}|s) = 0.25,\quad \pi(\text{phải}|s) = 0.25 \]
    • Chính sách xác định: \( \pi((2,2)) = \text{lên} \)

    Nghĩa là: tại vị trí (2,2), robot luôn chọn đi lên (xác định), hoặc có xác suất ngẫu nhiên như trên (xác suất).

    3. Hàm giá trị trạng thái

    3.1. Định nghĩa

    Giá trị trạng thái là kỳ vọng tổng phần thưởng tích lũy khi bắt đầu tại trạng thái 𝑠 và đi theo chính sách π:

    \[ V^\pi(s) = \mathbb{E}_\pi \left[ \sum_{t=0}^{\infty} \gamma^t R(s_t, a_t) \,\big|\, s_0 = s \right] \]

    3.2. Ví dụ minh họa

    Tiếp tục với ví dụ mê cung, giả sử đích đến ở ô (3,3), khi đến đích sẽ nhận phần thưởng +10, các bước đi khác có phần thưởng −1. Chính sách π giúp robot đi lên nếu có thể.

    Tại trạng thái s=(1,1) robot mất khoảng 6 bước để đến đích, mỗi bước bị phạt -1, đến đích được +10. Khi đó giá trị trạng thái là:

    \[ V^\pi((1,1)) \approx -5 + 10 \times 0.9^5 = -5 + 5.9 = 0.9 \]

    Comments are closed.