Bài 2: Mô hình Quyết định Markov (Markov Decision Process)

1. Giới thiệu

Trong học tăng cường (Reinforcement Learning – RL), một trong những công cụ mô hình hóa cốt lõi là Mô hình Quyết định Markov (Markov Decision Process – MDP). MDP cung cấp một khung toán học để biểu diễn quá trình ra quyết định tuần tự dưới điều kiện bất định.

Thông qua MDP, ta có thể mô tả rõ ràng cách một tác nhân (agent) tương tác với môi trường, đưa ra hành động, nhận phần thưởng và dịch chuyển trạng thái theo thời gian.


2. Định nghĩa chính thức

Một MDP được định nghĩa bởi một bộ 5 thành phần:

\[ \mathcal{M} = \left( \mathcal{S}, \mathcal{A}, P, R, \gamma \right) \]

trong đó

  • \( \mathcal{S} \): tập các trạng thái \( s \),
  • \( \mathcal{A} \): tập các hành động \( a \),
  • \( P(s’|s, a) \): xác suất chuyển từ trạng thái \( s \) sang \( s’ \),
  • \( R(s, a) \): phần thưởng nhận được khi thực hiện hành động \( a \) tại \( s \),
  • \( \gamma \in [0,1] \): hệ số chiết khấu.

3. Tính chất Markov

MDP tuân theo thuộc tính Markov, tức là:

Xác suất chuyển trạng thái và phần thưởng chỉ phụ thuộc vào trạng thái hiện tại và hành động hiện tại, không phụ thuộc vào lịch sử trước đó.

Cụ thể, MDP thỏa mãn điều kiện:

\[ P(s_{t+1} | s_t, a_t, s_{t-1}, a_{t-1}, \dots) = P(s_{t+1} | s_t, a_t) \]

4. Ví dụ minh họa

Giả sử ta có một robot đang di chuyển trong một lưới 2D (grid world):

  • Trạng thái: mỗi ô trên lưới là một trạng thái sss.
  • Hành động: lên, xuống, trái, phải.
  • Phần thưởng: +1 nếu đến được ô đích, 0 ở các ô khác.
  • Xác suất chuyển trạng thái: có thể xác suất trượt sang ô bên cạnh nếu sàn trơn.

Mục tiêu của robot là tìm đường đi tối ưu đến ô đích sao cho tổng phần thưởng tích lũy là lớn nhất.

5. Chính sách và giá trị

5.1. Chính sách:

\[ \pi(a|s): \text{ xác suất chọn hành động } a \text{ khi ở trạng thái } s \]

5.2. Giá trị trạng thái

\[ V^\pi(s) = \mathbb{E}_\pi \left[ \sum_{t=0}^{\infty} \gamma^t R(s_t, a_t) \mid s_0 = s \right] \]

5.3. Giá trị hành động (trạng thái -hành động)

\[ Q^\pi(s, a) = \mathbb{E}_\pi \left[ \sum_{t=0}^{\infty} \gamma^t R(s_t, a_t) \mid s_0 = s, a_0 = a \right] \]

6. Kết luận

MDP là cơ sở toán học cho học tăng cường. Nắm vững các khái niệm về trạng thái, hành động, phần thưởng và chính sách là bước quan trọng để hiểu và áp dụng các thuật toán học tăng cường hiện đại.

Comments are closed.