Q-Learning 強化學習 - 互動教學

Episode

0

Total Reward

0

Steps

0

探索率 (Epsilon) 0.10

學習率 (Alpha) 0.10

折扣因子 (Gamma) 0.90

訓練速度 (Speed) 中

Q-Learning 概念

一種無模型 (Model-free) 的強化學習演算法。機器人透過試誤 (Trial-and-Error) 來學習每個狀態下採取什麼行動最好。

核心是建立一張 Q-Table，記錄每個格子(State)對應不同動作(Action)的分數。

📝 Q 值更新公式

Q(s,a) ← (1-α)Q(s,a) + α[R + γ·maxQ(s',a')]

R：當下獲得的獎勵 (Reward)。
maxQ(s',a')：對下一步狀態的最佳估計。
TD Error：現實 (R+..) 與預期 (Q) 的差距。

🎛️ 參數功能說明

探索率 (Epsilon)：決定隨機探索的機率。
高：多嘗試新路徑；低：多走已知好路。
學習率 (Alpha)：學習新經驗的速度。
高：重視新發現；低：保留舊有記憶。
折扣因子 (Gamma)：對未來獎勵的重視程度。
高：有遠見 (重視長遠)；低：短視近利。

🎁 獎勵與視覺化

🏁 到達終點 (Goal)：+100 分。
🔥 掉進陷阱 (Trap)：-100 分。
⬜ 移動一步：-1 分 (鼓勵最短路徑)。

四個方位三角形顏色：
🟢 越綠：預期獎勵高 (推薦往此走)。
🔴 越紅：預期獎勵低 (不建議往此走)。

注意：地圖固定，探索動作含隨機性；請多次訓練並觀察 Q 值變化。