📉 梯度下降法 (Gradient Descent)
互動式最佳化演算法教學
👆 點擊畫布設定起始點
🧠 什麼是梯度下降?
這是一種用來尋找函數最小值的
最佳化演算法
。
想像你在山上(高 Cost),想要下山(低 Cost),你會沿著最陡峭的方向往下走。
📝 運作步驟
1
隨機選擇一個起始點
2
計算該點的梯度(坡度方向)
3
往梯度的反方向移動一小步
4
重複直到到達最低點(山谷)
📐 更新公式
θ = θ - α · ∇J(θ)
θ: 參數, α: 學習率, ∇J: 梯度
💡 學習率的影響
過大
:步伐太大,可能跨過最低點甚至發散
過小
:步伐太小,下降速度非常慢
適中
:穩定且快速地收斂到最小值