Interactive lesson / Self-Attention

Self-Attention 注意力機制

選一個 Token，觀察它與其他 Token 的相似分數如何變成注意力權重。

互動觀察

核心概念

  • 每個 Token 產生 Query、Key、Value；示範先算 Query 與 Key 的點積，再經 softmax 轉為權重。
  • 因果遮罩讓生成文字時的 Token 只能參照自己與之前的位置。

閱讀圖表前

此示意將 Query、Key、Value 設為同一組手工向量；真實模型會學習不同的投影矩陣，權重也會不同。

延伸閱讀：官方教學文件 ↗