Interactive lesson / Next Token Prediction

LLM 如何預測下一個 Token

調整溫度並選擇下一個 Token，觀察候選機率與生成文字的變化。

互動觀察

核心概念

  • 模型輸出候選 Token 的分數；softmax 轉成總和為 1 的機率。
  • 溫度較低時分布通常更集中；較高時分布較平坦。抽樣結果仍具有隨機性。

閱讀圖表前

本頁只用小型手工詞表展示生成機制，並非真正的 LLM 或實際 tokenizer。

延伸閱讀：官方教學文件 ↗