📝 輸入文字
🎨 分詞結果視覺化
此頁使用簡化的分詞規則與示意 Token ID；結果不等於任何實際模型的 tokenizer。
輸入文字後按下「開始分詞」查看結果
🔢 示意 Token ID 序列
分詞後將顯示對應的 Token ID
互動式大型語言模型基礎教學
此頁使用簡化的分詞規則與示意 Token ID；結果不等於任何實際模型的 tokenizer。
Tokenizer（分詞器）是將原始文字切割成小單位的工具，這些小單位稱為 Token。
LLM 無法直接理解文字，必須先將文字轉換成數字序列才能處理。
Token 數量直接影響 LLM 的計算成本與處理速度。
不同語言的分詞效率不同，相同意思的文字在不同語言與分詞器下，Token 數可能不同。