言語モデルの仕組み
トークン化とは
Tokenization（トークンか）
ひとことで言うと
文章をトークンという最小単位に分割し、AIが処理できる数値列に変換する前処理です。
詳しい説明
トークン化(トークナイズ)とは、入力テキストをトークンに分割し、それぞれを辞書上のID(数値)に変換する処理です。言語モデルは数値しか扱えないため、この変換が必ず最初に行われます。
代表的な手法にBPE(Byte Pair Encoding)やWordPieceがあり、頻出する文字の並びを一つのトークンにまとめることで、未知語にも対応しつつ語彙数を抑えます。
どうトークン化されるかは料金・処理速度・扱える文脈長に影響するため、モデルごとのトークナイザの違いは実務上も無視できません。
具体例
- "unhappiness" が "un" + "happiness" のように分割される。
- 同じ文章でもモデルが違えばトークン数が変わり、料金も変わる。
よくある質問
なぜ単語ではなくトークンに分けるの?
未知の単語や造語、多言語に柔軟に対応でき、語彙数を現実的な規模に抑えられるためです。単語より細かい単位で扱うことで、辞書にない語も部分から組み立てられます。
本ページは、広く確立したAIの用語・概念を、公開情報にもとづき編集部がわかりやすく整理したものです。特定製品の最新仕様・数値は各提供元の公式ドキュメントをご確認ください。
最終更新: 2026-07-07