トークンとは

詳しい説明

トークンとは、言語モデルがテキストを扱うときの最小単位です。モデルは文章をそのままではなく、トークンに分割してから処理します。英語では単語や接頭辞・接尾辞、日本語では数文字程度が1トークンになることが多いです。

LLMの入力上限(コンテキストウィンドウ)やAPI料金は、このトークン数を基準に決まります。目安として、日本語は1文字あたり概ね1トークン前後、英語は1単語あたり概ね1〜2トークンになりますが、モデルや文章により変動します。

「入力トークン」と「出力トークン」で単価が異なるのが一般的で、長文の生成ほどコストがかさみます。

具体例

• 「ChatGPT」という語は、モデルによって複数のトークンに分割されることがある。
• API料金は「100万トークンあたり◯ドル」の形で提示される。

よくある質問