コンテキストウィンドウとは

詳しい説明

コンテキストウィンドウとは、モデルが一度の処理で扱える入力+出力トークンの最大数です。これを超えた分は考慮されず、古い会話は忘れられます。

容量が大きいほど、長い文書やコード、長い会話履歴をまとめて渡せます。近年は数万〜100万トークン超の大容量モデルも登場しています。

ただし、上限が大きくても「途中の情報を見落としやすい」傾向が指摘されることがあり、重要な指示は冒頭や末尾に置くなどの工夫が有効です。長文をすべて渡す代わりに、必要箇所だけ検索して渡すRAGも有力な対処法です。

具体例

• 長い契約書を一度に貼って「要点を抽出して」と頼めるかは、この上限次第。
• 会話が長引くと、序盤の指示をAIが「忘れた」ように振る舞うのはこの制約による。

よくある質問