言語モデルの仕組み
アテンションとは
Attention（アテンション）
ひとことで言うと
文中の各単語が、他のどの単語にどれだけ注目すべきかを計算する仕組みです。
詳しい説明
アテンション(注意機構)とは、ある単語を処理する際に、文中の他の単語との関連度に応じて「重み付け」して情報を取り込む仕組みです。Transformerの中核であり、文脈理解の要になっています。
たとえば「その本はとても面白かった、だからもう一度読んだ」という文で、「読んだ」の対象が「本」であることを、アテンションが関連度の高さとして捉えます。
各単語が他の全単語を見渡す「セルフアテンション」により、離れた語の関係も一度に扱えます。これが並列計算のしやすさと長文理解の両立を可能にしました。
具体例
- 代名詞「それ」が指す名詞に強く注目する。
- 翻訳時、出力語が原文のどの語に対応するかを重み付けで捉える。
よくある質問
アテンションはなぜ重要なの?
離れた単語同士の関係を効率よく捉えられ、かつ並列計算に向くため、モデルの大規模化と長文の文脈理解を同時に実現できたからです。現在のLLMの性能を支える中心技術です。
出典・参考(一次ソース)
本ページは、広く確立したAIの用語・概念を、公開情報にもとづき編集部がわかりやすく整理したものです。特定製品の最新仕様・数値は各提供元の公式ドキュメントをご確認ください。
最終更新: 2026-07-07