言語モデルの仕組み
Transformer(トランスフォーマー)とは
Transformer（トランスフォーマー）
ひとことで言うと
「アテンション」機構を核とする、現在のLLMの土台となっているニューラルネットワーク構造です。
詳しい説明
Transformerとは、2017年の論文「Attention Is All You Need」で提案されたニューラルネットワークのアーキテクチャです。GPT・Claude・Geminiをはじめ、現在の主要LLMの大半がこの構造を基盤にしています。
最大の特徴は「セルフアテンション」という仕組みで、文中の各単語が他のどの単語に注目すべきかを計算します。これにより離れた語同士の関係も捉えられ、かつ並列計算がしやすいため大規模化に向いていました。
それ以前の主流だったRNN(再帰型)に比べ、長い文脈の扱いと学習の高速化を両立した点が、LLM時代を切り開いた鍵とされています。
具体例
- 「それ」が文中のどの名詞を指すかを、アテンションで関連づける。
- GPTの"T"はTransformerの頭文字(Generative Pre-trained Transformer)。
よくある質問
GPTの「T」はTransformerのこと?
はい。GPTは「Generative Pre-trained Transformer」の略で、Transformerアーキテクチャを事前学習した生成モデル、という意味です。
出典・参考(一次ソース)
本ページは、広く確立したAIの用語・概念を、公開情報にもとづき編集部がわかりやすく整理したものです。特定製品の最新仕様・数値は各提供元の公式ドキュメントをご確認ください。
最終更新: 2026-07-07