学習・調整
事前学習とは
Pre-training（じぜんがくしゅう）
ひとことで言うと
大量のテキストで「次の単語を予測する」練習を重ね、言語の基礎能力を獲得させる工程です。
詳しい説明
事前学習(Pre-training)とは、LLMを作る最初の大規模な学習段階です。インターネット規模のテキストを使い、「文の続きを予測する」といった課題を膨大に解かせることで、文法・知識・文脈把握といった汎用的な言語能力を獲得させます。
この段階では特定の用途に特化しておらず、幅広い基礎力を身につけます。莫大な計算資源と時間を要し、モデル開発で最もコストのかかる工程です。
事前学習を終えた基盤モデルに対し、後段でファインチューニングやRLHFを施して、指示に従う・安全に答えるといった振る舞いを整えます。
具体例
- 大量の文章から「東京は日本の___」の続きを予測させ、知識と文法を学ぶ。
- GPTの"P"はPre-trained(事前学習済み)を表す。
よくある質問
事前学習とファインチューニングの違いは?
事前学習は汎用的な言語能力を大規模に獲得する土台作りで、ファインチューニングはその上に特定用途や指示追従の能力を追加する仕上げです。順番は事前学習→ファインチューニングです。
出典・参考(一次ソース)
本ページは、広く確立したAIの用語・概念を、公開情報にもとづき編集部がわかりやすく整理したものです。特定製品の最新仕様・数値は各提供元の公式ドキュメントをご確認ください。
最終更新: 2026-07-07