学習・調整
蒸留(ディスティレーション)とは
Knowledge Distillation（じょうりゅう）
ひとことで言うと
大きな高性能モデルの振る舞いを、小さく軽いモデルに写し取って再現させる技術です。
詳しい説明
蒸留(知識蒸留)とは、大規模で高性能な「教師モデル」の出力を手本に、小さな「生徒モデル」を学習させ、性能を保ちつつ軽量化する手法です。
正解ラベルだけでなく、教師モデルが出す確率分布などの豊かな情報を学ぶことで、生徒モデルは少ないパラメータでも教師に近い挙動を獲得しやすくなります。
スマホや低コスト運用向けに、大きなモデルの知見を小型モデルへ引き継ぐ目的で使われます。量子化と並ぶ代表的な軽量化アプローチです。
具体例
- 巨大モデルの回答を教師に、スマホでも動く小型モデルを訓練する。
- クラウドの大規模モデルの挙動を、オンプレ用の軽量版に写し取る。
よくある質問
蒸留と量子化の違いは?
蒸留は「大きいモデルの知識を小さいモデルに学習させて作り直す」手法、量子化は「モデルの数値の精度を落として同じモデルを軽くする」手法です。目的(軽量化)は似ていますがアプローチが異なり、併用もされます。
出典・参考(一次ソース)
本ページは、広く確立したAIの用語・概念を、公開情報にもとづき編集部がわかりやすく整理したものです。特定製品の最新仕様・数値は各提供元の公式ドキュメントをご確認ください。
最終更新: 2026-07-07