学習・調整
RLHF(人間のフィードバックによる強化学習)とは
Reinforcement Learning from Human Feedback（アールエルエイチエフ）
ひとことで言うと
人間が出力の良し悪しを評価し、その好みに沿うようモデルを調整する学習手法です。
詳しい説明
RLHFとは、モデルの出力に対して人間が「どちらが良いか」を評価し、その評価を報酬信号として強化学習でモデルを調整する手法です。ChatGPTをはじめ、対話AIを「役立ち・安全・自然」にする鍵となりました。
一般には、人間の比較評価から報酬モデルを作り、その報酬が高くなるよう本体モデルを最適化します。事前学習だけでは実現しにくい「指示に丁寧に従う」「不適切な要求を断る」といった振る舞いを身につけさせます。
近年はAIによる評価を活用するなど、派生手法も研究されています。
具体例
- 同じ質問への2つの回答を人間が比較し、丁寧な方を高く評価する。
- 危険な要求をやんわり断るよう、人間の好みで方向づける。
よくある質問
RLHFは何のために行うの?
事前学習済みモデルを、人間にとって役立ち・安全・自然な受け答えをするよう整えるためです。指示追従や不適切要求の拒否など、人間の価値観に沿った振る舞いを学ばせます。
出典・参考(一次ソース)
本ページは、広く確立したAIの用語・概念を、公開情報にもとづき編集部がわかりやすく整理したものです。特定製品の最新仕様・数値は各提供元の公式ドキュメントをご確認ください。
最終更新: 2026-07-07