パラメータとは

詳しい説明

パラメータ(重み)とは、ニューラルネットワーク内部でデータの変換を左右する調整可能な数値です。学習とは、このパラメータを誤差が小さくなる方向に少しずつ更新していく作業に他なりません。

LLMのパラメータ数は「70B(700億)」のようにBillion単位で表され、一般に多いほど表現力・記憶容量が大きくなる傾向があります。ただし多ければ常に高性能というわけではなく、データ品質や学習方法も重要です。

パラメータ数はモデルの動作に必要なメモリ量や推論コストにも直結するため、実運用ではサイズと性能のバランスが検討されます。

具体例

• 「Llama 3 70B」の「70B」は、パラメータが約700億個あることを示す。
• 同じ性能なら、パラメータが少ないモデルの方が安く速く動かせる。

よくある質問