特徴量

とくちょうりょう

解釈可能性の研究で、AIの内部表現のうち「ゴールデンゲートブリッジ」のような人に分かる概念に対応するまとまり。

モデルの中の1個1個のニューロンは、無関係な複数の概念に同時に反応することが多く、そのままでは意味を読めません。2022年のエルハージらの研究は、モデルがニューロンの数より多くの概念を、重ね合わせて詰め込んでいるためだと説明しました^[1]。

そこで、ニューロンの活動を「どの概念の組み合わせか」に分解し直したものを特徴量と呼びます。ある特徴量を人為的に強めたり弱めたりすると、モデルの答えがその概念に沿って変わることが確かめられています。