機械論的解釈可能性

きかいろんてきかいしゃくかのうせい

AIの内部の計算を部品単位で読み解き、「なぜその答えを出したか」を仕組みとして説明しようとする研究分野。

入力と出力の関係を外から調べるのではなく、ニューラルネットワークの中の数値の動きを、人が理解できる部品(特徴量)とそのつながり(回路)に分解します。2020年のオラーらの論文「Zoom In」は、画像認識のネットワークの中に、曲線や車輪を検出する部品と、それらを組み合わせる回路があることを示し、この分野の考え方を打ち出しました^[1]。

現在は大規模言語モデルが主な対象で、詩の脚韻を先に決めてから文を組み立てる、といった内部の手順が見え始めています。ただし解読できているのは限られた課題の断片で、モデル全体を理解できるかどうかは分かっていません。