大規模言語モデル

だいきぼげんごもでる

膨大な文章を学習し、次に来る語を予測することで文章を生成するAI。ChatGPTやClaudeの中核にある。

2017年に発表されたトランスフォーマーという構造が、文中の離れた語どうしの関係を効率よく扱えるようにし^[1]、これを数千億個のパラメータ(調整される数値)まで大きくしたものが大規模言語モデルです。2020年のGPT-3は、規模を大きくするだけで、例をいくつか見せただけの課題もこなせるようになることを示しました^[2]。

中身は人がプログラムとして書いたものではなく、学習で決まった膨大な数値の集まりです。そのため、なぜその答えを出したのかは開発者にも分からず、これを内側から読み解こうとするのが解釈可能性の研究です。