人工知能 — 式が先にあり、計算機が追いついた350年

連鎖律 — 入れ子になった計算の「効き具合」をたどる規則

ゴットフリート・ライプニッツは微分法を作る途中で、ある量が別の量を通じて第三の量に影響するとき、全体の変化の割合はそれぞれの段の変化の割合を掛け合わせたものになる、という規則にたどり着きました。いま連鎖律と呼ばれるものです。ニューラルネットワークは単純な計算を何層にも入れ子にしたものなので、出力の誤差に対してどの結合がどれだけ責任を負うかは、この規則を出力側から順に当てはめれば求まります。その計算手順が、約290年後に誤差逆伝播と呼ばれるようになります(1970年・1986年の項目)。

• ニューラルネットの学習に使われるまで 約290年

関係者・機関: Gottfried Wilhelm Leibniz

注記1676年という年代は、シュミットフーバーの整理(2022年)が J. M. チャイルドの英訳(1920年)をもとに挙げているものです。ライプニッツが微分法を公刊したのは1684年で、連鎖律がいまの教科書の形に整うのはさらに後です。草稿そのものには当たれていません。

• Annotated History of Modern AI and Deep Learning — arXiv:2212.11279 (2022), J. Schmidhuber
• The Early Mathematical Manuscripts of Leibniz (translated by J. M. Child) — Chicago: Open Court (1920); HathiTrust catalog record

結果から原因の確からしさを逆算する — ベイズの論文

牧師トーマス・ベイズが残した原稿を、友人のリチャード・プライスが没後に王立協会へ送りました。扱っているのは、ある出来事が何回起きて何回起きなかったかという観測から、その出来事がもともと起きやすいのかどうかを確率として見積もる問題です。原因から結果を計算するのではなく、結果から原因へさかのぼる推論を、初めて数として扱いました。データを見るたびに見込みを更新していくという考え方は、機械学習全体の土台のひとつになっています。

関係者・機関: Thomas Bayes / Richard Price

注記いま「ベイズの定理」として教わる一般的な形は、ピエール=シモン・ラプラスが1774年以降に独立に整えたものです。

• An Essay towards solving a Problem in the Doctrine of Chances — Phil. Trans. R. Soc. Lond. 53, 370–418 (1763), T. Bayes, communicated by R. Price

最小二乗法 — 「ずれの二乗の合計」を最小にする

アドリアン=マリ・ルジャンドルは彗星の軌道を求める本の付録で、観測値と式の予測とのずれをそれぞれ二乗して足し合わせ、その合計がいちばん小さくなるように式の係数を決める方法を示しました。観測には必ず誤差があるので、すべての点を通る式は作れません。そこで「どれだけ外れているか」を一つの数にまとめ、それを最小にするという発想です。外れ具合を数にして小さくしていくという型は、いまの機械学習の訓練とまったく同じです。直線を当てはめる計算は、層が一枚だけのニューラルネットワークと同じ形をしています。

関係者・機関: Adrien-Marie Legendre / Carl Friedrich Gauss

注記カール・フリードリヒ・ガウスは1809年の著書で、自分は1795年からこの方法を使っていたと述べ、先取権をめぐる争いになりました。公刊はルジャンドルが先です。

• Nouvelles méthodes pour la détermination des orbites des comètes — Paris: Firmin Didot (1805); digitized copy, Internet Archive
• Gauss and the Invention of Least Squares — Ann. Statist. 9(3), 465–474 (1981), S. M. Stigler

勾配降下法 — いちばん急な下り坂を、少しずつ下りる

オーギュスタン=ルイ・コーシーは、天体の軌道計算で出てくる連立方程式を解くために、わずか3ページの報告を出しました。解きたい式を「値が小さいほど正解に近い」一つの量に置き換え、いまいる場所でいちばん急に下がる向きへ少し動く。これを繰り返せば谷底に近づく、という方法です。コーシー自身は、この手順が必ず答えにたどり着くことの証明までは与えていません。それでも、誤差を表す量を坂に見立てて下りていくこの手順は、いまのニューラルネットワークの訓練でそのまま使われています。

• 原論文の長さ 3ページ

関係者・機関: Augustin-Louis Cauchy

注記原論文は Comptes Rendus de l'Académie des Sciences 25, 536–538 (1847)。ここではその内容を検討したルマレシャルの論考を出典にしています。

• Cauchy and the gradient method — Documenta Mathematica, Extra Volume ISMP, 251–254 (2012), C. Lemaréchal

プーシキンの詩を2万字数える — 「直前」から「次」を当てる

ロシアの数学者アンドレイ・マルコフは、プーシキンの韻文小説『エヴゲーニイ・オネーギン』の冒頭2万字を母音と子音に分け、ある文字が母音になる確率が、直前の文字が母音か子音かで大きく変わることを数え上げました。それぞれの出来事が独立ではなく、直前の状態に左右される並びを数学として扱う、いまマルコフ連鎖と呼ばれる考え方の実例です。文章を「前に来たものから次に来るものを確率で当てる問題」として扱った最初の例でもあります。いまの言語モデルは、見る範囲を直前の1文字から数千語以上へ広げた子孫にあたります。

• 数えた文字 2万字

関係者・機関: Andrey Markov (Андрей Марков)

注記出典は1913年の報告の英訳です。

• An Example of Statistical Investigation of the Text Eugene Onegin Concerning the Connection of Samples in Chains — Science in Context 19(4), 591–600 (2006), A. A. Markov; English translation of the 1913 paper

上か下かの小さな磁石の列 — のちに記憶の模型になる式

エルンスト・イジングは、鉄がなぜ磁石になるのかを説明するために、上向きか下向きかの二つの状態しか取れない小さな磁石が一列に並び、隣どうしで向きをそろえようとする模型を解きました。結論は「一列に並べただけでは磁石にならない」という期待外れのもので、イジングはこの研究から離れます。ところがこの模型は、単純な要素がたがいに影響し合うと全体としてどう振る舞うかを調べる標準の道具になりました。57年後、要素を神経細胞に読み替えると記憶の模型になることが示されます(1982年の項目)。

• ホップフィールドのネットワークまで 57年

関係者・機関: Ernst Ising / Wilhelm Lenz

注記模型そのものは指導教員のヴィルヘルム・レンツが1920年に提案したもので、物理学ではレンツ=イジング模型とも呼ばれます。

• Beitrag zur Theorie des Ferromagnetismus — Z. Physik 31, 253–258 (1925), E. Ising
• History of the Lenz-Ising Model — Rev. Mod. Phys. 39(4), 883–893 (1967), S. G. Brush

「計算できる」とは何か — 一台で何でも計算できる機械の定義

アラン・チューリングは、紙テープに記号を書いたり消したりするだけの単純な仮想の機械を考え、人が手順に従ってできる計算はすべてこの機械でできると論じました。さらに、他のどんな機械の動きでも、その説明書きを読み込めばまねできる「万能機械」が一台あれば足りることを示します。プログラムを入れ替えれば何にでもなる、いまの計算機の考え方です。知能が何らかの計算であるなら、原理的には機械にもできるはずだ、という人工知能の前提は、この論文の上に立っています。

関係者・機関: Alan Turing

注記論文は1936年に受理・口頭発表され、掲載巻の刊行は1937年です。

• On Computable Numbers, with an Application to the Entscheidungsproblem — Proc. London Math. Soc. s2-42(1), 230–265 (1937), A. M. Turing

神経細胞を、論理の部品として書く

神経生理学者ウォーレン・マカロックと、若い論理学者ウォルター・ピッツは、神経細胞を「入ってくる信号の合計がある値を超えたら発火し、超えなければ黙っている」という単純な素子として書き表しました。そしてこの素子を組み合わせれば、「かつ」「または」「でない」で書ける論理はどんなものでも実現できることを示します。脳の働きと論理の計算を同じ言葉で語れるようにした最初の論文です。ただし、この模型のつながり方は人が決めるもので、経験から学ぶ仕組みはまだ入っていません。

関係者・機関: Warren McCulloch / Walter Pitts

• A logical calculus of the ideas immanent in nervous activity — Bull. Math. Biophys. 5(4), 115–133 (1943), W. S. McCulloch and W. Pitts

情報を数で測る — そして確率だけで「英語らしい文」を作ってみせる

ベル研究所のクロード・シャノンは、通信で送る「情報の量」を、どれだけ予想しにくいかという確率の式で定義しました。この論文には実験も載っています。英語の文字や単語が、直前のいくつかに続いてどれくらいの確率で現れるかを表にし、その確率に従ってくじを引くように文字を並べていくと、見る範囲を広げるほど英語らしい文字列になっていきました。1951年には、人に次の文字を当てさせて英語の予想しやすさを測っています。いまの言語モデルが訓練で小さくしようとしている量も、ここで定義された量の仲間です。

関係者・機関: Claude Shannon / Bell Telephone Laboratories

• A Mathematical Theory of Communication — Bell Syst. Tech. J. 27(3), 379–423 (1948), C. E. Shannon
• Prediction and Entropy of Printed English — Bell Syst. Tech. J. 30(1), 50–64 (1951), C. E. Shannon

学習とは、つながりの強さが変わること — ヘッブの仮説

カナダの心理学者ドナルド・ヘッブは著書『行動の機構』で、ある神経細胞が別の細胞を繰り返し発火させると、二つのあいだのつながりが強まる、という仮説を立てました。記憶や学習は、細胞そのものではなく、細胞どうしの結びつきの強さとして蓄えられるという考えです。当時は確かめる手段のない推測でしたが、のちに実際の脳でこれに近い現象が見つかります。人工のニューラルネットワークが「学習する」とは結合の強さを表す数を変えることだ、という出発点はここにあります。

関係者・機関: Donald O. Hebb

注記出典は1949年の原著(ニューヨーク、ワイリー社)の再刊です。

• The Organization of Behavior: A Neuropsychological Theory — New York: Wiley (1949); reissued by Psychology Press (2005), D. O. Hebb

「機械は考えられるか」を、確かめられる問いに置き換える

チューリングは、「考える」という言葉の定義をめぐる議論を避け、文字だけのやり取りで機械が人間と見分けられなければ考えていると認めよう、という判定法を提案しました。論文の大半は、機械には無理だとする反論に一つずつ答えることに充てられています。終わり近くでは、大人の心をいきなり作るのではなく、子どもの心に当たる機械を作って教育すればよいのではないか、とも書いています。規則を書き込むのではなく、学習させて賢くするという、いまの主流の考え方の予告でした。

関係者・機関: Alan Turing

• Computing Machinery and Intelligence — Mind LIX(236), 433–460 (1950), A. M. Turing

あやふやな測定だけでも、歩幅を縮めていけば答えに着く

統計学者ハーバート・ロビンスとサットン・モンローは、測るたびに誤差が混じる状況でも、測定のたびに見当を少しずつ直し、その直す幅を回を追って小さくしていけば、見当が正しい値に近づいていくことを証明しました。いまのAIの訓練では、膨大なデータを一度に全部見るのではなく、ごく一部を取り出しては少し直す、という作業を繰り返します。一部しか見ていないので毎回の向きは不正確ですが、それでも全体としては正しいところへ向かう。この確率的勾配降下法と呼ばれるやり方に、数学の裏付けを与えたのがこの論文です。

関係者・機関: Herbert Robbins / Sutton Monro

• A Stochastic Approximation Method — Ann. Math. Statist. 22(3), 400–407 (1951), H. Robbins and S. Monro

パーセプトロン — 間違えるたびに、つながりを直す機械

コーネル航空研究所の心理学者フランク・ローゼンブラットは、マカロックとピッツの素子に、ヘッブの考えた「つながりの強さの変化」を組み合わせ、経験から学ぶ模型を示しました。入力に重みを掛けて足し合わせ、答えが違っていたら重みを少し直す。これを繰り返すと、人が規則を教えなくても、図形を見分けられるようになります。ただし学習できるのは出力に直接つながる一段ぶんの重みだけで、あいだに挟まる層をどう直せばよいかは分かっていませんでした。この弱点が、約10年後に厳しく突かれます(1969年の項目)。

関係者・機関: Frank Rosenblatt / Cornell Aeronautical Laboratory

• The perceptron: A probabilistic model for information storage and organization in the brain — Psychol. Rev. 65(6), 386–408 (1958), F. Rosenblatt

あいだの層も、坂を下る方法で学習できる — 甘利俊一の理論

九州大学にいた甘利俊一は、データを一つ見るたびに誤差が減る向きへ少しずつ重みを直していく確率的勾配降下法で、パターンを分類する機械を学習させる一般的な理論を示しました。この方法は、入力と出力のあいだに層を挟んだ場合にも使えます。パーセプトロンの弱点とされた「あいだの層の直し方」に、理屈の上では答えが出ていたことになります。しかし当時の計算機では大きな実験ができず、英語圏でもほとんど知られないまま、同じ考えが約20年後に再発見されます(1986年の項目)。

関係者・機関: Shun'ichi Amari (甘利俊一)

注記多層の学習については、ソ連(現ウクライナ)のアレクセイ・イヴァフネンコらが1965年から、層を一段ずつ積み上げていく別の方法(GMDH)を発表しています。この論文を「確率的勾配降下法で多層を学習させた最初の例」とする評価は、主にシュミットフーバーの整理によるものです。

• A Theory of Adaptive Pattern Classifiers — IEEE Trans. Electron. Comput. EC-16(3), 299–307 (1967), S. Amari
• Polynomial Theory of Complex Systems — IEEE Trans. Syst. Man Cybern. SMC-1(4), 364–378 (1971), A. G. Ivakhnenko

『パーセプトロン』 — 一層では解けない問題がある、という証明

マービン・ミンスキーとシーモア・パパートは、学習できる層が一つだけのパーセプトロンには、原理的に解けない問題があることを数学として示しました。有名な例が「二つの入力のうち片方だけが1のときに1を出す」という単純な判定です。層を重ねれば解けることは分かっていましたが、重ねた層を学習させる実用的な方法は広く知られていませんでした。この本はニューラルネットワークへの期待を冷まし、研究の関心と資金が記号と規則を使う方式へ移る一因になったとされます。

関係者・機関: Marvin Minsky / Seymour Papert

注記出典は1969年の原著(MIT Press)の2017年の再刊です。

• Perceptrons: An Introduction to Computational Geometry — Cambridge, MA: MIT Press (1969; reissued 2017), M. Minsky and S. A. Papert

計算の誤差を調べるための手法が、誤差逆伝播そのものだった

フィンランドの学生セッポ・リンナインマーは、長い計算の途中で生じる小さな丸め誤差が、最後の答えにどれだけ響くかを調べる方法を修士論文にまとめました。計算を小さな段に分け、連鎖律を最後の段から最初の段へ向かって順に当てはめていくと、すべての段の影響が一度の逆向きの計算でまとめて求まります。ニューラルネットワークの話はどこにも出てきません。けれどもこれは、いま誤差逆伝播と呼ばれる計算と同じものです。数値計算の道具として生まれたものが、十数年後に学習の方法として使われることになります。

関係者・機関: Seppo Linnainmaa

注記1970年のものはヘルシンキ大学の修士論文(フィンランド語)で、内容は1976年の英語論文で公刊されました。同じ計算をニューラルネットワークに使う案は、ポール・ワーボスが1974年の博士論文で示し、1982年に発表しています。誰が最初かについては複数の系譜があり、グリーヴァンクの論考が整理しています。

• Taylor expansion of the accumulated rounding error — BIT 16(2), 146–160 (1976), S. Linnainmaa
• Who invented the reverse mode of differentiation? — Documenta Mathematica, Extra Volume ISMP, 389–400 (2012), A. Griewank

ネオコグニトロン — 位置がずれても同じものと分かる、層を重ねた網

NHK放送科学基礎研究所の福島邦彦は、ヒューベルとヴィーゼルが見つけた視覚の細胞のしくみを手本に、二種類の層を交互に重ねたネットワークを作りました。片方の層は小さな範囲の模様を拾い、もう片方の層は多少の位置のずれを吸収します。これを何段も重ねると、文字が少しずれたり歪んだりしても同じ文字として見分けられます。小さな模様を拾う仕組みを画面全体で使い回すというこの構造は、いまの画像認識で使われる畳み込みニューラルネットワークの原型です。足りなかったのは、全体をまとめて学習させる方法でした(1989年の項目)。

関係者・機関: Kunihiko Fukushima (福島邦彦) / NHK Broadcasting Science Research Laboratories

注記日本語の論文は1979年に電子通信学会論文誌に掲載され、英語論文が1980年です。

• Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position — Biol. Cybern. 36(4), 193–202 (1980), K. Fukushima

記憶を「谷」として持つネットワーク — 物理学者が持ち込んだ見方

物理学者ジョン・ホップフィールドは、たがいにつながった単純な素子の集まりに、磁石の模型(1925年の項目)と同じ形の「エネルギー」が定義できることを示しました。覚えさせたいパターンがエネルギーの谷底になるようにつながりの強さを決めておくと、欠けたり乱れたりした入力を与えても、状態は坂を転がるように近くの谷底へ落ち着きます。一部の手がかりから全体を思い出す、という記憶の働きです。この論文をきっかけに、統計物理学の研究者と道具がニューラルネットワークの研究に流れ込みました。

関係者・機関: John Hopfield

注記同じ型のネットワークが学習によって記憶を持つことは、甘利俊一が1972年に論じています。

• Neural networks and physical systems with emergent collective computational abilities — Proc. Natl. Acad. Sci. USA 79(8), 2554–2558 (1982), J. J. Hopfield
• Learning Patterns and Pattern Sequences by Self-Organizing Nets of Threshold Elements — IEEE Trans. Comput. C-21(11), 1197–1206 (1972), S. Amari

ボルツマンマシン — 外から見えない素子に、データの特徴を覚えさせる

デイヴィッド・アクリー、ジェフリー・ヒントン、テレンス・セジュノウスキーは、ホップフィールドのネットワークの素子を確率的に動くものに変え、統計力学の式を使って学習の規則を導きました。重要なのは、入力にも出力にも直接つながらない「隠れた」素子を置いたことです。学習が進むと、隠れた素子は人が教えなくてもデータに潜む規則性を表すようになります。計算に時間がかかりすぎて当時は実用になりませんでしたが、隠れた層に自分で特徴を見つけさせるという考えは、2006年の深層学習の再出発につながります。

関係者・機関: David Ackley / Geoffrey Hinton / Terrence Sejnowski

• A Learning Algorithm for Boltzmann Machines — Cogn. Sci. 9(1), 147–169 (1985), D. H. Ackley, G. E. Hinton and T. J. Sejnowski

誤差逆伝播が広まる — あいだの層が、自分で特徴を作りはじめる

デイヴィッド・ラメルハート、ジェフリー・ヒントン、ロナルド・ウィリアムズは、出力の誤差を連鎖律で入力側へ順に送り返し、あいだの層の重みも含めてすべてを直していく方法を、4ページの論文で示しました。注目されたのは実験の結果です。あいだの層の素子が、人が教えていないのに、課題を解くのに役立つ特徴を表すようになっていました。一層では解けないとされた問題も解けます。この論文でニューラルネットワークへの関心は戻りましたが、層を深くすると学習がうまく進まないという壁が、次の20年残ります。

関係者・機関: David Rumelhart / Geoffrey Hinton / Ronald Williams

注記計算手順そのものは新発見ではありません。逆向きの微分はリンナインマー(1970年)、ニューラルネットワークへの適用はワーボス(1974年の博士論文)、多層の学習の理論は甘利(1967年)が先に示しています。この論文の寄与は、あいだの層が役に立つ表現を自分で作ることを実験で示し、広く知らせたことにあります。

• Learning representations by back-propagating errors — Nature 323(6088), 533–536 (1986), D. E. Rumelhart, G. E. Hinton and R. J. Williams
• Backpropagation through time: what it does and how to do it — Proc. IEEE 78(10), 1550–1560 (1990), P. J. Werbos

結果を待たずに学ぶ — 「予想と、次の予想の差」を使う

リチャード・サットンは、最後の結果が出るまで待たなくても、ある時点の予想と、その一歩あとの予想との食い違いを使って学習を進められることを、理論として示しました。試合の勝ち負けは最後まで分かりませんが、一手進んで形勢の見込みが変わったなら、その変化が手前の見込みを直す材料になります。サミュエルのチェッカー(1959年)が経験的にやっていたことの一般化です。報酬を手がかりに試行錯誤で学ぶ強化学習の中心的な方法になり、のちに囲碁のプログラムにも使われます(2016年の項目)。

関係者・機関: Richard Sutton

注記行動の選び方まで含めて学ぶQ学習は、クリストファー・ワトキンスが1989年の博士論文で示し、1992年に収束の証明つきで発表しました。

• Learning to predict by the methods of temporal differences — Mach. Learn. 3(1), 9–44 (1988), R. S. Sutton
• Q-learning — Mach. Learn. 8(3–4), 279–292 (1992), C. J. C. H. Watkins and P. Dayan

あいだの層が一枚あれば、どんな関数にもいくらでも近づける

1989年、ジョージ・サイベンコ、クルト・ホルニクら、そして豊橋技術科学大学の船橋賢一が、それぞれ独立に同じ趣旨の定理を証明しました。入力と出力のあいだに層を一枚挟み、そこに十分な数の素子を置けば、連続的な関数ならどんなものでも望むだけ正確にまねできる、というものです。ニューラルネットワークで表せないものは原理的にはない、という保証になります。ただしこの定理は、素子がいくつ要るのか、学習でその答えにたどり着けるのかについては何も言っていません。表せることと、見つけられることは別の問題です。

関係者・機関: George Cybenko / Kurt Hornik / Maxwell Stinchcombe / Halbert White / Ken-ichi Funahashi (船橋賢一)

• Approximation by superpositions of a sigmoidal function — Math. Control Signals Syst. 2(4), 303–314 (1989), G. Cybenko
• Multilayer feedforward networks are universal approximators — Neural Netw. 2(5), 359–366 (1989), K. Hornik, M. Stinchcombe and H. White
• On the approximate realization of continuous mappings by neural networks — Neural Netw. 2(3), 183–192 (1989), K. Funahashi

サポートベクターマシン — 必ず最良の答えが見つかる方法が、主流になる

コリーナ・コルテスとウラジーミル・ヴァプニクは、二つの種類のデータを分ける境界線を、両側のいちばん近いデータからの距離がなるべく大きくなるように引く方法をまとめました。この問題は谷が一つしかない形に書けるので、計算すれば必ず最良の答えにたどり着きます。ニューラルネットワークの学習は谷がいくつもあって、どこに落ち着くか保証がありません。理論が明快で、当時のデータ量ではよく当たったため、1990年代後半から2000年代にかけて機械学習の主役はこちらに移り、ニューラルネットワークは二度目の冬を迎えます。

関係者・機関: Corinna Cortes / Vladimir Vapnik / AT&T Bell Laboratories

• Support-vector networks — Mach. Learn. 20(3), 273–297 (1995), C. Cortes and V. Vapnik

LSTM — 遠い過去の手がかりを、消さずに持ち運ぶ

文章や音声のように順番のあるデータを扱うネットワークには、誤差を過去へさかのぼって伝えるうちに信号が急に小さくなり、離れた位置の手がかりを学べないという問題がありました。ゼップ・ホッホライターとユルゲン・シュミットフーバーは、情報をそのまま保っておける小部屋と、そこへの出し入れを調節する門を素子に組み込み、この問題を避けます。何を覚え、何を忘れるかも学習で決まります。発表当時の注目は限られましたが、2010年代には音声認識や機械翻訳の主力になりました。

関係者・機関: Sepp Hochreiter / Jürgen Schmidhuber

• Long Short-Term Memory — Neural Comput. 9(8), 1735–1780 (1997), S. Hochreiter and J. Schmidhuber

単語を数の並びで表し、次の単語をネットワークに当てさせる

それまでの言語モデルは、単語の並びが過去に何回出たかを数える方式でした。この方式では、一度も見たことのない並びには手が出ません。ヨシュア・ベンジオらは、単語の一つひとつを数十個の数の並びで表し、その表し方と、次に来る単語の確率を計算するネットワークとを同時に学習させました。似た使われ方をする単語は似た数の並びになるので、見たことのない文にも、似た文から類推が効きます。単語を数の並びに置き換え、次の単語を予測させて学ぶという、いまの言語モデルの骨組みはここで出そろいました。

関係者・機関: Yoshua Bengio / Réjean Ducharme / Pascal Vincent / Christian Jauvin

• A Neural Probabilistic Language Model — J. Mach. Learn. Res. 3, 1137–1155 (2003), Y. Bengio, R. Ducharme, P. Vincent and C. Jauvin

深い網を、一層ずつ下ごしらえしてから学習させる

層を深く重ねたネットワークは、誤差逆伝播だけではうまく学習が進まないことが知られていました。ジェフリー・ヒントンらは、まず一層ずつ、正解を教えずにデータの特徴をつかませる下ごしらえを行い(ボルツマンマシンの簡略版を使います)、そのあとで全体を誤差逆伝播で仕上げる、という二段構えを示しました。これで深いネットワークが実際に役立つ成績を出せることが分かり、「深層学習」という呼び名とともに研究が再び動き出します。下ごしらえ自体は、数年後には別の工夫に置き換えられていきます。

関係者・機関: Geoffrey Hinton / Ruslan Salakhutdinov / Simon Osindero / Yee-Whye Teh

• Reducing the Dimensionality of Data with Neural Networks — Science 313(5786), 504–507 (2006), G. E. Hinton and R. R. Salakhutdinov
• A Fast Learning Algorithm for Deep Belief Nets — Neural Comput. 18(7), 1527–1554 (2006), G. E. Hinton, S. Osindero and Y.-W. Teh

注意機構 — 訳語を出すたびに、原文のどこを見るかを選ぶ

当時のニューラル機械翻訳は、原文をいったん決まった長さの数の並びひとつに押し込み、そこから訳文を作っていました。文が長くなると、押し込みきれずに成績が落ちます。ドミトリー・バーダナウ、チョ・ギョンヒョン、ヨシュア・ベンジオは、訳語を一つ出すたびに、原文のどの単語をどれだけ重く見るかをその場で計算させる仕組みを加えました。どこを見るべきかは、人が教えるのではなく学習で決まります。長い文でも成績が落ちにくくなりました。この仕組みは3年後、ネットワークの主役そのものになります(2017年の項目)。

関係者・機関: Dzmitry Bahdanau / Kyunghyun Cho / Yoshua Bengio

• Neural Machine Translation by Jointly Learning to Align and Translate — arXiv:1409.0473 (2014), D. Bahdanau, K. Cho and Y. Bengio

画像を少しずつ砂嵐にし、その逆をたどることを学ばせる — 拡散モデルの原型

ジャシャ・ソール=ディックスタインらは、物理学で物が拡散していく過程の扱い方に着想を得て、新しい作り方の生成モデルを提案しました。まず画像にごく小さな乱れを何度も足していき、最後には完全な砂嵐にします。次に、この過程の一歩ぶんを逆向きにたどる、つまり少しだけ乱れを取り除く計算をネットワークに学ばせます。学習が済めば、砂嵐から出発して一歩ずつ戻ることで新しい画像が作れます。発表当時は画質で他の方法に及ばず目立ちませんでしたが、2020年以降の画像生成の土台になります(2022年の項目)。

関係者・機関: Jascha Sohl-Dickstein / Eric Weiss / Niru Maheswaranathan / Surya Ganguli / Stanford University

• Deep Unsupervised Learning using Nonequilibrium Thermodynamics — arXiv:1503.03585 (2015), J. Sohl-Dickstein, E. A. Weiss, N. Maheswaranathan and S. Ganguli

ResNet — 層を飛び越す近道で、100層を超える

層を深くすれば性能は上がるはずですが、実際にはある深さを超えると、学習用のデータに対してさえ成績が悪くなることが知られていました。マイクロソフト・リサーチ・アジアの何恺明らは、いくつかの層を飛び越えて入力をそのまま先へ送る近道を加えます。各層は一から答えを作るのではなく、「前の層からの修正ぶん」だけを学べば済むようになり、152層のネットワークでも安定して学習できました。ImageNetの大会では誤り率3.57パーセントで優勝しています。この近道は、いまの大きなネットワークのほぼすべてに入っています。

• 層の数 152
• 誤り率(上位5候補) 3.57%

関係者・機関: Kaiming He (何恺明) / Xiangyu Zhang / Shaoqing Ren / Jian Sun / Microsoft Research Asia

注記論文の公開は2015年12月、国際会議での発表は2016年です。

• Deep Residual Learning for Image Recognition — 2016 IEEE Conference on Computer Vision and Pattern Recognition, 770–778 (2016), K. He, X. Zhang, S. Ren and J. Sun

トランスフォーマー — 順番に読むのをやめ、注意機構だけで組む

それまで文章を扱うネットワークは、単語を前から一つずつ順に処理していました。順番にしか進めないので、計算を並べて速くすることが難しく、離れた単語どうしの関係もつかみにくい方式です。グーグルのアシシュ・ヴァスワニら8人は、順に処理する部分を取り払い、文中のすべての単語がたがいにどれだけ関係するかを一度に計算する注意機構だけでネットワークを組みました。翻訳の成績で当時の最高を更新し、しかも学習が大幅に速くなります。GPUで並べて計算しやすいこの構造が、その後の大規模化を可能にしました。

関係者・機関: Ashish Vaswani / Noam Shazeer / Niki Parmar / Jakob Uszkoreit / Llion Jones / Aidan Gomez / Łukasz Kaiser / Illia Polosukhin / Google

• Attention Is All You Need — arXiv:1706.03762 (2017), A. Vaswani et al.

まず大量の文章で下地を作り、あとから個別の課題に合わせる

2018年、言語の扱い方の定石が変わりました。6月にオープンAIが、トランスフォーマーに「次の単語を当てる」課題で大量の文章を読ませてから個別の課題に合わせて仕上げる方法(GPT)を発表します。10月にはグーグルのジェイコブ・デブリンらが、文中の単語をところどころ隠して前後の両側から当てさせる方法(BERT)で、質問応答など11種類の課題の最高成績を更新しました。どちらも、人が正解を付けていないただの文章から言葉の一般的な知識を先に学ばせる点が共通です。課題ごとに一から作る時代は、ここで終わります。

関係者・機関: Jacob Devlin / Ming-Wei Chang / Kenton Lee / Kristina Toutanova / Google / OpenAI

• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding — arXiv:1810.04805 (2018), J. Devlin, M.-W. Chang, K. Lee and K. Toutanova
• Improving Language Understanding by Generative Pre-Training — OpenAI technical report (2018), A. Radford, K. Narasimhan, T. Salimans and I. Sutskever