人工知能 — 式が先にあり、計算機が追いついた350年

連鎖律 — 入れ子になった計算の「効き具合」をたどる規則

結果から原因の確からしさを逆算する — ベイズの論文

最小二乗法 — 「ずれの二乗の合計」を最小にする

勾配降下法 — いちばん急な下り坂を、少しずつ下りる

プーシキンの詩を2万字数える — 「直前」から「次」を当てる

上か下かの小さな磁石の列 — のちに記憶の模型になる式

「計算できる」とは何か — 一台で何でも計算できる機械の定義

神経細胞を、論理の部品として書く

情報を数で測る — そして確率だけで「英語らしい文」を作ってみせる

学習とは、つながりの強さが変わること — ヘッブの仮説

「機械は考えられるか」を、確かめられる問いに置き換える

あやふやな測定だけでも、歩幅を縮めていけば答えに着く

パーセプトロン — 間違えるたびに、つながりを直す機械

あいだの層も、坂を下る方法で学習できる — 甘利俊一の理論

『パーセプトロン』 — 一層では解けない問題がある、という証明

計算の誤差を調べるための手法が、誤差逆伝播そのものだった

ネオコグニトロン — 位置がずれても同じものと分かる、層を重ねた網

記憶を「谷」として持つネットワーク — 物理学者が持ち込んだ見方

ボルツマンマシン — 外から見えない素子に、データの特徴を覚えさせる

誤差逆伝播が広まる — あいだの層が、自分で特徴を作りはじめる

結果を待たずに学ぶ — 「予想と、次の予想の差」を使う

あいだの層が一枚あれば、どんな関数にもいくらでも近づける

サポートベクターマシン — 必ず最良の答えが見つかる方法が、主流になる

LSTM — 遠い過去の手がかりを、消さずに持ち運ぶ

単語を数の並びで表し、次の単語をネットワークに当てさせる

深い網を、一層ずつ下ごしらえしてから学習させる

注意機構 — 訳語を出すたびに、原文のどこを見るかを選ぶ

画像を少しずつ砂嵐にし、その逆をたどることを学ばせる — 拡散モデルの原型

ResNet — 層を飛び越す近道で、100層を超える

トランスフォーマー — 順番に読むのをやめ、注意機構だけで組む

まず大量の文章で下地を作り、あとから個別の課題に合わせる