1 はじめに
　1.1 教師あり学習
　　1.1.1 回帰問題と分類問題
　　1.1.2 入力
　　1.1.3 機械学習モデル
　　1.1.4 深層ニューラルネットワーク
　　1.1.5 構造化出力
　1.2 教師なし学習
　　1.2.1 生成モデル
　　1.2.2 潜在変数
　　1.2.3 教師あり学習と教師なし学習をつなぐ
　1.3 強化学習
　　1.3.1 2つの事例
　1.4 倫理
　1.5 本書の構造
　1.6 他の参考文献
　1.7 本書の読み進め方
2 教師あり学習
　2.1 教師あり学習の概観
　2.2 線形回帰の例
　　2.2.1 1次元線形回帰モデル
　　2.2.2 損失
　　2.2.3 訓練
　　2.2.4 テスト
　2.3 まとめ
　Notes
　演習問題
3 浅いニューラルネットワーク
　3.1 ニューラルネットワークの例
　　3.1.1 ニューラルネットワークの直感的理解
　　3.1.2 ニューラルネットワークの図示
　3.2 普遍性定理
　3.3 多変量入出力
　　3.3.1 多変量出力の可視化
　　3.3.2 多変量入力の可視化
　3.4 浅いニューラルネットワーク：一般的な場合
　3.5 用語
　3.6 まとめ
　Notes
　演習問題
4 深層ニューラルネットワーク
　4.1 ニューラルネットワークの構成
　4.2 ネットワークの組み合わせから深層ネットワークへ
　4.3 深層ニューラルネットワーク
　　4.3.1 ハイパーパラメータ
　4.4 行列表記
　　4.4.1 一般的な定式化
　4.5 浅いニューラルネットワークと深層ニューラルネットワーク
　　4.5.1 異なる関数を近似する能力
　　4.5.2 パラメータ当たりの線形領域の個数
　　4.5.3 深さ効率
　　4.5.4 大規模な構造化入力
　　4.5.5 訓練と汎化
　4.6 まとめ
　Notes
　演習問題
5 損失関数
　5.1 最大尤度
　　5.1.1 出力の分布を計算する
　　5.1.2 最大尤度規準
　　5.1.3 対数尤度の最大化
　　5.1.4 負の対数尤度の最小化
　　5.1.5 推論
　5.2 損失関数を構築するためのレシピ
　5.3 例1：一変量回帰
　　5.3.1 最小二乗損失関数
　　5.3.2 推論
　　5.3.3 分散の推定
　　5.3.4 不均一分散回帰
　5.4 例2：二項分類
　5.5 例3：マルチクラス分類
　　5.5.1 他のデータ型の予測
　5.6 複数出力
　5.7 交差エントロピー損失
　5.8 まとめ
　Notes
　演習問題
6 モデルの適合
　6.1 勾配降下法
　　6.1.1 線形回帰の例
　　6.1.2 Gaborモデルの例
　　6.1.3 局所最小値と鞍点
　6.2 確率的勾配降下法
　　6.2.1 バッチとエポック
　　6.2.2 確率的勾配降下法の性質
　6.3 モメンタム
　　6.3.1 Nesterov加速モメンタム
　6.4 Adam
　6.5 訓練アルゴリズムのハイパーパラメータ
　6.6 まとめ
　Notes
　演習問題
7 勾配と初期化
　7.1 問題の定義
　7.2 微分の計算
　7.3 簡単な例
　7.4 バックプロパゲーションアルゴリズム（逆伝播法）
　　7.4.1 バックプロパゲーションアルゴリズムのまとめ
　　7.4.2 アルゴリズム微分
　　7.4.3 任意の計算グラフへの拡張
　7.5 パラメータの初期化
　　7.5.1 フォワードパスの初期化
　　7.5.2 バックワードパスの初期化
　　7.5.3 フォワードパスとバックワードパス両方の初期化
　7.6 訓練コードの例
　7.7 まとめ
　Notes
　演習問題
8 性能測定
　8.1 簡単なモデルの訓練
　8.2 誤差の原因
　　8.2.1 雑音，バイアス，分散
　　8.2.2 テスト誤差の数式
　8.3 誤差の削減
　　8.3.1 分散の削減
　　8.3.2 バイアスの削減
　　8.3.3 バイアスと分散のトレードオフ
　8.4 二重降下
　　8.4.1 考察
　8.5 ハイパーパラメータの選択
　8.6 まとめ
　Notes
　演習問題
9 正則化
　9.1 明示的正則化
　　9.1.1 確率的解釈
　　9.1.2 L2正則化
　9.2 暗黙の正則化
　　9.2.1 勾配降下法における暗黙の正則化
　　9.2.2 確率的勾配降下法における暗黙の正則化
　9.3 性能改善のためのヒューリスティックな手法
　　9.3.1 早期停止
　　9.3.2 アンサンブル
　　9.3.3 ドロップアウト
　　9.3.4 雑音の適用
　　9.3.5 ベイズ推論
　　9.3.6 転移学習とマルチタスク学習
　　9.3.7 自己教師あり学習
　　9.3.8 データ拡張
　9.4 まとめ
　Notes
　演習問題
10 畳み込みネットワーク
　10.1 不変性と同変性
　10.2 1次元入力の畳み込みネットワーク
　　10.2.1 1次元畳み込み演算
　　10.2.2 パディング
　　10.2.3 ストライド，カーネルサイズ，ディレーション
　　10.2.4 畳み込み層
　　10.2.5 チャネル
　　10.2.6 畳み込みネットワークと受容野
　　10.2.7 例：MNIST-1D
　10.3 2次元入力の畳み込みネットワーク
　10.4 ダウンサンプリングとアップサンプリング
　　10.4.1 ダウンサンプリング
　　10.4.2 アップサンプリング
　　10.4.3 チャネル数の変更
　10.5 応用例
　　10.5.1 画像分類
　　10.5.2 オブジェクト検出
　　10.5.3 セマンティックセグメンテーション
　10.6 まとめ
　Notes
　演習問題
11 残差ネットワーク
　11.1 逐次処理
　　11.1.1 逐次処理の限界
　11.2 残差接続と残差ブロック
　　11.2.1 残差ブロックの演算順序
　　11.2.2 残差接続のより深いネットワーク
　11.3 残差ネットワークにおける勾配爆発
　11.4 バッチ正規化
　　11.4.1 バッチ正規化のコストと利点
　11.5 一般的残差アーキテクチャ
　　11.5.1 ResNet
　　11.5.2 DenseNet
　　11.5.3 U-Net砂時計型ネットワーク
　11.6 残差接続を有するネットワークの優れた性能
　11.7 まとめ
　Notes
　演習問題
12 トランスフォーマー
　12.1 テキストデータの処理
　12.2 ドット積自己アテンション
　　12.2.1 値の計算と重み付け
　　12.2.2 アテンション重みの計算
　　12.2.3 自己アテンションのまとめ
　　12.2.4 行列形式
　12.3 ドット積自己アテンションの拡張
　　12.3.1 位置符号化
　　12.3.2 スケールドット積自己アテンション
　　12.3.3 マルチヘッド
　12.4 トランスフォーマー層
　12.5 自然言語処理のトランスフォーマー
　　12.5.1 トークン化
　　12.5.2 埋め込み
　　12.5.3 トランスフォーマーモデル
　12.6 エンコーダモデル例：BERT
　　12.6.1 事前訓練
　　12.6.2 ファインチューニング
　12.7 デコーダモデル例：GPT3
　　12.7.1 言語モデル
　　12.7.2 マスク付き自己アテンション
　　12.7.3 デコーダからのテキスト生成
　　12.7.4 GPT3少数ショット学習
　12.8 エンコーダ–デコーダの例：機械翻訳
　12.9 長文シーケンス向けのトランスフォーマー
　12.10 画像処理のトランスフォーマー
　　12.10.1 ImageGPT
　　12.10.2 ビジョントランスフォーマー（ViT）
　　12.10.3 マルチスケールビジョントランスフォーマー
　12.11 まとめ
　Notes
　演習問題
13 グラフニューラルネットワーク
　13.1 グラフとは何か
　　13.1.1 グラフの種類
　13.2 グラフ表現
　　13.2.1 隣接行列の性質
　　13.2.2 節点のインデックスの置換
　13.3 グラフニューラルネットワーク，タスク，損失関数
　　13.3.1 タスクと損失関数
　13.4 グラフ畳み込みネットワーク
　　13.4.1 同変性と不変性
　　13.4.2 パラメータ共有
　　13.4.3 GCNの例
　13.5 例：グラフ分類
　　13.5.1 バッチでの訓練
　13.6 帰納的モデルとトランスダクティブモデル
　13.7 例：節点分類
　　13.7.1 バッチ選択
　13.8 グラフ畳み込みネットワークの層
　　13.8.1 現在の節点と集約近傍の組み合わせ
　　13.8.2 残差接続
　　13.8.3 平均集約
　　13.8.4 Kipf規化
　　13.8.5 最大プーリング集約
　　13.8.6 アテンションによる集約
　13.9 辺グラフ
　13.10 まとめ
　Notes
　演習問題
訳者あとがき
索引