BOOK SEARCH
シリーズ〈多変量データの統計科学〉 8 カーネル法入門 ―正定値カーネルによるデータ解析―
福水 健次(著)
内容紹介
急速に発展し,高次のデータ解析に不可欠の方法論となったカーネル法の基本原理から出発し,代表的な方法,最近の展開までを紹介。ヒルベルト空間や凸最適化の基本事項をはじめ,本論の理解に必要な数理的内容も丁寧に補う本格的入門書。
編集部から
目次
1.カーネル法への招待
1.1カーネル法の基本的アイデア
1.1.1線形なデータ解析と非線形なデータ解析
1.1.2カーネルによる内積の計算
1.2カーネル法の例
1.2.1カーネル主成分分析:主成分分析の非線形化
1.2.2リッジ回帰とその非線形化
1.2.3カーネル法の原理
2.正定値カーネルと再生核ヒルベルト空間
2.1正定値カーネル
2.1.1正定値カーネルの定義と基本的性質
2.1.2正定値カーネルの例
2.2再生核ヒルベルト空間
2.2.1再生核ヒルベルト空間と正定値カーネル
2.2.2再生核ヒルベルト空間の具体的構成
2.2.3Sobolev空間
2.2.4定理の証明
3.カーネル法の実際
3.1カーネル主成分分析
3.1.1カーネル主成分分析の復習
3.1.2カーネルPCAの応用例
3.2カーネル正準相関分析
3.2.1正準相関分析の復習
3.2.2カーネルCCA
3.2.3カーネルCCAの応用例
3.3カーネルFisher判別分析
3.3.1Fisherの線形判別分析
3.3.2カーネルFisher判別分析
3.4サポートベクターマシンの基本事項
3.4.1マージン最大化基準による線形識別
3.4.2正則化の一般論
3.4.3ソフトマージンと正則化
3.4.4サポートベクターマシンのカーネル化
3.4.5サポートベクターマシンの応用例
3.4.6サポートベクターマシンの性質
3.5Representer定理
3.6グラム行列の低ランク近似
3.7さまざまなカーネル法
3.8カーネル法の性質
3.9カーネルの選択
3.9.1構造化データに対するカーネル
3.9.2教師あり学習に対するクロスバリデーション
3.9.3教師なし学習に対するカーネル選択
3.9.4その他の方法
4.サポートベクターマシン
4.1サポートベクターマシンの最適化
4.1.1双対問題とサポートベクター
4.1.2効率的な解法
4.2サポートベクターマシンの拡張
4.2.1多クラス識別問題へのサポートベクターマシンの拡張
4.2.2多クラスサポートベクターマシン
4.2.32クラス識別器の組み合わせ
4.2.4構造化出力への拡張
4.2.5その他の方法
5.誤差の解析
5.1期待損失の上界
5.1.1期待損失と経験損失
5.1.2標本平均の収束定理
5.1.3有限な関数集合に対する上界
5.2無限個の関数集合に対する上界
5.2.1無限個の要素を持つ関数族に対する方法
5.2.2Rademacher平均,増大関数,VC-次元
5.2.3分布によらない損失の上界
5.2.4Rademacher平均の性質
5.3サポートベクターマシンの期待損失の評価
5.3.10-1損失関数とヒンジ損失関数
5.3.2マージンと期待損失
5.3.3サポートベクターマシンの期待損失
6.正定値カーネルの理論
6.1正定値カーネルと負定値カーネル
6.1.1負定値カーネル
6.1.2カーネルを生成する操作
6.2Bochnerの定理
6.3Mercerの定理
6.3.1積分核と積分作用素
6.3.2積分核のHilbert-Schmidt展開
6.3.3正値積分核とMercerの定理
7.構造化データに対する正定値カーネル
7.1ストリングカーネル
7.1.1ストリングデータ
7.1.2p-スペクトラムカーネル
7.1.3全部分列カーネル
7.1.4ギャップ重みつき部分列カーネル
7.1.5実験例
7.2ツリーやグラフに対するカーネル
7.2.1グラフに関する用語
7.2.2構文木に対する正定値カーネル
7.2.3畳み込みカーネルと周辺化カーネル
7.2.4グラフカーネル
7.3Fisherカーネル
8.平均による確率分布の特徴づけ
8.1再生核ヒルベルト空間における平均
8.1.1ヒルベルト空間に値をとる確率変数
8.1.2再生核ヒルベルト空間における平均
8.1.3平均と標本平均
8.2確率分布を特徴づける正定値カーネル
8.32標本問題への応用
9.正定値カーネルによる依存性・独立性
9.1再生核ヒルベルト空間上の共分散作用素
9.2共分散作用素による独立性の特徴づけ
9.3正定値カーネルによる依存性の尺度
9.4正定値カーネル法による条件付独立性の特徴づけ
9.4.1条件付共分散作用素
9.4.2条件付独立性の特徴づけ
9.5条件付独立性尺度の応用
9.5.1条件付独立性の検定
9.5.2因果推論への応用
9.5.3カーネル次元削減法
10.カーネル法の周辺
10.1関数データ解析
10.2スプライン平滑化
10.2.13次スプライン
10.2.2スプライン平滑化と再生核ヒルベルト空間
10.3確率過程と再生核ヒルベルト空間
10.3.1確率過程の生成する空間
10.3.2Bochnerの定理とWiener-Khinchinの定理
A.ヒルベルト空間の基本事項
A.1ノルムと内積
A.2ヒルベルト空間
A.3ヒルベルト空間の基本的性質
A.3.1直交性
A.3.2線形作用素
A.3.3ヒルベルト空間の基底
A.4完備化
A.5共役作用素と正値性
A.6トレースとHilbert-Schmidt作用素
B.凸最適化の速習コース
B.1凸集合と凸関数
B.2凸最適化
B.3双対問題
B.3.1Lagrange双対問題
B.3.2KKT条件
B.4さらに詳しく知るために
C.補題など
C.1Azuma-Hoeffdingの不等式の証明に用いた補題
C.2Massartの補題
C.3Sauerの補題
関連図書
索引

執筆者紹介
【編集】
藤越 康祝
杉山 髙一
狩野 裕
【著者】
福水 健次(統計数理研究所)




























