初めて行く会場と逆方向に行ったので、会場入りは遅くなった。
もう始まっているかなー
と思ったら、まだ3名しかいなかった。
結構、皆さん同じような体験をされたので開始時間は遅れ気味でした。
以下、教科書に書いてない事などを書きとめたことを羅列
6章
カーネル関数k(x,x')=k(x',x)･･･ひっくり返しても同じ
RBF･･･2つの距離で表されるもの
6.1 双対表現
式の紹介
6.2 カーネル関数の構成
どう作るかを３つ紹介
(1)特徴空間への写像φ(x)を元に対応するカーネルを構成する
(2)直接定義する?
(3)単純なカーネルを構成要素として使う
色んな計算式を組み合わせて、カーネル関数を構築できる
集合の中に入っている部分集合を使って構築することもできる
Σは離散、∫は連続
テキストの類似度はフィッシャーカーネルを使うと良い
カーネル関数は料理のレシピ集感覚で使える
6.1から6.2は教科書的な内容でわかりにくい
6.3 RBFネットワーク
絵（上側 多重◎で下側が分布）が分かりやすかった。
中心からの距離のみに依存する基底関数
誤差での回帰を目指す。
ネットワークと書いてありながら、ネットワークらしい図がないということで
ニューラルネットワーク図に似た絵を紹介
３つのガウス基底関数（図6.2)との関連を説明（分かりやすかった）
テストの問題集を解いているという例え
解答の中味が、理解して書いているのか、時間がなくて１，１，１と書いたのか
そういうのを区別できるようなイメージ？
6.3.1 Nadaraya-Watosonモデル
図6.3について議論
差が小さいほど値が大きくなる
Q.Nadaraya-Watosonモデルがどうしてこのタイミングで述べているのか？
カーネル回帰の場合
σ^2が小さいと過学習みたいなグラフになる
σ^2を大きくして精度を高くすると汎化？みたいなグラフになる
6.4 ガウス過程
利点：予想の分散が出せる
欠点：予測しようとすると時間かかる
ガウス分布と分かってうれしいことは
平均と分散が分かれば分布が決まる
色々計算
2章と3章と6章をいったり来たり
C_Nがスパースだと計算が速く終わる O(N^2)
そうでなければ O(N^3)
6.4.3 超パラメータの学習
どの特徴が分類に有効だったかを調べることができる
参考文献が分かりやすいとのこと
DAVID J.C.MACKAY Intoroduction to Gaussian Processes
6.4.4 関連度自動決定
紹介でとどまっている。
6.4.5 ガウス過程による分類
ロジスティックシグモイド関数を利用
ラプラス近似もう3回も出ている（後もう１回でる）が復習
コードに落とす場合は、適当な数値解析を選ぶ
6.4.6 ラプラス近似
Q.ガウス過程の平均はどうして０なの？
多いと書いているから、別に０でなくても良い？
等色々議論
logするのはかけ算を足し算にするため
事後分布とか分からなくても計算できる
椅子と机を片付けて読書会終了
18:00前。
予習は本読んだだけじゃ素通りするだけ。
発表担当者じゃないけど、発表するつもりでpowerpoint作成した。
6.2完了したのが昨日。
6.3から6.4は、当日までひたすら繰り返し黙読。
で、発表聞いていたら
何か自分、分かったつもりになっていただけだった。
質問が飛び交う内容も
まだちゃんと理解しきれていない。
帰りの電車で、黙読。
なんか結構頭に入る。
