14 reference

拙い直訳なので内容は無保証です。
アプストラクト読むだけでも大変です。

14.2

• Breiman,1996
  • Bagging predictors.

バギング予測
バギング予測は予測に関して多くのversionが生じる手法であり、集計した予測を得るために利用している。数字の結果を予測している時、説明に関しての集合の平均、また、クラスを予測している時、大部分投票する。複合versionは、学習セット、またはこれらを新しい学習セットとして使い、bootstrapを反復することで形づくられている。実世界のテストやクラス分類器を利用しているシミュレートしたデータセット、回帰ツリー、線形回帰におけるサブセット選択はバギングが十分な精度を与えることができることを示す。重要な要素は、予測手法の変わりやすさである。無秩序な学習セットは構築した予測における重要な変化を引き起こすと、精度を良くすることができる。

バギングの意味が、まだよく分からない。

こちらの説明とこちらも分かりやすい。

version：説明とかあるけどそのままにした。
R packageではadabag
が該当するようです。

14.3

• Freund and Schapire(1996)
  • Experiments with a new boosting algorithm.

新しいboosting algorithmによる実験
論文「A decision-theoretic generalization of on-line learning and an application to boosting.」より、新しいAdaboostと呼ばれる「boosting」アルゴリズムを紹介した。理論的には常に分類器を生成する任意の学習アルゴリズムの誤差をかなり減らすことに利用可能。その性能は勘よりも良い。
また「擬似的損失」の考えと関係があることを紹介した。つまり識別するために最もハードであるラベルを集結するマルチラベルコンセプト学習アルゴリズムを促進する手法である。
本論文では、実験を述べる。AdaBoostをより良く評価するため実施した。同時に「擬似的損失」をさせないで、実際の学習問題において実施した。
　２セットの実験を実行した。最初のセットで様々な分類器を統合する時に利用する手法であるBreimanの「bagging」手法のboostingと比較した。（決定木を含んでいて、単独属性値テストを含む）　機械学習ベンチマークの収集物で２つの手法の性能を比較した。２番目の実験セットでは、OCRでの最近傍分類器を用いたboostingより詳細な性能を調査した。

靴下にゃんこさんが完結にまとめていた。
こちらの方は参考になるリンク多数有

• Friedman,2001
  • Greedy function approximation: a gradient boosting machine.

欲張り近似関数：勾配boosting machine
近似関数は、パラメータ空間よりもむしろ関数空間の数値最適化の全体像から見る。接続部は、stagewize拡大式展開と最急降下最小化との間で作られる。汎化勾配降下「boosting」パラダイムは、どんなフィッティング規準に基づいても展開できるよう拡大するために発展している。具体的なアルゴリズムとして、最小二乗、最小絶対偏差、回帰のためのHuber-M損失関数、クラス分類器のためのマルチロジスティック尤度を述べる。具体的な強化は、特定のそれぞれの追加コンポーネントにおいて決定木の場合から得られる。「Tree Boost」のモデルのような解釈ができるツールを紹介する。決定木の勾配boostingは優位に作り出せる。特にクリーンデータよりも少ないマイニングに適している。このアプローチとFreundとSphapire 1996、Friedman, Hastie、Tibshirani 1998 のブースティング手法との間の関係について議論する。

回帰問題の拡張版ブースティング

14.3.1

• Friedman et al.(2000)
  • Additive logistic regression: a statistical view of boosting.

追加型ロジスティック回帰:boostingに対する統計的所見
Boostingは分類方法における最近の発展において重要なひとつである。Boostingは、トレーニングデータの重みを変更しないように分類アルゴリズムの適用を連続することで動作する。また次に多数の投票を重みに加えて取り込む。このようにして生産する。多くの分類アルゴリズムにとって（シンプルな戦略）性能の飛躍的な改善の効果を生む。一見したところ、不可解な現象のように見える。よく知られている統計の原則に関して理解できるようになる。（すなわち、追加型モデルと最大尤度）。２クラス問題においてboostingは１つの規準として最大ベルヌーイ尤度を用いたロジスティックスケール上の追加型のモデル化をするための近似として見ることができる。より直接的な近似を開発する。そしてboostingによって、ほぼ同一の結果を示す。多項式尤度に基づくダイレクトマルチクラス一般化理論は、大抵の状況において最近提案したboostingのマルチクラス一般化理論と比較できる性能を示すことで導く。いくつかは、はるかに優れている。しばしば10から50の因子で計算を減らすことができるboostingの小さな変更を提案する。最後に、boosting決定木の代わりの定式化を作ることでこれらの本質について問う。このアプローチは最先端木の誘導に基づいている。しばしばよりよい性能の先頭を行く。統計的決定規則の解釈を与えることができる。また、計算的に最も速い。大規模データマイニングアプリケーションにより適するよう作っている。

指数誤差関数の逐次的最小化
靴下にゃんこさんが完結にまとめていた。

14.4

• Quinlan,1986
  • Induction of decision trees.

決定木への誘導
事例からの推論誘導によるナレッジベースシステムの構築技術は、実際のアプリケーション別に、成功裏に実証されてきた。本論文では、色んな種類のシステムで利用されてきた決定木を統合するアプローチを要約する。また、そのような１つのシステム（ID3）について詳細に説明する。最近の研究結果は、ノイズまたは（もしくは）不十分な情報に対応するために修正することができるやり方の方向性が見える。報告された基本的アルゴリズムの欠陥は、比較することで打開する２つの意味について議論する。本誌は、現在の研究の方向を図解で結論を出す。

木構造モデル

ID3について

• Quinlan,1993

Programs for Machine Learning.

• • book review.

注意：book reviewを訳しました。どんな本なのか概要を述べているようです。

マシンラーニングプログラム
決定木を構築していくアルゴリズムは、大抵よく知られていたり、全ての機械学習手法で幅広く利用されている。決定木アルゴリズムの中でJ.Loss QuinlanのC4.5にとって代わるID3は、機械学習コミュニティ内で恐らく（十中八九）最も評判が良い。これらのアルゴリズムや変化はQuinlanが紹介して以来、非常に多くのテーマで研究されてきた。最近まで、決定木入門を探している研究者はQuinlanの影響力の大きいMachine Learning Journal誌[Quinlan,1986]に頼った。新しい本(C4.5:Programs for Machine Learning)の中でQuinlanは、正確にまとめている。最新の発展を含む。彼の整然とした体系の説明がたくさん必要だ。このような本は多くの研究者や学生のライブラリに追加されるのを歓迎する。

C4.5について

• Breiman et al.,1984
  • Classification and Regression Trees.

本なので省略

クラス分類と回帰ツリー

CART

• • R package
  • Rと樹木モデル

• Hastie et al.,2001
  • The Elements of Statistical Learning.

本なので省略

統計学習の基礎

14.5.3

• Jacobs et al.,1991
  • Adaptive mixtures of local experts.

局所エキスパートの混合適応
多くの分離ネットワークで構成されたシステムにおいて作られた新しい教示あり学習を示す。それぞれ、トレーニングケースの完全集合の一部を処理するための学習。新しい手段は、マルチレイヤーの教示ありネットワークのモジュールバージョンか、もしくは、優位な学習の連想バージョンとして見ることができる。したがって、どうも異なるアプローチであるこれら２つが新しいリンクをもたらしている。適切なサブタスクの母音識別タスクを分ける処理の学習を実証する。それぞれとてもシンプルなエキスパートネットワークによって解くことができる。

エキスパート：異なる構成要素と異なる領域を持った入力空間があって、それらの分布をモデル化したもの？

こちらの論文によると、歌手の声を識別するのにわざわざバックの音楽と歌手の声を分けてうんぬんするよりも人が聞いているようにそのままの音で識別できるよって解釈しました。

• Jordan and Jacobs,1994
  • Hierarchical mixtures of experts and the EM algorithm.

エキスパート混合階層とEMアルゴリズム
教示あり学習のツリー構造アーキテクチャを示す。基本的なアーキテクチャの統計モデルは混合係数や混合要素の一般化線形モデル(GLIM's)の両方を持つ混合階層モデルである。学習は最大尤度問題として処理される。具体的にはアーキテクチャのパラメータを調整する期待値最大化(EM)アルゴリズムを示す。また、パラメータが徐々に更新されるオンライン学習アルゴリズムを開発する。比較シミュレーション結果はロボットの動的領域で示される。

色んな種類の混合分布がさらに混ざったモデルのイメージでOKなの？
赤穂さんの論文

「脳の科学第８回」p11引用

ME とは入力データ空間をいくつかの小領域に分割し，その分割された
各領域に対してひとつのニューラルネットワークを割り当てることによって，複雑な問題を解くための手法

• Bishop and Svensen(2003)
  • Bayesian hierarchical mixtures of experts.

ベイズ階層混合エキスパート
階層混合エキスパート(HME)は、入力空間を分けるソフト確率に基づいた、回帰や分類器でよく知られている木構造モデルである。オリジナルの公式でそのパラメータは、最大尤度で決定される。over fittingを厳しくする傾向がある。尤度関数の特異点を含む。その上最大尤度フレームワークは、複雑なものや木の構造の最適化において、距離が不自然であることを提示する。以前、HMEモデルのベイズ処理を与える試みは、ラプラス近似に基づいた局所ガウス表現かまたは、入出力分布の結合分布を表現するモデルを更新していくことが期待されている。ゴールを予測するならリソースのムダをなくすことができる。本論文では、変分ベイズに基づくオリジナルHMEモデルの十分なベイズ処理を説明する。「局所」と「大域」変分法を混合することで、モデルの下におけるデータの確率の境界の正確な下界を獲得する。この境界はトレーニングフェーズ中で最適化されている。また生じている結果は、モデルの次数選択に利用できる。ロボットアーム運動学について記述されたデータセットにおいて、このアプローチを用いた結果を示す。

変分推論法ベース階層的混合エキスパートモデルのベイズ的な扱いについて説明

つ、疲れた。