Transcript 統計的機械学習

統計的機械学習
内容
導入
情報源のモデル推定
ベイズ統計の利用
次元の呪い
モデル推定と評価
損失関数、偏差と分散のトレードオフ
情報理論：Kullback-Leibler divergence な
ど
確率分布
 離散分布
 ベルヌーイ分布
 二項分布
 ポアソン分布
 β分布
 Dirichlet分布
 連続分布
 正規分布（1次元、多次元）
 指数分布族
 ノンパラメトリックな分布ここでよいのかどうか。。。
 K-nearest neighbor
評価方法
システムの出力ｖｓ教師データ
Recall Precision
Average precision, MRR
評価者の一致度の評価
線形回帰
最尤推定と2乗誤差の損失関数
偏差と分散のトレードオフ
K-NNの場合との比較
線形モデルによる分類
分離平面
生成モデル
識別モデル
ベイズ統計
カーネル法による分類
双対表現
カーネル関数
ガウスモデル
SVM
最大エントロピー法
学習データのスムージング
グラフィカルモデル
記法
有向分離(D-separation)
モデル推定
K-means
EMアルゴリズム
Advancedなモデル推定
一般化EM
変分ベイズ
LDA
標本化手法
次元の呪い
Rejection sampling
MCMC
Metropolis-Hasting algorithm
Gibbs sampling
隠れ変数の推定
PCA
HMM
Boosting
• AdaBoost
クラスタリング
K-means
HAC
Decision Tree
データマイニング
Market Basket
Apriori algorithm
FP-growth
Sequential data mining
Definition
PrefixSpan
FREQT
String kernel