Transcript ppt
Linear Methods for Classification 修士１年 斎藤 大 今日紹介する手法 入力空間を線形に分類する手法 LDA(Linear Discriminant Analysis) Logistic Regression Hyperplaneを用いた分類 一般的な分類 あるクラスkに対し、入力から “kらしさ”を求める関数 が存在する 全てのkに対して を計算する が最も大きいクラスを選ぶ “kらしさ”とは？ “kらしさ”が最大のものに分類する →”kになる確率”を求めればよい 事後確率 入力がxの時、kに分類される確率 も事後確率と同様に扱える ただし、負の値、１以上の値もあり得る 線形分類 クラスの境界が線形、という仮定 が線形なら、境界も線形 境界の関数を求める 最小二乗法 仮定 f(x) 二乗誤差が小さい 直線が適切 全ての点について f(x)との二乗誤差を 求める 問題点：masking 左：回帰 右：LDA 左では緑のクラスが分けられていない LDA(Linear Discriminant Analysis) LDAとは 線形判別分析 各クラスの境界を 直線で求める 以下のモデルを仮定 各クラスのばらつき（＝分散）は等しい 各クラスはガウス（正規）分布に従う 「分散が等しい」の意味 ガウス（正規）分布 １次元正規分布の確率密度関数 p次元正規分布の確率密度関数 μ：平均 ∑：分散 ベイズの定理 k→xの確率 x全体の確率 ：条件付確率（kの時xが起こる確率） ：事前確率（kが起こる確率） 境界の式 境界の式の条件 ガウス分布を用いると xに関して線形 実際の計算 実際に訓練データから学習する時の 各パラメータの計算 ：kが起こる確率 →訓練データ中にkが出てきた数 ：平均値 →クラスkの全入力の平均 :分散 →全クラスの分散 QDA(Quadratic Discriminant Analysis) 二次判別分析 分散が等しい、の仮定を除く クラスの境界が曲線となるため、より柔軟 な状況に適用できる しかし、推定すべきパラメータ数が増えるので、 計算が大変 LDAの入力を増やすと（ QDAとほぼ同等の結果を出せる ） 直感的な理解（１） LDAは結局何をしているのか？ 入力を、次元の低い（K-1次元）特徴に射影 境界の直線→それに直交する特徴軸 例：K=2 直感的な理解（２） クラス内分散を最小に クラス間分散を最大に 同じクラスは出来るだけ集めたい それぞれのクラス間で共通部分が少ない方が 良い から最適なパラメータを求める Logistic Regression Logistic Regressionとは 結果が２値のモデルで主に用いられる 医学・薬学の分野など →病気か否か、など２値化が容易 ある事象が発生する確率を直接予測する モデル：事後確率の比の対数（logit）は線形 ２値では と同義 モデル 事後確率（２値の場合）は以下の形 一般化： Logistic Regressionの特徴 入力の各値に係数が付くため、どの要素が 判別に効いているのか理解しやすい 注意点：入力の次元を多く取り過ぎない 出力と関係無い値や相互関係を持つ値を入力 に用いすぎるとおかしな結果が出ることがある パラメータ推定 出力と予測が揃った時に高評価 ただし、 は２値の出力(0/1)：aに分類される時の値 上の式を変換すると この式を最大化する Logistic Regressionの例 標準化されたスコア 心臓病の要因の推定 2以上→有意 要素 係数 Err Z Score 血圧 0.006 0.006 1.023 タバコ 0.080 0.026 3.034 コレステロール 0.185 0.057 3.219 親族 0.939 0.225 4.178 肥満 -0.035 0.029 -1.187 アルコール 0.001 0.004 0.136 年齢 0.043 0.010 4.184 直感的な理解 logit 1 0.9 0.8 Logit負：確率５０％以下 0.7 0.6 p 0.5 0.4 0.3 0.2 -2.5 -1.5 Logit正：確率５０％以上 0.1 0 -0.5 0.5 log(p/(1-p)):logit 1.5 2.5 LogisticとLDAの比較 両方とも 事後確率Pr(G=k|X=x)を用いて分類する 境界は線形になる の式を用いる 経験的に二つの手法の結果はほぼ同じ Logistic Regressionは 各クラスの分散が等しい、等の仮定が無い Hyperplaneを用いた分類 Hyperplaneとは？ 超平面 クラスを“出来る限り”分けるための平面 SupportVectorMachine等はこれを用い ている 以下、特定のモデルを立てるのではなく、 二つのクラスを分ける最もよい平面を考 える 超平面とLDAの比較 赤ラインはLDA 誤分類が一つ 完全に二つに分類す る直線は青ライン いくつか考えられる 適切な超平面は？ Perceptron Learning Algorithm ニューラルネットワークの手法 誤分類の点と境界との距離を最小にする 完全に分離出来る時は分離したい この手法の問題点 完全に分離出来る直線がたくさん存在 計算ステップ数が多い 特にクラス間の間隔が小さい時 データが完全に分離できない場合、 収束しないことがある 最適な超平面を求める クラスを二つに分類し、かつ 各データ点との距離が最大となる超平面 を引く→マージン最大化 唯一解 クラス間距離最大 Support Vector 各クラスで相手に最も近い点 →Support Vector 最小二乗法やLDAと違い、全てのデータ を見る必要がない 分離平面に近くの点だけでよい データが完全に分離できない場合 →Support Vector Machine まとめ 線形にデータを分類する手法 LDA Logistic Regression 超平面で分ける方法もある