Python 機械学習 第４章 データ前処理

機械学習で使用するデータは、ほとんどといってよいほどそのまま学習機に入れることのできるデータではない。
そのため学習機に入れる前処理としてデータを加工する必要がある。

欠測データの対処
データの中には表示がNaN, Nullになっているデータが存在することが多々ある。
このようなデータは排除しなくてはならない。

主にpandasと呼ばれるデータ解析ライブラリを用いて実装を行う
https://aiacademy.jp/media/?p=152

pandas.read_csv DataFrame型でcsvを生成する。
isnull().num()欠測値をカウントする。
dropna()欠測値が存在する行を削除

欠測値を削除しすぎてしまうとデータを失いすぎてしまったりする。
こうなってしまうと、分析に影響がでてしまう場合があるのである程度補完する必要がある。

良く使われる補完方法として、平均値補完(mean imputation)がある。
これは欠測値のデータをその列の特微量の平均値であてがうというものである。

カテゴリデータの処理
数値ではなく、カテゴリ値を持った特微量データの分類をする

名義特微量と順序特微量

• 順序特微量
  順番が存在する特微量
  ex) Tシャツのサイズ XL > L > M
• 名義特微量
  順序が存在しない特微量
  ex) Tシャツの色 赤, 青, 黄

ランダムフォレスト/決定木以外のほとんどの学習モデルは特微量の尺度が、学習の精度に影響する。

ある一つの特微量の範囲が1~100なのに対して、もう一つの特微量の範囲が1~10000などの値だった場合、その値の違いによって学習するモデルが出す結果が影響してしまう。
この場合だと学習モデルにも寄るが、1~10000の範囲の特微量の方が絶対値として大きくなってしまうので、1~100の範囲の特微量が誤差として認識されてしまう場合がある。

これを防ぐために正規化、標準化が存在する。
正規化/標準化により全ての特微量の範囲を一定にすることで、特微量ごとの値の差をなくすことで正しいデータを取得する事ができる。

正規化
min-max スケーリング
その値のmin-maxでスケールさせる。これにより特微量を[0, 1]にスケーリングし直すことができる
https://aiacademy.jp/texts/show/?id=555

テストデータと訓練データセットを比べたときに、訓練データセットの方がデータセットとしてはるかに優れている場合、その学習が過学習になってしまう場合がある。
このモデルを「バリアンスが高い」ということがある。
これを防ぐ方法として、以下のような例がある。

• より多くの訓練データを集める
• 正則化によりペナルティを課す
• パラメータの少ない単純なモデルを選択する
• データの次元数をへらす

L２正則化

特微量の複雑さにペナルティを課すために正則化
各特微量に重み付けをすることによって、その特微量の値を小さくすることで精度を上げる事ができる。
\min f(x) + \displaystyle \frac{ \lambda }{ 2 } \sum_{ i = 1 }^{ n } |w_i|^2

もう一つの方法として、L1正則化がある
これは重みの絶対値を取るものであり、ペナルティを足すことにより大体の特微量の重みが0になってしまう。このため、L1正則化は無関係な特微量の個数が多い高次元のデータセットのときに使用される事が多い。
\min f(x) + \lambda \sum_{ i = 1 }^{ n } |w_i|