KaggleのTitanicをTensorflowで解いてみる
Kaggle とは
Kaggle は Google が主催の機械学習コンペティションで、様々な課題に対してその精度を競いあうものです。
精度が高ければ、上位チームには懸賞金が出ます。
そんな Kaggle も初心者向けに常時公開してあるタスクがあり、そのひとつが Titanic の生死分類タスクです。
Titanic はあの映画にもなった大型客船のことです。ここに乗船していた人の状況（利用料金、性別、家族構成など）によって生死がどうなったかを予測していきます。
Tensorflow で分類していく
Tensorflow はニューラルネットワークによるディープラーニングの機械学習ライブラリです。Tensorflow 2.0 になってより使いやすくなりました。
今回はとりあえず「エイヤ！」で回答してみます。
プログラムの中身
プログラムの中身はこんな感じで構成しました。
- データ読み込み
- 不要列の削除
- 目的変数の分離
- 質的データを量的データへ変換
- Nan の除去
- Float データの標準化
- 訓練データ作成と学習
- 結果確認と出力
使用するライブラリ
今回は下記のライブラリを利用しました。
import pandas as pd
from sklearn.preprocessing import LabelEncoder
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from keras.models import Sequential
from keras.layers import Dense, Dropout
from tensorflow.keras import regularizers
細かいところは出現したときに説明します。
データの読み込み
pandas を用いてデータの読み込みを行います。
# Read data
train_data = pd.read_csv(r"your\path\to\train.csv")
test_data = pd.read_csv(r"your\path\to\test.csv")
for_result_test_data = pd.read_csv(r"your\path\to\test.csv")
train データは訓練用で test データは提出時に必要となるものです。test データは加工時、提出するときに必要な Id が欠損してしまいます。
その対策として for_result_test_data として未加工状態で保有します。
不要なデータ列を削除する
本来はいろいろなデータを見ながら削除する列を選ぶのですが、今回は動かしてみることを前提に考えていたので、適当に決めています。
# 今後の作業を楽にするため関数化して、列の削除を一般化
def drop_columns(df, list_columns=[]):
return df.drop(list_columns, axis =1 )
# 削除したい列名をリストで表記
list_columns_test = ["PassengerId", "Name", "Ticket", "Fare", "Cabin", "Embarked"]
# 関数の呼び出しと引数指定で削除できます。
train_data = drop_columns(train_data, list_columns)
test_data = drop_columns(test_data, list_columns_test)
目的変数の分離
目的変数を分離します。
# 目的変数を別の変数へコピーします。
train_data_y = train_data.Survived
# ここの中身は前述のものと同じです。
list_columns_survived = ["Survived"]
train_data = drop_columns(train_data, list_columns_survived)
質的データを量的データへ変換する
質的データを量的データへ変換する方法はいくつかありますが、今回 0,1 で記述できる性別はラベル化、それ以外は one-hot で対応します。
one-hot ベクトル化
まずは one-hot ベクトル化するのですが、2 つ、3 つと出てきたときにデータ列名が意味不明とならないよう、これも関数化します。
今回 one-hot 化には pandas の get_dummies を用いました。
# dataframeとone-hot化したい列のリストを受け取ります。
def one_hot_vector(df, list_OHV_columns):
# リストでforを回します。
for column_name in list_OHV_columns:
# one-hot化します。columnsでone-hot対象の列を指定、prefixで列名に新しい名前を指定します。
# ここで、既存の列名を含めることによりone-hotベクトル化後もわかりやすくなります。
df = pd.get_dummies(df, columns=[column_name], prefix="oh"+column_name, sparse=True)
return df
# one-hotの対象となる列名をリストで定義します。
one_hot_columns = ["Pclass"]
train_data = one_hot_vector(train_data, one_hot_columns)
test_data = one_hot_vector(test_data, one_hot_columns)
ラベル化
scikit-learn のライブラリを用いて性別を 0, 1 に振り分けます。
sex_le = LabelEncoder()
train_data.Sex = sex_le.fit_transform(train_data.Sex)
test_data.Sex = sex_le.fit_transform(test_data.Sex)
欠損値の計算
年齢には欠損値が含まれています。これがあるとTensorflowで計算ができません。（これに気付くのに時間がかかったのは秘密です。）
したがって、何かしらで埋める必要があるのですが、今回は「エイヤ」なので、平均値で埋めました。
train_data.fillna(train_data.mean(),inplace=True)
test_data.fillna(test_data.mean(),inplace=True)
標準化
今回のデータは年齢だけが標準化の対象となります。
sc = StandardScaler()
train_data.Age = sc.fit_transform(train_data.Age.values.reshape(-1, 1))
test_data.Age = sc.transform(test_data.Age.values.reshape(-1,1))
訓練データの作成
ここまでで殆どのデータ加工が完了しました。訓練するために必要な形へもう少し加工します。
# 値だけの配列へ変換します。
X = train_data.values
y = train_data_y.values
# 訓練データとテストデータを分けます。
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.20, random_state=0)
# Tensorflorwで読み込む形へ変換します。
y_train = y_train.reshape(-1,1)
y_test = y_test.reshape(-1,1)
機械学習
さて、ここまで来たらあとはTensorflowでゴリゴリ計算させるだけです。今回はKerasを用いて実行します。
# modelの定義
# kernel_regularizer=regularizers.l2(0.001) は重みの標準化を行います。
# activation sigmoidが2回出てくるのは、コピペミス…だったのですが、最終的に今回はこれが最も良い結果となりました。
# loss function は今回0, 1の結果だけが対象ですので、binary_crossentropyを定義しています。
model = Sequential()
model.add(Dense(100, activation = "relu", input_dim = X_train.shape[1], name = "layer_1", kernel_regularizer=regularizers.l2(0.001)))
model.add(Dropout(0.5))
model.add(Dense(50, activation = "sigmoid", name = "layer_2", kernel_regularizer=regularizers.l2(0.001)))
model.add(Dropout(0.5))
model.add(Dense(25, activation = "sigmoid", name = "layer_3" , kernel_regularizer=regularizers.l2(0.001)))
model.add(Dense(1, activation = "sigmoid", name ="output_layer"))
model.compile(loss="binary_crossentropy", optimizer="adam", metrics=['acc'])
# modelが定義できたらあとは回すだけです。
# epochsは今回2000程度で損失関数の改善が頭打ちになっていたので、2500としています。
model.fit(X_train, y_train, epochs=2500, batch_size=32)
提出用のデータ加工
出てきたデータを最後に加工しなければ提出できません。そのための加工方法を記載します。意外とここまで書いている資料って少ないと思いませんか？と思うのは私だけでしょうか？
# 結果を受け取ります。
# test_dataは列の構成がtrain_dataと同じ必要があります。
# 今回は同時に加工を進めたのでそのまま利用できます。
result = model.predict(test_data.values)
# nd_arrayで結果が得られるため、データをdataframeへ定義し直します。
# 提出時のcsv headerはSurvivedにする必要があるため、ここでも同じ命名を行います。
df_suv = pd.DataFrame(result, columns = ["Survived"])
# 値は0 ~ 1ですので四捨五入することで0, 1へ変換します。
df_suv.Survived = round(df_suv.Survived)
# floatをintへ変換します。
df_suv.Survived = df_suv.Survived.astype('int8')
# id列が今はないので、id列を持つデータと結合します。
df_r = pd.concat([for_result_test_data, df_suv], axis=1)
# 不要な列を削除します。
df_r.drop(columns=[ "Name", "Ticket", "Fare", "Cabin", "Embarked",'Sex', 'Age', 'SibSp', 'Parch', 'Pclass'],inplace =True)
# csvファイルを作成します。indexは不要なのでFalseです。
df_r.to_csv("test_result.csv", index = False)
結果は？
これで結果はこんな感じです。
初めてにしては上出来でしょう。
ただ、他の方のデータを見ていると、前処理に工夫代がありますので次はそちらもチャレンジですね。
何がすごいって、適当にまわしてもここまで精度が出てくるDeep learningがすごいんですね。GBDTも含めてもっと使えるようになりたい。
補足
今回サイズは小さいのですが、計算時間は数分必要となっています。VS CODE上のJupiter Notebookだと落ちました。
Pythonで実行するかColabで実行したほうが幸せになれるかもです。
では良いDeepな世界を！
Discussion