機械学習：forループの処理をベクトル化したら処理速度が大幅改善した

機械学習の分野でデータ処理を行う際、forループをベクトル化することで処理速度を大幅に向上させることができます。
わたし自身、forループを使った時は10分以上かかっていた処理をベクトル化したら、すぐに終わるようになりました。

forループとは？

forループは、データの各要素に対して同じ操作を繰り返すための基本的なプログラミング手法です。しかし、大規模なデータセットに対しては、この方法は非効率的で時間がかかることが多いです。

ベクトル化とは？

ベクトル化は、単一の操作でデータセット全体に対して計算を適用する手法です。これにより、データの各要素に対する繰り返し処理を一括で行うことができ、処理速度が大幅に向上します。

forループとベクトル化の例

次のデータセットを使います。また、ベクトル化にはPandasを使います。

import pandas as pd
df = pd.DataFrame({'A': range(1, 10001), 'B': range(10001, 20001)})

forループの例:

AとBを足すには、次のようにコードをいれます。

result = []
for i in range(len(df)):
    result.append(df.iloc[i]['A'] + df.iloc[i]['B'])
result

計算結果（最初のほうのみ）
[10002,
10004,
10006,
10008,
10010,

ベクトル化された操作の例:

result = df['A'] + df['B']
result

計算結果（最初のほうのみ）
0 10002
1 10004
2 10006
3 10008
4 10010

処理速度が向上する理由

forループを使用すると、各繰り返しに対して多くのオーバーヘッドを必要とします。たとえば、次のようなものです。

-ループの各反復ごとにインデックス変数の更新や終了条件のチェックなどが行われます。

-forループ内で関数を呼び出す際には、その都度関数呼び出し、オーバーヘッドが発生します。

-プログラムが実行時にコードを一行ずつ解釈して実行するため、追加の実行時間が必要です。

ベクトル化された操作では、データの一括処理が行われるため、上記のようなループに関連するオーバーヘッドが大幅に削減され、処理が高速化します。

まとめ

機械学習において大規模なデータセットを扱う際、ベクトル化は処理速度を大幅に改善するために有効な手法だと改めて実感しました。