Zenn
🧚‍♂️

初心者にも分かるベイズ最適化入門

に公開
Python
機械学習
初心者
ベイズ最適化
tech

はじめに

機械学習やデータサイエンスの世界では、「パラメータをどう設定すれば最高の結果が得られるだろう？」という問題に直面することがよくあります。例えば、機械学習モデルの学習率やニューラルネットワークの層の数など、試行錯誤で最適な値を見つけようとすると膨大な時間がかかってしまいます。
そんな時に役立つのが「ベイズ最適化」という手法です。初学者には難しい概念に思えるかもしれませんが、実は様々な分野で応用される非常に便利なツールなのです。
本記事では、数式をできるだけ使わず、ベイズ最適化の基本的な考え方から実際の応用例まで、初心者の方にもわかりやすく解説していきます。

ベイズ最適化とは？

ベイズ最適化とは、ブラックボックス関数の式を観測済みのデータから推定するための手法です。 ブラックボックス関数とは、内部の仕組みが見えない、あるいは複雑すぎて直接計算できない関数のことを指します。
もっと具体的に言うと、形状がわからない関数（ブラックボックス関数）の最大値（または最小値）を効率よく求めるための手法です。
例えば、あなたが料理人で美味しいスープを作りたいとします。調味料は塩、コショウ、酒、みりんの四種類です。この調味料の比率を高効率で最適化できるのがベイズ最適化になります。

ベイズ最適化の仕組み

ベイズ最適化がどのように動作するのか、簡単なステップで説明します：

  1. 初期データの収集：いくつかの点でサンプリングを行い、データを取得します
  2. モデル構築：取得したデータから、関数の形状を推定します（ガウス過程と呼ばれる手法を使います）
  3. 次の試行点の決定：獲得関数と呼ばれる指標を使って、次にどの点を試すべきかを決定します
  4. 新しいデータの取得：決定した点でサンプリングを行い、新しいデータを取得します
  5. モデルの更新：新しいデータを加えて、モデルを更新します
  6. ステップ3-5の繰り返し：十分な精度が得られるまで、または計算予算が尽きるまで繰り返します

このプロセスを通じて、「最適解が得られる確率が高い点を順番にサンプリングすることで早く最適解にたどり着く」ことができます。

ガウス過程(代理関数)

ベイズ最適化では、ブラックボックス関数がガウス過程に従うことを仮定しています。ここで、ガウス過程とは最適化によって得られた関数がガウス分布に従っていることです。
もっと簡単に言うと、現在持っているデータポイントから、まだ測定していない点の値を予測する方法です。そして、その予測には「平均値」だけでなく「不確かさ（分散）」も含まれます。この不確かさの情報が、ベイズ最適化の強みなのです。

獲得関数

獲得関数とは、ベイズ最適化において、次に評価すべき候補点を選択するための関数です。ベイズ最適化では、この獲得関数を最大化する点xを指定し、その点xでのブラックボックス関数の出力yを観測します。
代表的な獲得関数には以下のようなものがあります：

  • 期待改善量（Expected Improvement, EI）
  • 上限信頼区間（Upper Confidence Bound, UCB）
  • 確率改善量（Probability of Improvement, PI）

これらの獲得関数は、「探索（exploration）」と「活用（exploitation）」のバランスを取るように設計されています。つまり、未知の領域を探索することと、既知の良い解の周りを詳しく調べることのトレードオフを調整します。

ベイズ最適化のメリット

ベイズ最適化には、以下のようなメリットがあります：

  • アクティブラーニング：次に評価する点を選択する際に、不確実性が高い領域や最適解があると予測される領域を優先的に評価できます。これにより、評価回数を最小限に抑えながら探索を効率化できます。
  • パラメータチューニング：機械学習モデルのハイパーパラメータ調整においても有用で、過学習を防ぎながら、最適なパラメータを見つけることができます。

また、連続的でない関数に適用できる点も大きな利点です。最適化の手法の中には、途中に微分が含まれているものがありますが、連続的でない関数に対して微分はできません。対して、ベイズ最適化は微分ができない関数にも適用できます。

ベイズ最適化のデメリット

もちろん、ベイズ最適化にもいくつかのデメリットがあります：

  • 計算コスト：ガウス過程回帰など、ベイズ最適化の手法は計算コストが高いことがあります。特に高次元のパラメータ空間では計算コストが高い場合があります。
  • ハイパーパラメータの設定：ベイズ最適化自体にもいくつかのハイパーパラメータが存在し、適切な設定が必要です。
  • 局所最適解への収束：ベイズ最適化は探索的な性質を持つため、局所的な最適解に収束する可能性があります。

ベイズ最適化の応用例

ベイズ最適化は様々な分野で応用されています：

  • 機械学習のハイパーパラメータ探索
  • 深層学習のアーキテクチャ探索
  • 薬品開発（創薬）
  • A/Bテスト
  • 推薦システム
  • 統計的実験計画

特に機械学習の世界では、ハイパーパラメータ探索でよく使用される手法です。ハイパーパラメータとは、学習を進めていくことで得られるパラメータではなく、事前に人の手で設定しておくパラメータです。例えば、決定木における木の深さやリッジ回帰での正則化の強さなどがハイパーパラメータです。

Pythonでのベイズ最適化

Pythonでベイズ最適化を行うには、いくつかのライブラリが利用可能です：

# 必要なライブラリのインストール
# pip install scikit-optimize gpyopt bayesian-optimization

# scikit-optimizeを使った例
from skopt import gp_minimize
from skopt.space import Real

# 最適化したい関数
def objective_function(x):
    return (x[0] - 2) ** 2 + (x[1] - 3) ** 2

# 探索空間の定義
space = [Real(-5.0, 5.0), Real(-5.0, 5.0)]

# ベイズ最適化の実行
result = gp_minimize(objective_function, space, n_calls=15, random_state=42)

# 結果の表示
print(f"最適解: x={result.x}, f(x)={result.fun}")

より高度な実装には、GPyとGPyOptといったライブラリが使用されます。

まとめ

ベイズ最適化は、ブラックボックス関数の最適値を効率的に見つけるための強力な手法です。特に、評価に時間やコストがかかる関数の最適化に有効で、機械学習のハイパーパラメータ調整から創薬まで、幅広い分野で応用されています。
基本的な考え方は、過去の観測データから関数の形状を推定し、「次にどこを調べれば良さそうか」を確率的に判断することです。この「探索」と「活用」のバランスを取りながら効率的に最適解を見つけることができます。
初心者の方は、まずはPythonのライブラリを使って簡単な問題に適用してみることで、感覚をつかむことができるでしょう。

参考文献

Discussion