🚀

OptunaのLightGBMTunerの探索範囲を追う

2023/08/06に公開

とても便利なLightGBMTunerですが、探索範囲がソースコードにしか書いてなかったのでメモ

結論

param = {
    "lambda_l1": trial.suggest_float("lambda_l1", 1e-8, 10.0, log=True)
    "lambda_l2": trial.suggest_float("lambda_l2", 1e-8, 10.0, log=True)
    "num_leaves": trial.suggest_int("num_leaves", 2, 256)
    "feature_fraction": trial.suggest_float("feature_fraction", 0.4, 1)
    "bagging_fraction": trial.suggest_float("bagging_fraction", 0.4, 1)
    "min_child_samples": trial.suggest_int("min_child_samples", 5, 100)
}

該当ソースコード

以下の _preprocess 関数に記載がある。

https://optuna.readthedocs.io/en/stable/_modules/optuna/integration/_lightgbm_tuner/optimize.html#LightGBMTuner

ちなみによくよく見ると小嵜さんのポストのナイーブな実装の例と同じだったりする。

https://tech.preferred.jp/ja/blog/hyperparameter-tuning-with-optuna-integration-lightgbm-tuner/

Discussion