Open3
国土交通省データコンペ周りで取り組んだことのメモ
まりーなデータコンペ ミリしらだけど、授乳のスキマ時間脳のリソースが空くので遊んでみる
まりーなミリしらの民からすると本当にありがたーいブログ
とりあえずこのnotebookで1サブミットをするという経験ができた。
ありがたすぎる・・・・・・
まりーなベースラインのnotebookで学習するところで25分位かかるのがしんどみを感じた。
授乳のタイミングで最大時間を作れて1時間半の民だと、いっかい学習するのに25分もかかってしまうと辛い。
あとなんやらかんやらやってるとGoogle colabの接続が切れる。
試行回数は多く回したい
↓
GPUをつかえば早くできそう
やったこと
- T4GPUに切り替え
- ベースラインのnotebookに下記を追加
(デフォルトで入ってそう？だけど入れ直したらうまく行った？よくわからん)
!pip3 install lightgbm
# lightgbmがGPUを使う設定
## https://github.com/microsoft/LightGBM/issues/5914#issuecomment-1713129547
!mkdir -p /etc/OpenCL/vendors && echo "libnvidia-opencl.so.1" > /etc/OpenCL/vendors/nvidia.icd
改善したこと
Learning(train_df, features)
の実行が25分から4 分 41 秒に短縮。ありがたすぎる。
参考