合成データ生成ライブラリのサイレントエラーを追った話(前編):直接パッチを当てる泥臭いデバッグ
「エラーメッセージが出ないのに、なぜか処理が失敗したままスキップされる」
スタックトレースがあればまだ原因を特定できますが、エラーを吐かずに「終わったふり」をして次の処理へ進んでしまうようなケースでは、どこから手をつけていいか分からずデバッグが難航しがちです。
今回は、合成データ生成ライブラリであるMostlyAIを使う中で、まさにそのような「無言の失敗(サイレントエラー)」に遭遇しました。
この記事では、そんな「エラー原因の手がかりすら掴めない状態から、ライブラリへの直接パッチで真の犯人の尻尾を掴むまでの泥臭いデバッグ体験」を共有します。
※本記事は【前編】デバッグ・アーキテクチャ編です。次回の【後編】では、暴き出したエラーの裏側に潜んでいた「ライブラリの型推論」と「Pandas 3.0の思わぬ影響」に迫ります。
始まりは「0%のまま止まるプログレスバー」
非常にシンプルなコードを書いていました。有名な「Bank Marketing Dataset」を使って、合成データを生成するためのモデルを学習させようとしたのです。
from mostlyai.sdk import MostlyAI
import pandas as pd
# データの読み込み
df = pd.read_csv("bank-marketing.csv")
# ローカルモードでの初期化
mostly = MostlyAI(local=True, local_dir="./mostlyai_local")
# 学習の開始
g = mostly.train(data=df)
これを実行すると、次のようにログが出た時点で……0%のままプログレスバーが止まりました。
Started generator training
Overall job progress ━━━━━━━━━━━━━━━━ 0% -:--:--
Step data:tabular PULL_TRAINING_DATA ━━━━━━━━━━━━━━━━ 0% -:--:--
そして数秒後、例外も出ず、スタックトレースもなく、まるで学習が終わったかのように何食わぬ顔で次の行の処理へ進んでしまったのです。エラーもないのにモデルは生成されていないという、非常に不気味な状態に取り残されました。
なぜエラーが隠れるのか? アーキテクチャを疑う
まず「なぜエラーが見えないのか」を理解するところからデバッグを始めました。
依存ライブラリの不足などを疑いましたが異常はなし。そこで、MostlyAI SDKのソースコードを直接読んでみることにしました。
学習プロセスのエントリーポイントである routes.py を読んでいくと、学習処理が次のような形でキックされているのを発見しました。
# mostlyai/sdk/_local/routes.py の抜粋イメージ
cli_py = str((Path(...) / "cli.py").absolute())
cmd = [sys.executable, cli_py, "run-training", generator.id, str(home_dir)]
subprocess.Popen(cmd)
学習処理は subprocess.Popen によって別プロセスとして非同期起動されていたのです。
これが「エラーが隠されていた」ことの根本原因でした。子プロセスで例外が発生して終了しても、そのエラー出力(stderr)は親プロセス(私が実行しているスクリプト)には標準で転送されておらず、さらにはエラーとして検知されずに「そのまま正常終了したかのように次の処理へ進んでしまう」という見え方になっていたわけです。
無理やりエラーを暴く:SDKソースへの「一時パッチ」
エラーが別プロセスで起きている、つまり「アーキテクチャの壁」があることが分かれば、やることはひとつです。エラーを無理やり外の壁まで漏らしてやればいいのです。
先ほどのCLIから呼ばれている実体である jobs.py の例外ハンドラを探し出し、スタックトレースをテキストファイルに直接書き出すように、ライブラリのソースを一時的に改変しました。
# .venv/lib/python3.12/site-packages/mostlyai/sdk/_local/execution/jobs.py
except Exception as e:
_mark_failed(...)
_LOG.error(traceback.format_exc())
+ # ↓ デバッグ用にスタックトレースを強制出力!
+ with open("./mostlyai_local/real_error.txt", "w") as f:
+ f.write(traceback.format_exc())
raise
「ライブラリのソースコードを直接いじるのは気が引ける……」と思うかもしれませんが、仮想環境は uv sync や pip install でいつでもクリーンな状態に作り直せます。デバッグ時は遠慮なく書き換えてしまいましょう。「まずはソースコードを読んで、必要があれば手を入れてしまう」というマインドセットは、原因不明のサイレントなバグと対峙するときに非常に役立ちます。
そして姿を現したエラーメッセージ
仕込んだパッチにより、エラーを炙り出す下準備は整いました。
再度学習スクリプトを実行すると……ついに real_error.txt に待ち望んでいたエラーが吐き出されました!
pandas.errors.OutOfBoundsDatetime: Out of bounds nanosecond timestamp: 1-05-01 00:00:00
1-05-01……つまり「西暦1年5月1日」。
Pandasの日付範囲エラー(OutOfBoundsDatetime)であることは分かりましたが、一体どうして機械学習のデータセットから「西暦1年」などというあり得ない古いデータが生まれてしまったのでしょうか?
このエラーコードを片手に元のデータを辿っていくと、「何でもパースしようとするPandasの賢さ」と「MostlyAIの型自動推論」が引き起こした、思わぬ設計のすれ違いに辿り着くことになります。
原因追求と本質的な問題解決に挑む【後編】へと続きます。
Discussion