VertexPipelinesの偶発的なエラーに遭遇した話

サマリ

Placeholderが置換されない（多分）ことがたま〜に発生する模様。

ことの起こり

お勤め先でVertexPipelinesを使ったMLパイプラインを本番運用しています。
このMLパイプラインが突然コケました。

調査

エラーメッセージ

No such file or directory: "{{$.inputs.artifacts['hoge'].path}}"

"{{$.inputs.artifacts['hoge'].path}}"...？

{{$.inputs.artifacts['hoge'].path}}

hogeというArtifactsのGCSパスのPlaceholder。
パイプライン実行時には/gcs/xxx/xxx/xxx/hogeみたいなパスに置換されるはず。
なのでエラーメッセージに置換前のPlaceholderは出てくることはないのでは...？
→ Placeholderが何らかの理由で置換されなかった説

GCPのサポートケースへ

これ以上自分で調べてもどうしようもなさそうだったのでサポートケースを作成しました。
以下回答です（サポートケースの担当者様対応ありがとうございました🙇‍♂️）。

...一時的な偶発問題と考えております。恐縮ですが、このような事象を100% 防ぐことは出来ず、僅かな確率ではございますが、今回のような事象が起こる可能性があることをご理解のほどよろしくお願い申し上げます....

つまりツイてなかっただけでした。