ゼロから築くAI協働【第二幕】生成AIのAPIで5万円溶かした話。〜私たちが本当に学んだ、コスト管理と"AIの限界"

前回の記事、読んでいただけましたか？AIとの共同作業で「2週間の作業が1日に」なった、あのブレークスルーは、本当にチームを興奮させてくれました。

さて、あんなにカッコいい成功話をした後でちょっと言いにくいんですが、今回は、私たちのチームが派手にやらかした話をしようと思います。

新しい技術って、触っているだけで楽しいですもんね。ついつい夢中になってしまう気持ち、エンジニアなら分かってくれますよね？ 私たちも、まさにその状態でした。そして気づいた時、会社の請求書には 「5万円」 という見慣れない数字が、静かに、しかしハッキリと刻まれていたのです。

この記事は、単なる失敗談の告白ではありません。この手痛い"授業料"を通じて、私たちが学んだAI時代の必須スキル、「コスト管理」と「AIの限界」とのうまい付き合い方についての、超実践的な記録です。

事件の背景：AIフィーバーの裏で、静かに回る「料金メーター」

「基盤指南書」の自動生成という大きな成功を収めた当時の私たちは、完全に「AIフィーバー」状態でした。「もっとやれるはずだ！」「このソースコードも解析させてみようぜ！」と、チームの誰もがAIという新しい"相棒"の可能性に夢中でした。料金メーターのことなんて、誰も頭の片隅にもなかったんですよね。

問題のメーターが最も速く回転したのは、まさにあの「基盤指南書」プロジェクトの真っ最中。私たちは、最高の精度を求めて、最も高性能なAIモデルを使い、プロジェクトのソースコードを何度も、何度もAIに読み込ませていました。

今思えば、料金メーターのないタクシーに、目を輝かせながら乗り込んでいたようなものでした。

なぜ、コストは膨れ上がったのか？身をもって学んだ3つの教訓

後日、請求書を見て「え、マジか…」と全員で固まった後、私たちは原因を徹底的に分析しました。そこから見えてきたのは、AI活用における、今となっては笑い話のようだけど、当時は血の気の引いた3つの教訓です。

教訓1：AIのコストは「対話の量（トークン数）」で決まる

これ、AIのAPIを触る上での「基本のき」なんですが、興奮していると、つい忘れちゃうんですよね。API利用料は、私たちがAIに送るインプットと、AIが返すアウトプットの両方の文字数で決まります。

私たちがやっていた「ソースコード全文を読み込ませる」という行為は、燃費を気にせずアクセルをベタ踏みしているようなもの。いわば 「API料金のガソリンがぶ飲み」 状態だったわけです。

教訓2：「とりあえず最強モデル」は超危険な罠

最新・最強のAIモデルは、確かに驚くほど賢い。ですが、当然、利用料金も最高級。

私たちのチームでは、一部のメンバーがより良い結果を求めて、特別な「マックスモード」を試していました。これ、簡単なタスクでもお構いなしに使ってしまうと、とんでもないコストになります。まさに 『スーパーカーで近所のコンビニに行く』 状態。そりゃ、ガソリン代（API利用料）も高くなりますよね、という話です。

教訓3：「監視なき実験」は、財布を溶かす

そして、これが一番の「やらかし」ポイントだったかもしれません。私たちは、セーフティネットなしで綱渡りをしていたんです。

• 予算上限アラートの設定
• 日々の利用状況のモニタリング
• 「これ、めっちゃ金かかるかも」という処理の事前相談ルール

これらの基本的な安全装置が何一つなかった。だから、請求書が届くまで誰も危険に気づけなかった、というわけです。

私たちの解決策：5万円で買った「AI利用の掟」

この5万円の"授業料"は、決して無駄にはなりませんでした。私たちはこの手痛い経験から、チーム内にこんな「AI利用の掟」を即座に定めました。

1. コスト意識を常に持とう： 「この処理、トークンどれくらい食うかな？」を合言葉にする。
2. 適材適所でモデルを選ぼう： 「コンビニに行くのにスーパーカーは使わない」ルール。
3. アラートは絶対設定しよう： まずは安全装置を付けてから、アクセルを踏む。

この「掟」のおかげで、私たちは今、安心してAIという相棒と、全力で開発に取り組めるようになりました。

まとめ：失敗こそが、最高の学習機会である

皆さんも、新しい技術を前にして、ついアクセルを踏みすぎてしまった経験、ありませんか？

重要なのは、失敗を隠すのではなく、そこから何を学び、次にどう活かすか、ですよね。この5万円という手痛い出費は、私たちにAIを「魔法の杖」ではなく、コストと性能を意識して使いこなすべき「現実のツール」として向き合う、という極めて重要な視点を与えてくれたんです。

この"授業料"があったからこそ、私たちはAIをより賢く使いこなせるようになりました。そしてその学びを活かし、開発プロセスの中核である 『コードレビュー』の自動化 という、次なる挑戦に乗り出したのです。

次回、第三幕では、私たちがAIレビューの精度を90%に引き上げた、もう一つの技術的な物語についてお話しします。お楽しみに！

---

皆さんの「やらかし」も教えてください！

皆さんが経験した、新しい技術に挑戦して起きた「やらかし」や、そこから得た教訓は何ですか？「自分もやったことある！」みたいな共感のコメントだけでも大歓迎です！ぜひコメント欄であなたの失敗談も教えてください！