【警告】AOAIのモデルをデプロイしただけで約5万円も課金された話
はじめまして、ますみです！
株式会社Galirage（ガリレージ）という「生成AIに特化して、システム開発・アドバイザリー支援・研修支援をしているIT企業」で、代表をしております^^
この度、弊社にて、貴重な失敗経験をしたため、このナレッジを共有させていただきます。
具体的には、生成AIエンジニアの方々に向けた、AOAI（Azure OpenAI Service）についての警告記事になります。
AOAIとは？
AOAI（Azure OpenAI Service）は、「Azure上でOpenAIのモデルを利用するためのサービス」です。
PTUとは？
PTU（Provisioning Throughput Unit、プロビジョニング スループット ユニット）とは、「事前に指定するモデル処理容量の単位」です。
今回のインシデント
結論から言うと、AOAIのモデルをデプロイしたところ、APIをまだ使用していないのに、数時間後に約5万円の課金が発生していることを確認しました。
社内で、予算アラートを設定していたため、その晩に課金されていることが発覚し、弊社のCTOが急いでリソースを消してくれたため、5万円の被害で収まりました。
もしも弊社のCTOが気づいてくれていなかったら、毎日数十万円の課金がずっと続くところで、かなりヒヤリハットでした。。。
インシデントの原因分析
多くの人は、「AOAIは従量課金だし、なんでそんなことが起きたの？」と疑問に思ったかと思います。
一般的なAOAIのモデルをデプロイする際に、「グローバル標準」がデフォルトで設定され、従量課金（使った分だけ課金）の設定になります。
しかし、この設定で**「Provisioned-Managed」を選択すると、PTU（Provisioning Throughput Unit）が設定され、従量課金ではなく、時間単位の課金になってしまいます。**
今回のケースでは、この「Provisioned-Managed」になっていたことが原因でした。
しかも、「Provisioned-Managed」における課金金額の設定値は、デフォルトで最大値が設定されています。
ここで、多くの人が「あえてProvisioned-Managedに設定することなんてないから、自分は大丈夫」と思ったかと思います。
しかし、一部のモデルでは、「グローバル標準」の設定ができず、デフォルトで「Provisioned-Managed」が指定されることがあります。
これに気づかずに、デプロイをすると、数時間で約5万円が課金される大変な状態になります。
何も知らない人が、AOAIのモデルをデプロイする際に、この設定を見落とす可能性は十分にあり得るため、本当に注意が必要です。
対処法
「Provisioned-Managed」についての社内周知
この「Provisioned-Managed」についての社内周知が最も効果的です。
この記事を急いで書いた背景に、同じようなインシデントが他社の現場でも起きないようにしたいと思ったためです。
この記事の内容は、自由に共有していただいて構わないいため、ぜひ社内やSNSにて共有していただけると幸いです。
予算アラートの設定
もう一つの対処法として、予算アラートの設定があります。
多くの企業では設定しているかと思いますが、一定の金額に到達したら、メール通知することができます。
具体的な設定方法は、下記にまとめました。
予算アラートの作成方法
まず、左側のサイドメニューの中の「コスト管理 > 予算」にアクセスします。
そして、「追加」をクリックします。
下記のように予算の設定をします。
最後に、通知先を設定して、完了です。
最後に
最後まで読んでくださり、ありがとうございました！
この記事を通して、少しでもあなたの学びに役立てば幸いです！
おまけ①：Raggle
RAGの精度改善に挑戦しませんか？
Raggleにて、「法務RAGシステムの性能改善ハッカソン」を開催中です！（10月20日に募集締切）
Raggleは、RAGの性能改善技術を競い合い、AIエンジニアのスキルアップを支援するプラットフォームです🥇
優勝者（GOLD🥇）の賞金は、なんと30万円！！！
SILVERは10万円、BRONZEでも5万円の賞金を用意しています！
また、参加賞として、大会終了後に「RAG精度改善ハンドブック」を贈呈予定なため、初学者の方もぜひ挑戦してみてください 🔰
みなさん、奮ってご参加ください🔥
※ 生成AIエンジニアの権利を守るため、投稿されたソースコードの著作権は、投稿者に帰属する規約としているため、その点もご安心ください◎
▼ エントリーはこちら ▼
おまけ②：書籍出版のお知らせ
ついに『AIとコミュニケーションする技術（インプレス出版）』という書籍の事前予約が始まりました🎉
これからの未来において「変わらない知識」を見極めて、生成AIの業界において、読まれ続ける「バイブル」となる本をまとめ上げました。
かなり自信のある一冊なため、もしもよろしければ、ご一読いただけますと幸いです^^
▼ Amazonの事前予約はこちらから ▼
おまけ③：生成AIアカデミー
より専門的な「生成AIエンジニア人材」を目指しませんか？
そんな方々に向けて、「生成AIアカデミー（旧：生成AIエンジニア塾）」というプログラムを始めました🎉
最終的なゴールとして、『エンタープライズ向けの生成AIシステムを構築するためのスキルを習得し、大手案件で活躍できる人材』を目標とします。
また、一人一人にしっかりと向き合って、メンタリングをできるようにするため、現在メンバーの人数制限をしております。本気度やスキルレベルの高い人から、順番にご案内しております。
▼ 登録はこちらから ▼
おまけ④：AI Newsletter for Biz
最新のAIニュースの情報を収集しませんか？
AI Newsltter for Bizは、ビジネスパーソン向けに「AIニュース」を定期配信する完全無料のニュースレターです📩
一人でも多くの方にとって、「AI人材としてのスキルアップ」につながれば幸いです^^
また、現在、登録者限定で「明日から使える 無料AIサービス3選」のPDFを配布中です 🎁
※ ご登録完了のメールに、PDFリンクを添付いたします。
▼ 登録はこちらから ▼
おまけ⑤：生成AIの仕事をしたい仲間を募集中 🤝
弊社Galirageでは常に、40-50件ほどの生成AI案件が走っております。
そして、ほとんどが「生成AIの案件（RAGシステム開発 / 精度改善の研究開発など）」の仕事になります！
かなり人手が不足しており、以下のポジションの仲間を募集しています💪
- RAGエンジニア（RAG / LangChain / Python）
- バックエンドエンジニア（Python / FastAPI）
- フロントエンジニア（Next.js / TypeScript）
- Azureエンジニア（AOAI / AI Search）
- UI/UXデザイナー
- 生成AIリサーチャー（研究開発 / 論文執筆）
- 生成AIコンサルタント
- PM / PMO
ご興味がある方は、下記のフォームよりお気軽にご連絡ください！
採用基準は下記の通りです。
- 平日の日中に動ける方だと嬉しいですが、週8時間くらいの副業でもOKです！
- 開始時期は、直近だと嬉しいですが、遠い未来でもOKです！まずはカジュアルに話しましょう😊
- 年齢は不問です！現状は、平均年齢は30歳前後の会社です！
- 「スキルセット」よりも「カルチャーマッチ・仕事への姿勢・ものづくりへのワクワク」を重視します。
- 10月には新しく10名採用しました。
- その内、エンジニア経験が3年未満の方は、4名いました。
- スキルについては、ジョインした後に、必要に応じて、キャッチアップする時間を作ります。
- 弊社は、正社員7名、業務委託80名の組織で構成されており、業務委託の仲間に支えられているため、正社員と業務委託の間にあまり差をつけていません。
- 契約形態に関わらず、一緒に働く仲間として受け入れたその日から、大切な仲間です！
- 新卒や転職の正社員採用もしていますが、業務委託での仕事を通して、お互いにWin-Winだと判断できた方のみを採用しています。
- 私自身、フリーランスを5年間やっていたため、個人事業主と正社員のメリデメは両方の立場から理解しています。
- 人手不足ではあるものの、採用基準をかなり厳しくしています。目の前の売上よりも、カルチャーのマッチする人だけを入れることにこだわっています。
- ちなみに、弊社のリーダーを紹介したプロフィールページはこちらです！
- Galirageに、本当に素敵な方が多いことは、保証します！
参考文献
Discussion