Azure AI FoundryからPhi-3をデプロイする方法
新しいPhi-4を使いたいところですが、AI FoundryのPhi-4モデルはまだプレビュー状態なのと商用利用が出来ないっぽいのでPhi-3をデプロイします。
※Hugging FaceにあるPhi-4なら使ってよさそう。
Phi-3をクラウド側でAPIとして動かす方法
AI Foundryサービスのモデルカタログからデプロイしようと思ったのですが、2パターンあるようです。
両者の特徴をまとめました。
1. サーバーレスAPI
自分たちでサーバーを用意する必要がなく、手軽にデプロイができます。
リージョンが指定されてて、westus2
かswedencentral
である必要があります。
AI FoundryサービスのHubを上記二つどちらかのリージョンで作成してください。
Azure OpenAI Serviceからデプロイするモデル同様に、Azure AI Content Safetyが適用されるので、有害なコンテンツが生成されるリスクはないようです。
料金は以下になります。
こちらもAzure OpenAI Serviceからデプロイするモデル同様にトークン使用量による従量課金です。
1Mトークンあたりで比較すると
- Phi-3-mini-128k-instruct...入力0.13ドル、出力0.52ドル
- GPT-4o...入力2.50ドル、出力10ドル
デプロイすると、「マイアセット」に追加されます。
エンドポイントとAPI Keyを取得できるので、アプリに組み込みたい時はそちらを活用という感じ。
2. VM上にデプロイする
こちらはVMを立てて、そこにホスティングする方法です。
サーバーレスAPIとの大きな違いの一つとして、Azure AI Content Safetyが適用されないようです。
立てたVM上で推論を実行しなきゃいけないので、かなり高スペックなVMが必要です。(最低でも1時間約4ドルかかるやつ)
インスタンス数に関しては「Microsoftでは少なくとも3つを推奨します。」と書いてるのですが、1から変更ができません。
こっちはトークンの使用量によって料金は変わらない?ものの、VMの料金がめちゃくちゃかかっちゃいます。
月辺り$3.67 * 24時間 * 31日 = 2730ドル = 約40万円かかる計算です。
まとめ
Phi-3をクラウド上で動かしたいなら基本はサーバーレスAPIでのデプロイ方式。
Fine Tuningを自分で行いたい or どうしても日本リージョンで使いたい!とかだったらVM上にデプロイする方式。
ただサーバーレスAPIの方でもGUI上でFine Tuningはできるので、まずはサーバーレスAPIの方でいいんじゃないかな。
Discussion