App Service Sidecar with GPT-OSS-20b を試してみる

https://techcommunity.microsoft.com/blog/appsonazureblog/build-lightweight-ai-apps-on-azure-app-service-with-gpt-oss-20b/4442885
この記事を試してみました！

結論、現状は返答に1分以上かかって使いにくいかなと言ったところです。。もっと高速に使える方法知っている方は教えてください。。！！

App Service プランを準備

• Premium V4 のプランが使えるApp Serviceプランを立てましょう。

App Service を立てます

• メモリ13G以上が必要になります。
• P1mv4以上で作成ください

サンプルコードを準備

以下のコマンドでクローンして、移動してください。

必要なのはgpt-oss-20b-sampleディレクトリ内のflask-appとollma-imageです

git clone [e-mail]:Azure-Samples/appservice-ai-samples.git

Azure Container Registry にollamaのイメージをpush

ollma-imageの中に移動し、以下のコマンドでビルド&プッシュしましょう

ACRが作成されてない場合は作成してください。

ACR_LOGIN={ACRのログインサーバー}
IMAGE=ollama-gptoss20b

cd ollma-image
# Build the Docker image
docker build -t $ACR_LOGIN/$IMAGE:latest .
# Push the Docker image to Azure Container Registry
docker push $ACR_LOGIN/$IMAGE:latest

App Serviceにコードを反映

以下のコマンドでflask-appをデプロイしましょう

RG={リソースグループ}
AP_NAME={App Serviceの名前}

cd flask-app
zip -r app.zip . -x '.venv/*' '__pycache__/*' '*.log'
az webapp deploy --resource-group $RG \      
  --name $AP_NAME \
  --src-path app.zip \
  --type zip

App Service にサイドカーを設定

• デプロイ > デプロイセンター のコンテナー(新規)を押してカスタムコンテナーを追加
  

• コンテナーの追加から設定。レジストリでプッシュしたACRを選択

• 認証は管理者資格情報を選び、イメージやイメージタグを選択し、適用
  

結果

モデルのダウンロードに時間がかかるので、ゆっくり待つと完成です！

返答1分以上かかる…!これ使うのキツそうですね。。（Premium V4 P3mv4で検証）