やること
Azure AI studioでdeployしたPhi-3をMicrosoft FabricのNotebookで呼び出す方法を紹介します。
phi-3とは？
AI Studioとは？
Phi-3をdeployする
- Azure AI Studioを開く
- 「エクスプローラー」をクリック
- 「Phi-3」をクリック
- 「Phi-3-mini-4k-instruct」をクリック
- 「デプロイ」をクリック
- 「リアルタイム....をデプロイする」をクリック
- 必要なパラメータを入力し、「デプロイ」をクリック
- モデルがdeployされたことを確認
※10分ほどかかりました
Microsoft FabricのNotebook上でPhi-3を実行
- Microsoft FabricのNotebookを開く
↓詳細な手順は、下記のブログを参考
- 以下のコードを実行
import urllib.request
import json
import os
import ssl
def allowSelfSignedHttps(allowed):
if allowed and not os.environ.get('PYTHONHTTPSVERIFY', '') and getattr(ssl, '_create_unverified_context', None):
ssl._create_default_https_context = ssl._create_unverified_context
allowSelfSignedHttps(True)
data = {
"input_data": {
"input_string": [
{
"role": "user",
"content": "I am going to Paris, what should I see?"
}
],
"parameters": {
"temperature": 0.7,
"top_p": 0.9,
"max_new_tokens": 200
}
}
}
body = str.encode(json.dumps(data))
url = '<endpoint>'
api_key = '<API key>'
if not api_key:
raise Exception("A key should be provided to invoke the endpoint")
headers = {'Content-Type':'application/json', 'Authorization':('Bearer '+ api_key), 'azureml-model-deployment': 'phi-3-mini-4k-instruct-4' }
req = urllib.request.Request(url, body, headers)
try:
response = urllib.request.urlopen(req)
result = response.read()
print(result)
except urllib.error.HTTPError as error:
print("The request failed with status code: " + str(error.code))
print(error.info())
print(error.read().decode("utf8", 'ignore'))
- Phi-3を実行できたことを確認
Discussion