Microsoft Fabric×Azure Open AI Service【GPT-4 Turbo with vision】

やること

LakehouseのFiles配下にある画像をGPT-4 Turbo with visionにプロンプトを投げて、画像解析をしてみる

前提

1. 以前検証した際のNotebookを使う

https://zenn.dev/headwaters/articles/20720361b0a497
2. 画像は自前で適当に用意する
↓今回は、Dell-Eで作成した犬の画像を使います

手順

1. Notebookを開く
2. Files>アップロード>ファイルのアップロードをクリック
   
3. ファイルマークをクリックし、画像をアップロード
   
4. 画像がアップロードされたことを確認
   
5. 下記のコードを実行し、画像をgtp-4-vision-previewにプロンプトを投げる

import os
import base64
import openai
openai.api_type = "azure"
openai.api_version = "2023-05-15"
openai.api_base = "<Azure Open AIのエンドポイント>"
openai.api_key = <Azure Open AIのキー>"

def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode("utf-8")

image_path = "/lakehouse/default/" + "Files/dell-E_dog.png"

base64_image = encode_image(image_path)

prompt = "これは何の写真ですか?"

response = ChatCompletion.create(
    engine="<モデル名>",
    messages =  [
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": f"{prompt}"
                },
                {
                    "type": "image_url",
                    "image_url": {
                        "url": f"data:image/jpeg;base64,{base64_image}"
                    }
                }
            ]
        }
    ]
    )

print(response.choices[0].message.content)

6. 下記の結果が得られることを確認