AI Toolkit for VS Code を触ってみた

やること

AI Toolkit for VS Code を使い方を共有します。

前提

• Vscodeをinstall済みであること
• Githubアカウントを持っていること
• Mac OSでないこと

手順

1. Vscode を開く
2. 拡張機能：マーケットプレース で AI toolkit for Visual Studio Code と検索し、インストール をクリックする
   
3. インストールが完了すると、以下が表示される。
4. 許可（A）をクリックする
   
5. ユーザー名,パスワードを入力し、サインインをクリックする
   
6. サインインが完了すると、以下のようにモデルが一覧で確認できる
   
7. Phi-3-mini-4k-cpu-int4-rtn-block-32-acc-level-4-onnx をダウンロードする
   
8. ダウンロード中....
   
9. ダウンロードが完了し、Model catalogにPhi-3-mini-4k-cpu-int4-rtn-block-32-acc-level-4-onnxがあることを確認する。
10. 右クリックし、Load in Playground をクリックする。
    
11. Play Groundが表示されたことを確認する。
    
12. 会話してみる。
13. 正常に動作されたことを確認する。
    

APIとして使う場合

1. Play Groundが実行された状態にする。
2. 以下のコードを実行する。

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:5272/v1/",
    api_key="x" # required by API but not used
)

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "what is the golden ratio?",
        }
    ],
    model="Phi-3-mini-4k-cpu-int4-rtn-block-32-acc-level-4-onnx",
)

print(chat_completion.choices[0].message.content)

3. 出力されたことを確認する。
   

まとめ

AI Toolkit for VS Codeの使い方をサクッとまとめました。
簡単にSLMの検証ができるなと感じました。