【LLMモデル】話題のPhi-3をAzure上で触ってみる

やること

Phi-3が発表されたので、Azure AI モデルカタログ上で触ってみる

Phi-3とは？

このモデルは、特に小型の言語モデル（SLM）でありながら、同サイズまたはそれ以上の大きなモデルに匹敵する性能を実現しています。

Phi-3はコーディングや数学、言語処理の分野で顕著に高いパフォーマンスを示しています。また、これらの分野に限らず多様なタスクで高い性能を発揮できるのが魅力です。

↓他のLLMとの比較

https://azure.microsoft.com/en-us/blog/introducing-phi-3-redefining-whats-possible-with-slms/

https://news.microsoft.com/ja-jp/2024/04/24/240424-the-phi-3-small-language-models-with-big-potential/

モデル

Phi-3は、2024/04/24時点では、4つのモデルが提供されています。

• microsoft/Phi-3-mini-4k-instruct

https://huggingface.co/microsoft/Phi-3-mini-4k-instruct

• microsoft/Phi-3-mini-4k-instruct-onnx

https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-onnx

• microsoft/Phi-3-mini-128k-instruct

https://huggingface.co/microsoft/Phi-3-mini-128k-instruct

• microsoft/Phi-3-mini-128k-instruct-onnx

https://huggingface.co/microsoft/Phi-3-mini-128k-instruct-onnx

Azure上で触ってみる

1. Azure AI Studioを開く
2. 「エクスプローラー」をクリック
   
3. 「Phi-3」をクリック
   
4. 「Phi-3-mini-4k-instruct」をクリック
   
5. 「こんにちは」と話しかけてみる(回答に違和感がある）
   
6. 「日本語は話せますか？」と話しかけてみる(回答に違和感がある）
   
7. 「hello」と話しかける（回答に違和感がない）
   
8. 「Can you speak English?」と話しかける（回答に違和感がない）
   

おわりに

日本語には、まだまだ弱いのかなと思いました。
レスポンスの速度は、他のLLMに引けを取らない速度です。
SLMなので、Jetson orin nanoでも動かせるのか検証してみます。
検証結果は、またブログに上げようかなと思います。