🥊
Phi-4の試し方と注意点
Phi-4をAI Foundryのプレイグラウンドで試すことはとても簡単です。
モデルとエンドポイントで、Phi-4を選択してポチポチしていくだけです。
ただ、VMを使用するみたいです。
で、このA100のVMですが1時間4.78ドルくらいらしいので、一日放置していたら、100ドルくらいになります。
当たり前すぎる注意点ですが、他のAOAIのモデルのように使った分だけの従量課金ではない(リソースで見ると使った分だけなのですが。。)のでご注意を。。
ちなみに、Phi-3.5-MoE-instructだと、サーバーレスAPIとPhi-4と同様にVMを選択することができます。
VMの設定を見ると、24コアが選べない。。
A100に載せる必要がある時点で、SLMとは言えないような。。
その辺は量子化頑張るということで、OliveやCookbookの更新に期待です。
Phi-4のQA例
ヘッドウォータースについて聞いてみました。応答時間は結構かかりましたが、結構な量の文章を作成してくれました。
結構ハルシネーション発生しています。
Phi-4とPhi-3.5の性能差について、それっぽいことを言ってくれました。
ただ、Phi-3.5も複数モデルがあり、Phi-4の論文にも明言はなさそうなので正しいかは不明です。
Phi-3.5でできなくて、Phi-4でできるタスクは、複雑なトピック理解、高度な推論能力、複雑な自然言語の生成、データセットへの対応能力などが向上しているみたいです。
Discussion