🥊

Phi-4の試し方と注意点

2024/12/31に公開

Phi-4をAI Foundryのプレイグラウンドで試すことはとても簡単です。

モデルとエンドポイントで、Phi-4を選択してポチポチしていくだけです。

ただ、VMを使用するみたいです。

で、このA100のVMですが1時間4.78ドルくらいらしいので、一日放置していたら、100ドルくらいになります。

当たり前すぎる注意点ですが、他のAOAIのモデルのように使った分だけの従量課金ではない(リソースで見ると使った分だけなのですが。。)のでご注意を。。

ちなみに、Phi-3.5-MoE-instructだと、サーバーレスAPIとPhi-4と同様にVMを選択することができます。

VMの設定を見ると、24コアが選べない。。

A100に載せる必要がある時点で、SLMとは言えないような。。
その辺は量子化頑張るということで、OliveやCookbookの更新に期待です。

https://github.com/microsoft/Olive

Phi-4のQA例

ヘッドウォータースについて聞いてみました。応答時間は結構かかりましたが、結構な量の文章を作成してくれました。
結構ハルシネーション発生しています。

Phi-4とPhi-3.5の性能差について、それっぽいことを言ってくれました。
ただ、Phi-3.5も複数モデルがあり、Phi-4の論文にも明言はなさそうなので正しいかは不明です。

https://arxiv.org/html/2412.08905v1

Phi-3.5でできなくて、Phi-4でできるタスクは、複雑なトピック理解、高度な推論能力、複雑な自然言語の生成、データセットへの対応能力などが向上しているみたいです。

ヘッドウォータース

Discussion