PAIでQwenを実装
先日たまたまこの記事を見かけて気になったのでQwenを触ってみたいな〜とおもってたところ、
AlibabaCloudのPAIをつかってできそうなのでやってみる〜〜〜〜〜〜✌️
Qwenってなに
https://qwen.readthedocs.io/en/latest/
Qwen は、Alibaba Group の Qwen チームの大規模言語モデルおよび大規模マルチモーダル モデル シリーズです。現在、大規模な言語モデルは Qwen2 にアップグレードされています。言語モデルとマルチモーダルモデルはどちらも、大規模な多言語データやマルチモーダルデータで事前学習され、人間の好みに合わせて高品質のデータで事後学習されます。 Qwenは、自然言語理解、テキスト生成、視覚理解、音声理解、ツールの使用、ロールプレイ、AIエージェントとしてのプレイなどが可能です。
なんかすごいLLMってことね
ちなみに
2023年11月30日、中国の中国の大手IT企業アリババが、72Bパラメータを持つ大規模言語モデル「Qwen-72B」を公開しました。
このモデルは、Llama2 70Bの性能を大幅に上回り、オープンソースモデルでありながら、多くのベンチマークであのGPT-3.5を上回るスコアを獲得しています。
だそうで すごい
PAIでつかってみよう
公式に資料があったのでこの通り進めてみる
ちなみにPAIはPlatform for AIとは機械学習のためのオールインワンソリューション
EASはElastic Algorithm Service 、オンライン推論サービスまたはAIを利用したwebアプリケーションとしてモデルを展開できるモデルサービングプラットフォーム
PAIコンソールにいき、まずはワークスペースをつくる
EASページでサービスのデプロイをする
項目はドキュメントの通り
いざデプロイして出来上がり〜
オンラインデバッグでまずはリクエストしてみる
とりあえずドキュメントの通り投げたら想定の結果が返ってきた
ので日本語で質問してみた
ちょっと惜しい！これQwen2ならもっといい感じに返ってくるのかな？と思ったので調べてみた
なんかどうやらQwen2を展開するやり方も公式にあったのでやってみる
EAS を使用してワンクリックで LLM 大規模言語モデル アプリケーションを 5 分でデプロイ
原文が中国語なので翻訳しながら読み進めてみる
さっきはカスタムモデルのデプロイだったけど、今回はシナリオベースモデルのデプロイらしい
LLM depolymentを選択する
ドキュメン卜にある通り項目を埋めてみる
いざデプロイして動かす！
今度はオンラインデバッグではなくてアプリから使ってみる
いいかんじ〜
HuggingFaceでデモさわれた
これちなみにQwen2-7Bだけど72Bだとまた違うのかな？と思ったので調べたら、 Hugging Faceにデモがあったので触ってみた
ここにいろんなモデルあった〜
そんなかからQwen/Qwen2-72B-Instructをやってみる
おお！自然だ！
7Bと72Bでも結構違いあるんだね
そしてHugging FaceのほうにQwen2.5もあったので触ってみる
こちらもいい感じ 質問が単純なせいでQwen2-72Bの結果とそこまで変わらないかもしれないけど、よりわかりやすい情報と文章になっている？気がする？たまたま？
まとめ
- PAI EAS、ささっとモデルを試すには使いやすい
- もうちょいドキュメントが充実していたらとっつきやすいかも ところどころ？ってなるとこもあった
- APIとして叩くとかもさくっとできそうだしマネージドでらくちん
- Qwen2-7BとQwen2-72Bは結構差がでかいのかもしれない？
- ギャルっぽく喋ってとかは苦手そうだったので更なる改良がまたれる
Discussion