【アリババのLLM】Qwenが1.5から2.0へバージョンアップ

はじめに

アリババクラウドの独自LLMである通義千問のオープンソース版Qwenが、バージョン1.5から2.0にアップデートされました！

参考

公式ブログ

Qwen2とは

Qwen2は、0.5Bから72Bまで5つのサイズのパラメータを持つ一連の大規模な言語モデルです。
0.5Bや1Bなどの小さいモデルはエッジAIなどに最適で、72Bなどの大きいモデルはクラウド上のAPIなどとして高精度が必要なサービスに最適です。

特徴

Qwen2の主な特徴は以下の通りです。

1.多言語への強み

Qwen2は、英語、中国語のほかに27の言語データでトレーニングされており、複数の言語でテキストを理解し文章を生成することができます。また、多言語モデルで起こりがちなコード・スイッチングと呼ばれる、文章中に複数言語が現れる事象に対しても徹底的に対処しています。

2.高パフォーマンス

前バージョンのQwen1.5と比較して大幅にパフォーマンスが向上しており、他の主要なモデルと比較しても、自然言語理解、知識理解、など各項目についてより優れたパフォーマンスを示しています。

3.数学とコーディングへの強み

Qwen2は特に数学とコーディングの精度が向上されています。数学については、より広範かつ高品質のデータセットを活用することで精度向上を図っています。また、コーディングについては、コードトレーニングの経験とCodeQwen1.5のデータをうまく統合することで精度向上を図っています。

4.最大128kのトークンサイズ

Qwen2は、最大128kのコンテキストを扱うことができ、長いテキストが必要なタスクを処理する場合にも使用することができます。長いコンテキストの精度を評価するNeedle in a Haystackテストにて、特に、Qwen2-72B-Instructは、128kコンテキストでも情報抽出タスクを完璧に処理できることが証明されています。

5.返答の安全性

Qwen2は、LLMで懸念される安全でないクエリの4つのカテゴリ (違法行為、詐欺、ポルノ、プライバシー侵害) に対しても考慮されています。Jailbreakテストによる評価では、Qwen2-72B-Instructモデルは安全性の点で他のLLMと比較して最高水準の安全性を示しています。

使用例

上記の特徴により、Qwen2は以下のようなサービスに向いています。

1. グローバルに使用されるサービス: 各地域で独自に使用される言語や文化的思考などを理解することができます。
2. プログラミング支援: コード理解能力が向上したことで、より最適なコードスニペットの生成やコードの提案ができ、プログラミングをさらに容易にすることができます。
3. 数学的問題解決: 数学理解が向上したことで、教育分野での学習支援や、研究分野での複雑な問題解決の支援などを実現できます。
4. 機械翻訳: より広範囲の異なる言語間の翻訳機械翻訳により、各地域間のコミュニケーションを促進することができます。
5. チャットサービス: 安全性の高い返答をすることでカスタマーサービスなどのチャットサービスにも適用することができます。

使い方

Qwen2はhuggingfaceにて簡単に試すことができます。Qwen2-72B-Instructのデモはこちらです。

最後に

Qwen2を使って独自LLMを開発してリリースする際は、今月6月にリリースされたPAI-EASが便利ですので、ぜひこちらも見てみてください！