Ⓜ️

Meta社、最新の言語モデルLlama 3.1 405Bを公開

2024/07/24に公開

概要

「Llama 3.1 405B」は、一般知識、操縦性、数学、ツールの使用、多言語翻訳の最先端の機能に関して、
トップクラスのAIモデルに匹敵するモデルです。
405Bモデルのリリースにより、私たちはイノベーションを加速させ、前例のない成長と探求の機会を得る準備が整いました。最新世代のLlamaは、合成データ生成による小規模モデルの改善とトレーニング、およびモデル蒸留など、新しいアプリケーションとモデリングパラダイムを活性化させると確信しています。
これは、オープンソースでこの規模で実現されたことのない機能です。

この最新リリースの一環として、8B モデルと 70B モデルのアップグレード版を導入します。これらは多言語対応で、コンテキスト長が 128K と大幅に長く、最先端のツールが使用され、推論機能が全体的に強化されています。これにより、最新のモデルは、長文テキストの要約、多言語会話エージェント、コーディングアシスタントなどの高度なユースケースをサポートできます。また、ライセンスを変更し、開発者が Llama モデル (405B を含む) の出力を使用して他のモデルを改善できるようにしました。オープンソースへの取り組みに忠実に、本日からこれらのモデルをllama.meta.comとHugging Faceからダウンロードできるようにコミュニティに提供しました。

GPT-4oやClaude3.5などトップクラスのAIモデルに匹敵しているとのことです。
Hugging Faceからダウンロードできるようになり、オープンソースで利用できるのはとてもいいことですね。

モデル評価

このリリースでは、幅広い言語にまたがる150を超えるベンチマークデータセットでパフォーマンスを評価しました。さらに、実際のシナリオでLlama 3.1 と競合モデルを比較する人間による評価も実施しました。
実験的評価では、当社の主力モデルが、GPT-4、GPT-4o、Claude 3.5 Sonnet など、さまざまなタスクで主要な基礎モデルと競合できることが示されています。
さらに、当社の小規模モデルは、同様の数のパラメーターを持つクローズドモデルやオープンモデルと競合しています。

Llama 3.1は、競合している主要なモデルとパフォーマンスが匹敵、あるいは優るスコアが見られました。
405Bは15兆パラメータで学習したともいわれていますが、一般知識、数学、ツール、翻訳など様々なタスクをこなすことができるようです。

モデルアーキテクチャ

これまでで最大のモデルである Llama 3.1 405B を15兆を超えるトークンでトレーニングすることは大きな課題でした。この規模でトレーニングを実行し、妥当な時間内に結果を達成できるようにするために、トレーニングスタック全体を大幅に最適化し、モデルトレーニングを16,000を超える H100 GPUにプッシュしました。
これにより、405B はこの規模でトレーニングされた最初の Llama モデルとなりました。

Llama 3.1 405B を使用した構築

平均的な開発者にとって、405B の規模のモデルを使用するのは困難です。これは非常に強力なモデルですが、それを使用するには相当の計算リソースと専門知識が必要であることは認識しています。コミュニティと話をした結果、生成 AI 開発にはモデルをプロンプティングする以上の多くの要素があることがわかりました。私たちは、すべての人が 405B を最大限に活用できるようにしたいと考えています。その内容は次のとおりです。

リアルタイム推論およびバッチ推論
教師ありファインチューニング(Supervised fine-tuning)
特定のアプリケーションに対するモデルの評価
継続的事前学習(Continual pre-training)
検索拡張生成 (RAG)
関数呼び出し(Function calling)
合成データ生成(Synthetic data generation)

ここで、Llama エコシステムが役立ちます。開発者は初日から 405B モデルの高度な機能をすべて活用し、すぐに構築を開始できます。また、開発者は、使いやすい合成データ生成などの高度なワークフローを探索したり、モデル蒸留のターンキー指示に従ったり、AWS、NVIDIA、Databricks などのパートナーのソリューションを使用してシームレスな RAG を実現したりすることもできます。さらに、Groq はクラウド展開向けに低遅延推論を最適化しており、Dell はオンプレミスシステム向けに同様の最適化を実現しています。

snowflake Availability
Snowflakeでは一部リージョンにデプロイされています。
お使いのアカウントのリージョンでは400エラーとなり利用できない状況でした。(7/24 10:30現在)