大規模言語モデルの小型化がジェネレーティブAIの未来である理由

本記事は、Fastcompanyにより翻訳された記事です。

今、各企業はジェネレーティブAIの力を引き出したいと考えていますが、ChatGPTのような大規模な言語モデルは、企業での利用には明らかな課題があります。今月行われた調査によると、75％の企業が、セキュリティ、プライバシー、その他の懸念を理由に、ジェネレーティブAIのアプリケーションの禁止を検討しているか、または実施していることがわかりました。また、LLM（大規模言語モデル）のトレーニングにかかる高いコストも、採用の大きな障壁となっています。

ジェネレーティブAIから価値を得るには、より小さな言語モデルで、維持に必要な時間やリソースを少なくし、企業の既存のセキュリティ境界内で運用できるようにした方がお得。小型の言語モデルは、これまで最も注目されてきた「何でもできる」モデルと比べて、より狭い範囲のタスクに最適化されているため、より速く、より正確である可能性があります。

ChatGPTのようなパブリックLLMは「基礎」モデルと呼ばれ、ケーキの焼き方から株式ポートフォリオのバランスの取り方まで、あらゆるトピックに関する質問に答えるために、インターネットから膨大な量の情報をかき集めて作成されています。ChatGPTは、一般的な知識に関する質問にはかなり適していますが、極めて多くの回答を行おうとするためエラーが発生しやすく、構築と維持に膨大なコンピューティングパワーを必要とします。

LLMが苦手とするのは、企業特有の質問に答えることです。なぜなら、LLMは、企業がセキュリティ境界線の奥にしまい込んでいる、機密性の高い顧客データ、財務データ、その他の独自データにアクセスできないからです。セキュリティとプライバシーのリスクが高すぎるため、ほとんどの企業にとって、組織のデータを公開LLMに送り込むという選択肢はありません。

しかし、ジェネレーティブAIはビジネスにとって非常に強力なツールになり得ます。適切なデータがあれば、アカウント・エグゼクティブは次のような質問をすることができます： 「解約しやすい顧客を示し、その顧客を維持するためのオファーを提案してください。」マーケティング担当者は、次のように尋ねることができます。「過去の類似製品発売の成功事例に基づいて、第4半期に発売する新製品のキャンペーンアイデアを提供してください」。

以上のシミュレーションを実現する鍵は、安全なクラウド環境で企業が操作・学習できる、より小さな言語モデルにあります。 これらのモデルは、企業にとって最も機密性の高いデータでトレーニングすることでカスタマイズすることができ、データを公開LLMに入力する必要がない上に、必要なコストも大幅に削減されます。

小さいとはどの程度小さいのか？

ChatGPTのようなLLMは、1000億以上の 「パラメータ」、つまりモデルの振る舞いを決定する値で訓練されると言われています。ChatGPTの訓練にかかる推定コストは400万ドルです。

小規模な言語モデルは、10億以下のパラメータに基づくことができます。それでもかなり大規模ですが、ChatGPTやBardのような基本的なLLMよりもはるかに小規模です。 語彙と人間の音声を理解できるように事前に訓練されているためので、企業や業界固有のデータでそれらをカスタマイズするための追加コストははるかに低くなります。 これらの事前訓練されたLLMは、AlpacaやVicunaのようなオープンソースのLLMだけでなく、AI21やRekaを含む様々な社内カスタマイズオプションで利用可能です。

小規模な言語モデルはコスト効率が良い上に、一般に公開されているすべてのデータ（良いものも悪いものも）で学習するのではなく、ビジネスにとって重要なユースケースを正確に解決する、慎重に吟味されたデータで学習・最適化されるため、精度が高くなります。

これは、社内データに限定されるという意味ではありません。 小規模な言語モデルであれば、経済、商品価格、天候など、必要なデータセットに関するサードパーティーのデータを組み込み、独自のデータセットと組み合わせることができます。 データ・サービス・プロバイダーは、これらのデータ・ソースを広く利用可能にし、情報が最新で正確かつ簡潔であることを保証することができます。

LLMSの次なる課題

この先、世界で広く使われている基本的なLLMは、メタ、グーグル、バイドゥのようなテクノロジー大手によって運営されている数十のLLMだけかもしれません。 今日の検索エンジンのように、これらの巨大なLLMは維持するために多くのリソースを必要とし、BardやChatGPTのような何百ものチャットボットをサポートする財政的余裕はありません。

しかし、私は、何千もの小さな言語モデルが会社や部署レベルで実行され、従業員に価値ある洞察を提供する未来を見ています。 このような小規模なモデルは大きな違いを生み出すことができ、ビジネスにおけるジェネレーティブAIの真の力を引き出す鍵となります。

以上、大規模言語モデルの小型化がジェネレーティブAIの未来である理由について紹介しました。AIをどうやってビジネスシーンにもっと大きく役立つのが、この先の努力も必要ですね。今やAIはビジネスだけではなく、画像鮮明化にもかなり大きな役割を果たしています。AIトレンドに関心を持つ方に、AIによる写真を一瞬でくっきりさせるVanceAI画像鮮明化を試すのがおすすめします。