Cerebrasの処理速度に驚愕

はじめに

最近生成AI界隈でCerebrasが話題になっていました。
まず、CerebrasはAIとディープラーニング向けの高性能コンピューティングシステムを開発する企業です。具体的には、AIモデルやチップを開発しているそうです。
https://cerebras.ai/
特にチップが今注目を集めていて、「Wafer-Scale」と呼ばれるAI専用のプロセッサを開発しているそうです。

また、この「Wafer-Scale」を搭載した高性能AIコンピュータも開発しているそうです。
GPUベースのアーキテクチャより20倍もの処理性能をもっているそう。。。すごい。

そして、Cerebrasの公式サイトへアクセスすると「Wafer-Scale」搭載の環境にのせている「Llama3.1 8B,70B」を体験することができます。
また、APIのWaitlistも始めているようです。(私もWaitlistに登録しておきました)

使ってみる

実際に使ってみましょう。インプットのプロンプトは下記です。

プロンプト

あなたは優秀なVBAプログラマーです。
下記要件に従ってVBAコードを生成してください。
## フォルダ構成
・フォルダ「output」：001,003,004,005といったフォルダが存在している
・上記の各フォルダ内に、「内部結合テストデータ_XXX.xlsx」というファイルが存在する
・XXXは動的に変わる
## 要件
1. フォルダ「output」のフォルダ「001」に格納されている「内部結合テストデータ_XXX.xlsx」を開く
2. このファイルのシート「headerFile」の7行目3列目のセルの値を取得する
3. VBAが実行されるファイルのシート「List」の2行目2列目に#2で取得した値を設定する
4. 2行目1列目にファイル名を設定する
5. 上記を存在するフォルダ分実行する

プロンプトをインプットしたところ、まばたきをする間もなく結果が出力されました！
これは速い。。。！
1秒間に2000トークンのスピードがでていたようです。

Groqと比較

ハイパフォーマンスなLLMの文字生成といったらGroqですよね。
Groqは「Tensor Streaming Processor (TSP)」と呼ばれる独自のチップアーキテクチャを開発している企業です。Groqも同じくこのチップアーキテクチャを環境にのせている「Llama3.1 8B,70B」を体験することができます。

さきほどCerebrasへ問いかけたインプットをGroqにもしましたが、Groqも速いですね。1秒間に1200トークン。

Voiceモードで未来が見えた

下記のようにCerebrasのチャットの下の方に「Try voice mode」がありクリックすると、音声のやり取りができるようになります。

記事で表現が難しく歯がゆいのですが、英語のみであるもののほぼリアルタイムの反応速度でした！
「人間と会話しているかのような体験」「リアルタイム翻訳」など未来が見えてきましたね。

今後は「速度」と「エージェント」の2方向で生成AIが発展しそう

最近のトレンドを見ると、GroqやCerebras、GPT-4o mini、Gemini1.5 Flashのようなリアルタイムに近い速度を提供するサービスと、Open AI o1やGenspark Autopilot Agentのようなエージェントを活用して時間をかけて高い精度の回答を導くサービスとに分かれてきており、この2方向で生成AIが発展しそうと考えていますね。
楽しみですね。引き続き、追っていければと考えています！