分散型LLMプロバイダーに関するアイディア(適当)

分散型LLMプロバイダーに関するアイディア

近頃、オープンソースLLMは凄まじい発展を遂げているが、これを実行する基盤がどうも個人で確保するのは厳しいしスケールメリットがよろしくないので大規模事業者によって独占されている。とってもけしからん。よって、これを解決するソリューションを提案する。

前提

比較的信頼できない複数のコンピューターからなるP2Pネットワーク上でタスクを効率よく割り振り、その結果が正しいことを検証する。

アーキテクチャ

ユーザーのqueryには、LLM固有のIDと、目指すべきtok/sとprompt,seedが含まれる。
諸々の情報は適宜古典的ブロックチェーンで処理する。

Bitcoinという先人がいるので、それとの差異だけ。
まず、Bitcoinでは全てのノードがブロックの採掘に参加できるが、LLMクエリを受け取ったサーバーは"良い"アルゴリズムによって、各々のノードの持つuniqueなIDとノードの自称する計算スペックから計算に使われるいくつかのノードを割り当てる。
LLMの出力はユーザーにストリーミングされ、ユーザーはその出力が同一かどうかを検証することができ、また、next token predictionよりもverificationが圧倒的にtransformerアーキテクチャにおいては高速であることから、容易に検証可能となる。
また、ユーザーとノードはそれぞれLLMの出力結果を提出し、検証可能性を確保する。

報酬系

古典的ブロックチェーンのdiffucultyの調整は、いつものあれ、報酬はLLM推論の報酬の1/1000程度とする。
LLM推論は、ユーザーからのqueryと実速度との関数として報酬を定める。あとdiffucultyのあれを掛ける。

おわりに

詰めが甘い

MITライセンス