Open3日前にコメント追加2

「Parallax」を試す

ここで知った
誰もが望むソブリン OS。
Parallaxは、MacとPCにまたがるローカルAIクラスターをセットアップし、パフォーマンスの妥協なしに独自のモデルやアプリケーションをホストできるようにします。
@alex_mirran とクルーが @Alibaba_Qwen 235Bを数分で稼働させる様子をご覧ください。
https://x.com/Gradient_HQ/status/1983383325416055287
複数ノードでの分散推論って感じかな

kun432

GitHubレポジトリ
https://github.com/GradientHQ/parallax
READMEを翻訳（PLaMo翻訳）して抜粋

 ニュース[2025年10月] 🔥 Parallaxバージョン0.0.1がリリースされました！

 概要Gradient が開発した完全分散型推論エンジンです。Parallaxは、構成や物理的な設置場所が異なる分散ノード群に対して、独自のAIクラスタを構築し、モデル推論を実行できるようにします。その主な特徴は以下の通りです：
個人デバイス上でローカルLLMを実行可能
クロスプラットフォーム対応
パイプライン並列モデルのシャーディング処理
Mac環境向けの動的KVキャッシュ管理と連続バッチ処理
高性能を実現する動的なリクエストスケジューリングとルーティング
バックエンドアーキテクチャ:

Lattica によるP2P通信機能
GPUバックエンドは SGLang を採用

MLX LM を搭載したMACバックエンド

 インストール方法
 必要条件Python バージョン 3.11.0 以上 3.14.0 未満
Blackwell GPU用 Ubuntu-24.04
以下に各オペレーティングシステム向けのインストール方法を記載します。


オペレーティングシステム
Windowsアプリ
ソースからのビルド
Docker


Windows
✅️
推奨されません
推奨されません

Linux
❌️
✅️
✅️

macOS
❌️
✅️
❌️



 対応モデル一覧



提供機関
HuggingFaceコレクション
ブログ
概要


DeepSeek
Deepseek

DeepSeek-V3.1 
DeepSeek-R1 
DeepSeek-V3 
DeepSeek-V2

DeepSeek V3.1：人工知能の新たなフロンティア
"DeepSeek"はDeepseek AIが開発した先進的な大規模言語モデルシリーズで、DeepSeek-V3.1、DeepSeek-R1、DeepSeek-V2、DeepSeek-V3といった複数のバージョンを提供しています。これらのモデルは強力な自然言語理解・生成能力を備えており、研究用途から本番環境まで幅広く活用できる多様なサイズと機能を備えています。

MiniMax-M2
MiniMax AI
MiniMax-M2
MiniMax M2 & Agent：シンプルさの中に秘めた革新性
MiniMax-M2はコンパクトで高速、かつコスト効率に優れたMoEモデルです（パラメータ数2300億、アクティブパラメータ100億）。高度なコーディング作業やエージェント型ワークフロー向けに設計されており、最先端の知能とコーディング能力を備えています。開発者やエージェント向けに、効率的なツール活用と高いマルチステップ推論能力を提供し、高い処理能力と低遅延を実現しているため、容易に導入可能です。

GLM-4.6
Z AI
GLM-4.6
GLM-4.6：高度なエージェント機能、推論能力、コーディング能力
GLM-4.6は前バージョンGLM-4.5を改良したもので、200,000トークンという長いコンテキストウィンドウ、強化されたコーディング・推論性能、改良されたツール活用機能とエージェント統合機能、洗練された文章生成品質を特徴としています。従来バージョンを凌駕する性能を発揮し、コーディング、推論、エージェントベンチマークにおいて主要なオープンソースモデルと遜色ない競争力を持っています。

Kimi-K2
Moonshot AI
Kimi-K2
Kimi K2：オープンなエージェント型インテリジェンス
「Kimi-K2」はMoonshot AIが開発したKimi-K2モデルファミリーで、Kimi-K2-InstructおよびKimi-K2-Instruct-0905モデルを含みます。これらのモデルはエージェント型インテリジェンス向けに設計されており、複数のバージョンとパラメータサイズが用意されています。

Qwen
Qwen

Qwen3-Next 
Qwen3 
Qwen2.5

Qwen3-Next：究極の学習・推論効率を目指して
QwenシリーズはAlibabaのQwenチームが開発する大規模言語モデルファミリーです。Qwen2.5、Qwen3、Qwen3-Nextといった複数の世代があり、モデルアーキテクチャ、効率性、機能性能が段階的に向上しています。様々なサイズのモデルと指示チューニング済みバージョンが提供されており、長コンテキスト処理や量子化といった最先端機能にも対応しています。幅広い言語タスクやオープンソース用途に適しています。

gpt-oss
OpenAI
gpt-oss
gpt-ossの紹介
"gpt-oss"はOpenAIのオープンソースGPTモデル群を指し、gpt-oss-20bやgpt-oss-120bなどが含まれます。数値部分（例：20b、120b）はパラメータ数を示しています（200億パラメータ、1200億パラメータ）。

Meta Llama 3
Meta

Meta Llama 3 
Llama 3.1 
Llama 3.2 
Llama 3.3

Meta Llama 3の紹介：現時点で最も高性能なオープンソースLLM
"Meta Llama 3"はMeta社の第3世代Llamaモデルで、8Bパラメータ版や70Bパラメータ版などが利用可能です。指示チューニング済みモデルや量子化版（例：FP8）も提供されています。

オペレーティングシステム	Windowsアプリ	ソースからのビルド	Docker
Windows	✅️	推奨されません	推奨されません
Linux	❌️	✅️	✅️
macOS	❌️	✅️	❌️

	提供機関	HuggingFaceコレクション	ブログ	概要
DeepSeek	Deepseek	DeepSeek-V3.1 DeepSeek-R1 DeepSeek-V3 DeepSeek-V2	DeepSeek V3.1：人工知能の新たなフロンティア	"DeepSeek"はDeepseek AIが開発した先進的な大規模言語モデルシリーズで、DeepSeek-V3.1、DeepSeek-R1、DeepSeek-V2、DeepSeek-V3といった複数のバージョンを提供しています。これらのモデルは強力な自然言語理解・生成能力を備えており、研究用途から本番環境まで幅広く活用できる多様なサイズと機能を備えています。
MiniMax-M2	MiniMax AI	MiniMax-M2	MiniMax M2 & Agent：シンプルさの中に秘めた革新性	MiniMax-M2はコンパクトで高速、かつコスト効率に優れたMoEモデルです（パラメータ数2300億、アクティブパラメータ100億）。高度なコーディング作業やエージェント型ワークフロー向けに設計されており、最先端の知能とコーディング能力を備えています。開発者やエージェント向けに、効率的なツール活用と高いマルチステップ推論能力を提供し、高い処理能力と低遅延を実現しているため、容易に導入可能です。
GLM-4.6	Z AI	GLM-4.6	GLM-4.6：高度なエージェント機能、推論能力、コーディング能力	GLM-4.6は前バージョンGLM-4.5を改良したもので、200,000トークンという長いコンテキストウィンドウ、強化されたコーディング・推論性能、改良されたツール活用機能とエージェント統合機能、洗練された文章生成品質を特徴としています。従来バージョンを凌駕する性能を発揮し、コーディング、推論、エージェントベンチマークにおいて主要なオープンソースモデルと遜色ない競争力を持っています。
Kimi-K2	Moonshot AI	Kimi-K2	Kimi K2：オープンなエージェント型インテリジェンス	「Kimi-K2」はMoonshot AIが開発したKimi-K2モデルファミリーで、Kimi-K2-InstructおよびKimi-K2-Instruct-0905モデルを含みます。これらのモデルはエージェント型インテリジェンス向けに設計されており、複数のバージョンとパラメータサイズが用意されています。
Qwen	Qwen	Qwen3-Next Qwen3 Qwen2.5	Qwen3-Next：究極の学習・推論効率を目指して	QwenシリーズはAlibabaのQwenチームが開発する大規模言語モデルファミリーです。Qwen2.5、Qwen3、Qwen3-Nextといった複数の世代があり、モデルアーキテクチャ、効率性、機能性能が段階的に向上しています。様々なサイズのモデルと指示チューニング済みバージョンが提供されており、長コンテキスト処理や量子化といった最先端機能にも対応しています。幅広い言語タスクやオープンソース用途に適しています。
gpt-oss	OpenAI	gpt-oss	gpt-ossの紹介	"gpt-oss"はOpenAIのオープンソースGPTモデル群を指し、gpt-oss-20bやgpt-oss-120bなどが含まれます。数値部分（例：20b、120b）はパラメータ数を示しています（200億パラメータ、1200億パラメータ）。
Meta Llama 3	Meta	Meta Llama 3 Llama 3.1 Llama 3.2 Llama 3.3	Meta Llama 3の紹介：現時点で最も高性能なオープンソースLLM	"Meta Llama 3"はMeta社の第3世代Llamaモデルで、8Bパラメータ版や70Bパラメータ版などが利用可能です。指示チューニング済みモデルや量子化版（例：FP8）も提供されています。