Closed5
llama 4
hidenoriLlama 4が正式リリース
hidenoriScoutならH100 1基で動くとか言っているけど、Scoutのパラメータ数は109Bだよね？H100のデフォルト80GBのメモリでも動くの？
コンテキストウィンドウの10Mトークンはすごい。Llama 3の100倍（3だと128Kトークン）。
hidenorillama4でRAG死んだとか言っているツイート見かけたけど、RAG自体をガリガリ改善しなくてももう必要なもの全部そのままLLMに入れちゃえで解決する時代が来るのかも知れない
hidenoriLlama 4 Maverick 17B active / 400BのQ4をMacで動かしているやつ↓。このサイズ（Q4だけど）でむっちゃ普通に動いている。ただ、メモリはQ4でも220GB以上消費しているので、やはりボトルネックはVRAM。って考えたら、Scoutでも1xH100ではメモリ足りない気がするが。。
hidenori1ページだいたい1000トークンとして、Llama4は1000万トークン入力できるなら、1万ページまでのファイルを一回で入力出来ちゃう。その辺のドキュメントだけならRAGいらなくね？
まじ？
このスクラップは5ヶ月前にクローズされました