GPU無くてもLLMが動かせる！!

はじめに

家の非力マシン Corei3 + 8G memory でLLMが動いた！
週末勉強会で、マイクロソフトのFoundry Localというのを聞いた！
8GメモリーとCPUでLLMがいろいろ動かせるとのこと、さっそく試したら簡単に動いた！
AIのコモディティ化もやばいな！
自分の理解で書く！まだGA前だから仕様変わるかも。
Corei3って、内部にGPUっぽいの持っていて、それは使っているということかも、とにかく高いGPUかわなくていい。

Foundry Local ベスト10

1 8GメモリーとCPUでLLMがいろいろ動かせる
2 使うの簡単 デバイスに応じたモデルが自動で選ばれる等
3 Restサーバーも用意されている。API経由で書いたコードもほぼそのまま動くのもけっこうありそう。
4 SDKもそろっている。pythonでアプリ簡単に書ける
コード書くのいいらしいMistralでpythonコード書くアプリをRESTで作った。
アプリが作ってくれたソフト動いた！
5 Oliveというtool使うといろんなモデルを量子化適用してパフォーマンス上げながら使えるようにしてくれる
6 CLIも簡単だが、ツールを操作するためのSDKもあり、pythonでも操作できる
7 VScode用tool kitもあり
8 なんかsecurity面もいろいろ良さそう
9 なんとgpt-ossも16GBメモリーにすれば動く！　（めっちゃ敷居低くなった)
10 Azure AI Foundryというクラウドのサービスと相性いいみたい（つか一部なのかな？）

その他

• AI周辺ソフトでもlocalで動くの多かったけど、LLMもlocalにするにはGPU買わないとと思ってたけど、これでAIアプリlocal内で作る敷居めちゃ下がったな。
• FineTuringもできそうとのことなので、そのうち確認する
• Qwenの軽いのでは日本語は嘘つかれた