🧱
日本語入力システムSumibiの開発 part9:ローカルLLMを試してみた
はじめに
前回は、ビックテックの代表OpenAIとGoogleの代表的なLLMのベンチマークを取り比較しました。私が開発したローマ字仮名漢字変換「Sumibi」はOpenAIのAPIを呼び出してローマ字から漢字変換するOSSです。Windowsマシン(メモリ16GByte)にLLM Studioをインストールし、そこそこ動くモデルを選んで遊んでみました。しかし、小さいローカルLLMではあまりにも変換精度が悪いので、どれくらいのパラメータ数のモデルまで引き上げれば、変換精度が出るのか調べてみました。
結論ローカルLLMはSumibiには使えない
ベンチマークを取ってみた感想として、ビッグテックのLLMとは違い、ローカルPCで動かせるサイズのLLMでは全く変換精度が出ません。どこまでパラメーター数を引き上げればいいのかの結論が出ないまま、予算的な都合で諦めてしまいました。AWS上のGPUインスタンスを使って、パラメーター数100Bまでやってみましたが、良い結果は出ませんでした。
このベンチマークのためにEC2とEBSに$65.64(約10000円)使いました。お金は使いましたが、結局、結果は出ませんでした。次の追試は一年後くらいでしょうかね…
Discussion