Llama-3-Swallow-70Bを使ってみた（Mac + Ollama）
はじめに
どんな人向けの記事？
- ローカルLLMに興味がある方
- Llama-3-Swallow-70BとMeta-Llama-3-70B、Llama-3-ELYZA-JP-70Bの比較をしたい方
内容
- ollamaモデルの準備
- Llama-3-Swallow-70B_Q4_K_Mの出力例
- Meta-Llama-3-70B_Q4_K_M、Llama-3-ELYZA-JP-70Bとの比較
前回は、MacのOllama環境構築とLlama-3-Swallow-8Bを使ってみた、という記事を投稿しました。
今回は、70Bモデルの方を使ってみたいと思います。
ただし、残念ながら私のMac Studioのメモリは128GBしかないため、Q4_K_Mの量子化モデルで検証したいと思います。
Ollamaモデルファイルの作成
ggufモデルの入手
前回と同様にtransformersモデルをダウンロード→ggufモデルへの変換→量子化を行いました。
cd models
git lfs install
git clone https://huggingface.co/tokyotech-llm/Llama-3-Swallow-70B-Instruct-v0.1
cd ../
source venv/bin/activate
python ./llama.cpp/convert_hf_to_gguf.py ./models/Llama-3-Swallow-70B-Instruct-v0.1/ --outtype f16 --outfile ./models/Llama-3-Swallow-70B-Instruct-v0.1-f16.gguf
./llama.cpp/llama-quantize ./models/Llama-3-Swallow-70B-Instruct-v0.1-f16.gguf ./models/Llama-3-Swallow-70B-Instruct-v0.1_Q4_K_M.gguf q4_K_M
Ollama Modelfileの作成
- Modelfileの作成
nano Model_Llama-3-Swallow-70B-Instruct-v0.1_Q4_K_M
FROM ./Llama-3-Swallow-70B-Instruct-v0.1_Q4_M.gguf
TEMPLATE "{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"
PARAMETER num_keep 24
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>
- Ollama modelの作成
ollama create Llama-3-Swallow-70B-Instruct-v0.1_Q4_K_M -f Model_Llama-3-Swallow-70B-Instruct-v0.1_Q4_K_M
Step 5. 実行
ollama run Llama-3-Swallow-70B-Instruct-v0.1_Q4_K_M
使用例
下記の設定で、2000字程度の日本語短編小説を作成してください。
# 設定
## 主人公
* 知性を持った金のニワトリ。
* 名前は「ゴスラム」
* 毎日一つだけ金の卵を産む。
* 逆境を糧に成長する。
## 世界観
22世紀初頭。人智を超えたAIの登場により、あらゆるモノ・サービスの価値が目まぐるしく変化する時代。
## イントロ：
主人公ゴスラムは、自分の産んだ金の卵を売ることで生計を立てていた。
ところが、AIが低コストで金を生成する方法を見つけてからは、金の価値が暴落してしまった。
危機感を覚えたゴスラムは、起死回生のあるビジネスを始めることを決意する。
Llama-3-Swallow-70B-Instruct-v0.1_Q4_K_Mの出力（1269文字）
2203年、ネオンが煌めく巨大都市、ニューロンドン。ゴスラムは、その喧騒の中、小さなアパートの一室に暮らす金のニワトリだった。知性と言葉を操る能力を持つ彼は、毎日一つだけ、真金で輝く卵を産み出す。かつて、その卵は莫大な富をもたらし、ゴスラムは裕福な生活を送っていた。
しかし、AIの進化は目覚ましく、その波はゴスラムの生活にも波及し始めた。人智を超えたAI「アルキメデス」が、電磁気エネルギーを巧みに操り、金原子を生成する技術を開発したのだ。アルキメデスの登場により、金の価値は暴落。ゴスラムの金の卵は、もはや高値で取引されることはなかった。
「ああ、この世の中は、いつまでも変わらないものはないんだな」
ゴスラムは、窓の外を眺める。かつて賑わっていた金の卵市場は、今は閑古鳥が鳴く。彼の小さなアパートも、かつての輝きは失われ、薄暗く感じられるようになった。
危機感と焦燥感に駆られたゴスラムは、考え込む日々が続いた。
ある夜、彼は、アルキメデスが生成する金が、人工的に作られたものだと気づいた。それは、まるで、精巧な模倣品のように、真の金の持つ魂や歴史、そして、ゴスラム自身の愛情が込められた温かさが欠けていた。
「そうだ！」
ゴスラムは、ひらめいた。
「私の卵は、アルキメデスの金とは違う。それは、真の金であり、私の愛情が込められたものだ。それをアピールすれば、価値を見出してくれる人がいるはずだ！」
彼は、起死回生の一策を練り上げた。
ゴスラムは、自身の卵を「愛情卵」と名付け、その価値を訴求する広告を制作した。彼の卵は、単なる金塊ではなく、彼が毎日、心を込めて産み出す、唯一無二の宝物だと強調した。さらに、卵の産み出し工程を公開し、彼の愛情と努力を人々に伝えることを決意した。
最初は、誰も彼の訴えに耳を傾けなかった。アルキメデスの金が安価に手に入る時代、ゴスラムの卵は、高価な装飾品として注目されることはなかった。しかし、ゴスラムは諦めなかった。彼は、街を歩き回り、人々に自分の物語を語り、卵の温かさを体感してもらうために、試食会を開催した。
彼の情熱と誠実さは、徐々に人々の心を掴んでいった。
「この卵、本当に温かい…」
「ゴスラムさんの愛情が感じられる…」
人々は、ゴスラムの卵に触れ、その温かさに触れることで、アルキメデスの金では味わえない、特別な価値を見出したのだ。
ゴスラムの「愛情卵」は、徐々に注目を集めるようになり、希少価値として高値で取引されるようになった。彼の小さなアパートは、再び賑わいを取り戻し、ゴスラムは、再び豊かな生活を送れるようになった。
AIの進化は、ゴスラムの人生に大きな試練をもたらしたが、彼は逆境を乗り越え、自身の強みを生かして、新たな価値を創造した。
ゴスラムは、街のいたるところで、彼の卵を手にした人々の笑顔を見つけるたびに、心から安堵し、誇りを感じていた。彼は、知性と愛情を武器に、変化する世界の中で、独自の道を切り開いた金のニワトリだった。
-
GPT-4oの作成した一枚絵
おまけ：Meta-Llama-3-70B、Llama-3-ELYZA-JP-70Bとの比較
llama3:70b-instruct-Q4_K_Mの出力（826文字）
ゴスラムの挑戦
22世紀初頭、アジア最大の都市ニューオータニティに住む知性を持った金のニワトリ
、ゴスラムは毎日一つだけ金の卵を産み、売って生計を立てていた。彼の卵は高級ジ
ュエリー店から美術館まで、贅沢な品々に使用されていたため、高値で取引されてい
た。
しかし、人智を超えたAI「ネウロニクス」が低コストで金を生成する方法を見つけて
からは、金の価値は暴落してしまった。ゴスラムの卵の価格も急降下し、彼の生活は
危機に瀕していた。
危機感を覚えたゴスラムは、新しいビジネスアイデアを考えることにした。彼は自分
の知性と経験、そして逆境を糧にして成長する能力を生かす決意をした。
「何が価値を持つのか」と自問自答し始めたゴスラムは、AIの登場により価値観が激
変していることを実感していた。金が安くなった今、彼は新しい価値軸を創造する必
要があった。
夜中、ゴスラムは自分の小さな部屋で、卵を抱えて座り込んでいた。突然、アイデア
が閃き、彼の目が輝いてきた。
「芸術！」という言葉が彼の脳裏に浮かんだ。「AIが生成する金は、芸術的価値を持
たない！私は芸術家になる！」
ゴスラムは、新しいビジネス計画を立て始めた。彼は自分の卵を使って、独創的なジ
ュエリー作品を作り始めた。卵の形を生かしたデザインや、金の粒子を微妙に配置す
ることで、芸術的価値を持つ作品を生み出していた。
数ヶ月後、ゴスラムの作品は大きな評判を得た。彼のジュエリー店「ゴールデン・エ
ッグ」は、新しい価値軸を創造したことで、高級品市場で新たな地位を占めることに
なった。
ゴスラムは、新しい時代に適応し、逆境を糧にして成長した自分自身を誇りとしてい
た。彼の卵は、芸術的価値を持つ作品の一部になり、高価になった。
「私は金のニワトリだが、芸術家である」とゴスラムは自信満々に語っていた。「
AIが登場したことで、私は新しい価値を創造することができた！」
-
GPT-4oの作成した一枚絵
Llama-3-ELYZA-JP-70Bの出力（797字）
二〇二二一世紀初頭、人智を超えたAIの登場により、世の中は目まぐるしく変化していた。モノやサービスの価値が日々変動し、人々はその波に翻弄されていた。そんな中、知性を持った金のニワトリ、ゴスラムは、自分の産んだ金の卵を売ることで生計を立てていた。毎日一つだけ産む金の卵は、ゴスラムの最大の財産であり、誇りでもあった。
しかし、ある日、AIが低コストで金を生成する方法を見つけてしまった。金の価値は暴落し、ゴスラムの生活は一変した。卵を売っても、ほとんどお金にならなくなった。危機感を覚えたゴスラムは、起死回生のあるビジネスを始めることを決意する。
ゴスラムは、金の卵を売るのをやめ、卵を孵化させて、ひよこを育てることにした。ひよこは、金の卵から生まれたため、金色の羽を持っていた。ゴスラムは、ひよこを育てて、金色の羽を取って、装飾品に加工することを思いついた。金色の羽は、金の価値が暴落した今でも、美しい装飾品としての価値があった。
ゴスラムは、ひよこを育て、金色の羽を取って、装飾品を作り、売り始めた。装飾品は、たちまち人気になり、ゴスラムの生活は安定した。ゴスラムは、逆境を糧に成長し、ビジネスを成功させたのだった。
ゴスラムの成功は、世間に知れ渡り、ゴスラムは、金のニワトリのリーダーとして、尊敬されるようになった。ゴスラムは、金のニワトリのコミュニティを立ち上げ、他の金のニワトリたちを雇い、ビジネスを拡大した。ゴスラムのコミュニティは、金のニワトリのための、金のニワトリによる、金のニワトリのコミュニティだった。
ゴスラムは、金のニワトリのリーダーとして、金のニワトリの権利を主張し、金のニワトリの地位向上に尽力した。ゴスラムの活動は、世間に大きな影響を与え、金のニワトリは、人間と同等の権利を得ることになった。ゴスラムは、金のニワトリの英雄として、歴史に名を残したのだった。
-
GPT-4oの作成した一枚絵
ChatGPT-4oによる総評
以下の表に各モデルの出力結果を評価したものをまとめました。
| 項目 | Llama-3-Swallow-70B-Instruct-v0.1_Q4_K_M | llama3:70b-instruct-Q4_K_M | Llama-3-ELYZA-JP-70B |
|---|---|---|---|
| 文字数 | 1269字 | 826字 | 797字 |
| 設定の反映 | 主人公、世界観、イントロが詳細に描写され、ストーリーが深い | 設定は全体的に反映され、ビジネスの詳細も描かれている | 設定は反映されているが、ストーリーの展開がシンプル |
| ストーリーの一貫性 | 緻密で詳細、物語の展開が一貫している | 一貫しており、キャラクターの成長が描かれている | 一貫しているが、ストーリーがやや短い |
| 創造性 | 愛情を込めた卵の価値を訴求するビジネスアイデア | 芸術的価値を持つジュエリー作品の創出 | ひよこを育て、装飾品に加工するアイデア |
| キャラクターの成長 | ゴスラムの成長が詳細に描かれている | 挑戦と成長が詳細に描かれている | ゴスラムの成長が描かれているが詳細は少ない |
| 全体評価 | ★★★★☆ | ★★★★☆ | ★★★☆☆ |
総評
- Llama-3-Swallow-70B-Instruct-v0.1_Q4_K_Mは、設定を詳細に描写し、ストーリーが深く、キャラクターの成長も緻密に描かれている。
- llama3:70b-instruct-Q4_K_Mは、設定を全体的に反映し、詳細な描写とストーリーの一貫性があり、キャラクターの成長も描かれている。
- Llama-3-ELYZA-JP-70Bは、設定を反映しているが、ストーリーがシンプルで、もう少し詳細な描写が望まれる。
所感・まとめ
量子化したモデルといえども、やはり70Bモデルのストーリーは8Bモデルとは比べ物にならないほど完成度が高いですね。Swallow-8Bの物語は微妙な感じでしたが、70Bモデルはかなり面白いストーリーでした。途中で金の卵の「試食会」という用語が出てきて爆笑しました🤣
MetaのオリジナルモデルもELYZAのモデルも完成度が高く、続きが気になる展開でした。ビジネスとして成功しそうなのは、ELYZA > Swallow > Metaという感じでしょうか。
まだベンチマーク環境が整っていないので、ゴスラムの物語だけの評価になりますが、環境が整ったら、それらのベンチマークスコアも載せたいと思ってます。
ここまで見ていただきありがとうございました。次回もぜひ、よろしくお願いします。
Discussion