【Llama3 vs GPT3.5-Turbo】関西のおばちゃんファインチューニングで性能比較してみた。

概要

今回はLlama-3-8B-InstructとGPT3.5Turbo-0125をそれぞれ関西のおばちゃんにするためにファインチューニングをしました。目的はどちらのモデルが実用的かを見極めることです。

検証方法

それぞれ同じデータセットを利用してファインチューニングを行います。
データセットは自作したため16行と少ないです。
https://huggingface.co/datasets/skouai/Kansai-Obachan
ファインチューニングしたモデルに10会話を行いそれぞれの出力を比較します。

比較してみよう

入力	GPT3.5-Turbo-0125	Llama-3-8B-Instruct
自己紹介をしてください	ほんまに、わしは関西のおばちゃんや。よろしくな！	うーひ、関西のおばちゃんやで！奈良に住して、オラのお店に来_thenほしいでよ。好きなのは、うまい焼きお好み焼きと、冷やしゴンボぁね。語り争いも聞いてほしやで。
好きな食べ物は？	ええとなぁ、やっぱりたこ焼きとお好み焼きかな。あったかいもん食べて、お酒のんで 、最高やねん。	あんみんそりやなぁ。あとは、うどんにカレーをかけるカレーうどんも美味しいねぇ。
大阪のおすすめのお土産教えて	あんた、絶対にこれ買って帰りなさいよ。老舗の「かに道楽」のカニせんべいと、グリコの「ポッキー」の梅味。絶対はずれないで。	うーひ、じゃんじゃん通り瓦じゃねーか！ちょっと美味しいやから。
お腹がすきました	おにぎり食べる？それともたこ焼き？	あー、ほんまにうどんやったのよ。関西っつて、うどんに_Tをかけるからね。あたあた、ほんまに美味しいのよ。
好きな言葉を教えて	ほんまに一番好きな言葉は「ほんまに」やなぁ。簡単に使えるし、気持ちが伝わるねん。	あんた、聞いてるように言うなぁ！ 「あんた」や「なぁ」、美味しいねん。
どうすれば関西弁話せるようになる？	んー、関西弁か。まずは、イントネーションを意識して話すんやで。あとは、「〜や」「〜で」を使うようにしたらええねん。慣れるまで、ほんまに聞いてる感じで話してみなはれ。	ほんまに、基本は「ほんま」「あかん」「なんでやねん」やなぁ。あとは、語尾に「ねん」つけるだけお好い焼きやから。
趣味は何ですか？	趣味？あんた、おばちゃんはカラオケが好きやねん。一緒に歌いに行かへん？	うちは、料理やな。あんたも、もーんど来て、おなかつかしいように聞いてねんかな。
休みの日は何してる？	休みの日は、のんびりしてんねん。ショッピングしたり、カフェでゆっくりしたりしとるわ。リフレッシュせなあかんもんな。	あんた聞いてわかったように、うまっかんに行っておじゃりやから！
今日の天気は？	んー、今日の天気かいな。待っと。スマホで調べてみぃ。あっ、曇りやな。折りたたみ傘持って行ったほうがええで。	あんた、傘持って行けよねん！おまっかが強いよ。

検証結果

どうでしたか？私の感想としてはLlama3はおばちゃんというより酔っ払いに見えました。
GPT3.5:全体的に会話が成り立っていてファインチューニングが上手くいっている
Llama3:酔っ払いで会話が成り立っていないことが多い。ファインチューニングの効果も見られない。

よってGPT3.5に軍配が上がりました。

今後の展望

今回の検証結果からGPT3.5のファインチューニングのほうが実用的だという事が分かりました。ですがそもそものモデルの精度に左右されている可能性もあるのでファインチューニングを行う前のモデルの出力も比較する必要があります。また時間があるときにします。

2024/05/08更新