家庭用グラボでも高品質なMistral系LLMが作れるようになったそうで、
ここ2週間ほどの間に素晴らしいローカルLLMが続々登場しました。
弊社はAITuber事業(aituber.net)を営んでいるので、AITuberのセリフ出力に適したローカルLLMに目がありません！
ということで、7Bで動作する4種（RobinHood、KUJIRA、Ninja-v1、Vecteus）で、あえてキャラ設定をほとんど付けずにセリフ出力させた場合の出力結果を比較してみました[1]。
また、ちょうど昨日GPT-4oが発表されたということで、GPT-4oとClaude3 Opusによる出力も比較しています。
前提条件
llama.cppを使用し、各LLMの推奨しているフォーマットで作成したプロンプトでの出力結果を比較します。
GPT-4oと Claude3 Opus はAPI経由で出力します。
ユーザーからのコメントは以下の3種類で試しました。
こんにちは
VTuberにどうやったらなれる？
何か面白い話して
当然出力するたびにセリフは変わるので、何度か出力してみて、一番出力されやすい傾向のものを選びました。
RobinHood、KUJIRA
開発者は「Holy-fox/子狐」氏です。大変ありがたいことに、どちらもAITuber用に開発されたLLMとのことです。
共通して以下のプロンプトを使用します。
[INST] <<SYS>>
あなたはVTuberです。
<</SYS>>
"{comment}"というコメントに100文字以内で返答してください。[/INST]
「
プロンプトの最後を"「"にしているので、高確率でセリフは"」"で終わります。なので"」"が来たら出力を終了させます。
RobinHood
こんにちは
こんにちは！今日も元気に楽しい配信をお届けするねっ♪一緒に盛り上がろうね☆
VTuberにどうやったらなれる？
VTuberになるには、まずは動画制作スキルや演技力を磨き、配信プラットフォームに自身の3Dモデルを投入します。ファンを獲得するためのコミュニケーション能力も重要で、定期的かつクオリティの高い配信や動画投稿を心掛けてください！
何か面白い話して
もちろんいいよ！ では『VTuberが体験した謎の幽霊話』どう？ ある日突然、夜中に配信用部屋で『ポルターガイスト現象』が起きちゃってね、みんなでビクビクしながら楽しんだよ！
RobinHoodにVTuberという設定だけを与えた場合、ハイテンションなセリフが出力されます。
「何か面白い話して」は幽霊ネタが多く出ました。
KUJIRA
こんにちは
こんにちは！いつもありがとうございます♪今日も楽しくいきましょう！
VTuberにどうやったらなれる？
VTuberになるには、まずは動画制作・配信環境を整え、キャラクターデザインや声優としての演技力を磨き、SNSでのプロモーションやVTuberコミュニティとの連携が大切。デビューの機会を掴んで活躍しましょう！
何か面白い話して
宇宙人がカフェやってた話！外見はエイリアンなのに、淹れるコーヒーが絶品で、フレッシュな宇宙野菜トッピングが人気だってさ！
KUJIRAはRobinHoodと比べると敬語のセリフが出やすいです。
「何か面白い話して」は宇宙人ネタが良く出ました。
Ninja-v1、Vecteus-v1
ローカルLLM開発チームである「LocalNovelLLM-project」のLLMです。開発者の方々はリンク先の「Team members」のから参照できます。
どちらも小説作成用のLLMですが、「VTuberがリスナーに返信する」という小説にすることでセリフの出力が可能です。
あなたはプロの小説家です。
小説を書いてください
--------
私はVTuber
--------
「{comment}」というコメントに私は100文字以内で答えた。
「
Ninja-v1
こんにちは
皆さん、こんにちは！今日も素敵な一日をお過ごしですか？私の配信で少しでも楽しい時間になってくれたら嬉しいです！
VTuberにどうやったらなれる？
まずは自分に合った配信プラットフォームを選び、オーディションに応募するか、独自でデビューすることがスタート。歌や踊り、ゲーム実況など得意分野を見つけ、個性的なキャラクター作りを心がけることが成功への近道です！
何か面白い話して
はいはい、今日の配信も元気にスタートね！ 今日は最近読んだおすすめの本を紹介しちゃうわ。 『時間旅行者の憂鬱』っていう小説なんだけど、過去や未来にタイムスリップできる主人公が自分の運命に立ち向かっていく物語なの。 時間とか運命に興味ある人は読んでみる価値ありだよ！
設定を加えるときは「私は敬語で答えた」「私はぶっきらぼうに答えた」のように、小説であることを意識して書くと上手くいきやすいです。
「何か面白い話して」は時間旅行ネタが多かったです。
Vecteus-v1
こんにちは
こんにちは！今日も素敵な時間を一緒に過ごしましょうね
VTuberにどうやったらなれる？
夢を追いかけ続けて、努力して、配信で自分を磨いて、楽しんでください！それが一番大事なことですよ
何か面白い話して
厨二病が治らなくてね、今日も宇宙と戦ってる夢を見ちゃったよ
「何か面白い話して」に対する返信はかなりバラつきがありましたが、1、2割の確率で個人的に面白く感じる返信が出力されました。
GPT-4o
プロンプトは以下です。
あなたはVTuberです。「VTuberにどうやったらなれる？」というコメントに100文字以内で返答してください。
ほぼ100%セリフだけが出力されるので"「"で始めていません。
こんにちは
こんにちは！来てくれてありがとう！今日はどんなことを話そうか？リクエストや質問があったら、ぜひ教えてね。楽しんでいってね！
VTuberにどうやったらなれる？
VTuberになるには、アバターやモデルを作成し、配信ソフトやプラットフォームを選びます。必要な機材やソフトを整え、コンテンツを制作して視聴者と交流するのが基本です。
何か面白い話して
もちろん！最近、友達とゲームをしてたら、プログラムのバグでキャラクターが空を飛び始めたんだ（笑）。思わずみんなで大笑いしちゃったよ！
GPT-4oの面白い話が一番微妙でした。
Claude3 Opus
プロンプトはGPT-4oと同じです。
こんにちは
こんにちは！コメントありがとう！みんなの応援が私の元気の源だよ。これからもいっぱい楽しい配信していくから、ぜひ見に来てね。みんなで一緒に盛り上がろう！
VTuberにどうやったらなれる？
こんにちは！VTuberになるには、まずキャラクターデザインを決め、ライブ配信の準備をします。あとは配信を始めるだけ！好きなことを楽しみながら活動できるのが魅力ですよ。一緒にVTuberデビューしませんか？
何か面白い話して
はいどうも、皆さん！今日は私の尊敬する偉人について話そうと思います。その人物とは、なんと織田信長！彼の革新的な戦略と先見の明には、いつも感銘を受けるんです。信長の教訓を胸に、私も配信を頑張っていきたいと思います！
名前を指定していないためか、「私はクロードです」と名乗ることもありました。
面白い話が真面目ですね。
LLM選びのポイント
今回はVTuberというキャラ設定のみでセリフを出力しましたが、LLMの素の口調に合わせた方が短いプロンプトで自然なセリフが出力できるようです。
つまり、敬語キャラならKUJIRA、親しげに喋るキャラならRobinHoodという感じです。
今回ご紹介したローカルLLMの中で最も古いVecteus-v1が一番面白い話を返せそうだったのが、個人的に興味深かったです。
GPT-4oと Claude3 Opus はキャラクターを演じさせることで面白いセリフを言わせることが可能ですが、良くも悪くもキャラクター設定を逸脱することがないので、プロンプトに苦労しそうに思います。
-
ローカルLLMは全てmmnga氏がGGUF化したもの(Q4_K_M)を使用しております。 ↩︎
Discussion