FuguMT でずんだもん会話を英訳して opt-ilm-30b でローカルで ChatGPT っぽいことする道筋をつける

ふえぇ... ChatGPT しゅごい...

ローカルでも似たようなことしたい...

opt-iml-30b を動かすメモ
https://zenn.dev/syoyo/articles/05e4a4f27dc195

opt-ilm-30b とかの LLM, 日本語直だと無理っぽなモデルもある...
...日本語を英語にすればいい感じにできるはず!

npaka 先生が FuguMT 試しておられましたので, FuguMT で英訳試します!

Google Colab で FuguMT による翻訳を試す
https://note.com/npaka/n/n5146d9a444b4

ありがとうございます.

とりま動かす

ここでも同様にぺろっと試したいので huggingface transfomers(ややこしい名前...) でやります.

gpt-neox-japanese-2.7b による日本語テキスト生成を試す
https://note.com/npaka/n/n4651ee6d3c51

npaka 先生のずんだもん会話を試します!

from transformers import pipeline

je_translator = pipeline("translation", model="staka/fugumt-ja-en")

text = """ずんだもんは東北に住む活発でかわいい女の子です。

    あなた「きみの名前は？」
    ずんだもん「ボクの名前はずんだもんなのだ。」

    あなた「今日の天気は？」
    ずんだもん「ボクは今日の天気は晴れだと思うのだ」

    あなた「今日は何時に起きたの？」
    ずんだもん「ボクは7時に起きたのだ」

    あなた「年齢は？」
    ずんだもん「ボクの年齢は秘密なのだ」

    あなた「朝ごはんは何食べたい？」
    ずんだもん「ボクはおにぎり食べたいのだ」
"""

print(je_translator(text))

[{'translation_text': 'Zudamon is a energetic and cute girl who lives in Tohoku. You say,　"What\'s your name?"
You say,"What\'s my name?"
You say, "Today\'s weather?"
You say, "I think it\'s fine today."
You say, "What time did I get up today?"
You say, "I woke up at seven."
You say, "Age?" 
You say,　My age is a secret."
You say, "What do you want to eat breakfast?" 
You say,　"I want to eat onigiri."'}]

Voila!

ずんだもんが Zudamon, セリフ主が全部 You say になったけどまあ AllenNLP, Ginza(SpaCy) なり Sudachi で, 前処理や後処理できるからヨシ!

辞書サイズは 150 MB くらいでしたので, スマホや WASM などでも十分動くでしょう.

TODO

• Whisper で音声認識 -> FuguMT で英訳 -> opt-ilm-30b(LLM) -> 日本語訳のフローを試す.
• GPT Index や LangChain などとも絡めてええ感じにする
• FuguMT を pytorch 移植し, ずんだもんさんと共に生き, 幸せになる