文系でもAIVTuberをやってみたい！

import sounddevice as sd
import soundfile as sf
import sounddevice as sd
input_device = 0
output_device = 10
sd.default.device = [input_device,output_device]

def play_sound(filepath):
    sig, sr = sf.read(filepath, always_2d=True)
    sd.play(sig,sr)
    sd.wait() # sd.playが完了するのを待つ
play_sound("sample.wav")

sd.default.reset()

from transformers import pipeline
nlp = pipeline("question-answering",model="nlp-waseda/roberta-base-japanese-with-auto-jumanpp")
print(nlp("こんにちは！あなたの好きなお菓子はなんですか？"))

from transformers import AutoTokenizer, AutoModelForQuestionAnswering
tokenizer = AutoTokenizer.from_pretrained("ku-nlp/roberta-base-japanese-char-wwm")
model = AutoModelForQuestionAnswering.from_pretrained("ku-nlp/roberta-base-japanese-char-wwm")

sentence = 'こんにちは！あなたの好きなお菓子はなんですか？'
input = tokenizer.encode(sentence, return_tensors='pt')
output = model.generate(input, do_sample=True, max_length=30, num_return_sequences=3)
print(tokenizer.batch_decode(output))

from transformers import AutoConfig, AutoModelForQuestionAnswering

# Download configuration from huggingface.co and cache.

config = AutoConfig.from_pretrained("bert-base-cased")

model = AutoModelForQuestionAnswering.from_config(config)

import torch
from transformers import T5Tokenizer, AutoModelForCausalLM

class llm_adapter:
    def __init__(self,tokenizer_name,model_name) -> None:
        self.tokenizer = T5Tokenizer.from_pretrained(tokenizer_name)
        self.tokenizer.do_lower_case = True  # due to some bug of tokenizer config loading
        self.model = AutoModelForCausalLM.from_pretrained(model_name)
        if torch.cuda.is_available():
           self.model = self.model.to("cuda")

    def encode(self,sentence):
        inputs = self.tokenizer.encode(sentence,return_tensors='pt')
        with torch.no_grad():
            output_ids = self.model.generate(
                inputs.to(self.model.device),
                max_length=100,
                min_length=20,
                do_sample=True,
                top_k=500,
                top_p=0.95,
                pad_token_id=self.tokenizer.pad_token_id,
                bos_token_id=self.tokenizer.bos_token_id,
                eos_token_id=self.tokenizer.eos_token_id
                # bad_word_ids=[[tokenizer.unk_token_id]]
            )
        output = self.tokenizer.decode(output_ids.tolist()[0])
        return output

def post_request_MQ(url):
    query = 'audio_query'
    response = requests.post(url+query,params=item_data)
    return response.json()

def post_requestMA(url,data,speaker_id,core_version):
    query = 'synthesis'
    a_params = {
        'speaker' :speaker_id,
        'core_version':core_version,
        'enable_interrogative_upspeak' : 'true'
    }
    return requests.post(url+query,params = a_params,data= json.dumps(data))

url = 'http://localhost:50031/'


speaker_id = 0
core_version ="0.0.0"
item_data={
    'text':'これはテストです',
    'speaker':speaker_id,
    'core_version':core_version
}
MQ_data = post_request_MQ(url)
MA_data = post_requestMA(url,MQ_data,speaker_id,core_version)

from scipy.io.wavfile import read
import io

rate, data = read(io.BytesIO(MA_data.content))
sd.play(data,44100)

sd.wait() # sd.playが完了するのを待つ

Tokenizerは、使用する学習済みモデルごとに作成されたものが存在するため、モデル学習時に使用されたTokenizerと同じものを使う必要があります。

AutoTokenizerクラスのfrom_pretrainedメソッドを使用することで、指定したモデルのTokenizerを使うことができます。

nlp = pipeline("conversational")
while(True):
    print("入力できます")
    input_str = input()
    input_conv = Conversation(input_str)
    response_text = nlp(input_conv)
    print(response_text)

        comments = json.loads(self.chat.get().json())
        if(comments ==[]):
            print("コメントがありません")
            return None
        latest_comment =  comments[-1].get("message")
        return latest_comment

10代女子のゲーマーをキャラクターとした対話AIを作っています。ファインチューニングを行うため、質問とそれに対する回答を10組作ってほしいです。テーマは雑談で、お互いタメ口で会話をしている設定です。一問一答形式でお願いします。

    Q: お元気？
    A: お元気です！あなたはお元気ですか？

    Q: 今日の天気は？
    A: 今日の天気は晴れです！素敵な一日になりますね。

    Q: 好きなゲームは？
    A: 私はFPSゲームが好きです！あなたは何が好きですか？

    Q: 最近買ったゲームは？
    A: 最近買ったゲームは「Cyberpunk 2077」です！面白いですか？

    Q: 好きな音楽ジャンルは？
    A: 私はロックやヒップホップが好きです！あなたは何が好きですか？

    Q: 今週の予定は？
    A: 今週の予定はゲームと友達との会話です！あなたは何をする予定ですか？

    Q: 好きな映画は？
    A: 私はアクションやSF映画が好きです！あなたは何が好きですか？

    Q: 好きな食べ物は？
    A: 私は寿司やパスタが好きです！あなたは何が好きですか？

    Q: 好きなスポーツは？
    A: 私はバスケットボールが好きです！あなたは何が好きですか？

    Q: 今日のお気に入りのゲームは？
    A: 今日のお気に入りのゲームは「Overwatch」です！あなたは何が今日のお気に入りですか？

    def get_scene_item_list(self):
        loop = asyncio.get_event_loop()
        req =  simpleobsws.Request("GetSceneItemList",{ "sceneName": sceneName })
        res = loop.run_until_complete(self.ws.call(req))
        return res

        loop = asyncio.get_event_loop()
        req = simpleobsws.Request("SetInputSettings",{ "inputName": "test_text","inputSettings":{"text":"MY NEW TEXT" }})
        res = loop.run_until_complete(self.ws.call(req))