「internlm/internlm3-8b-instruct」を試す

!pip install -U transformers bitsandbytes

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_dir = "internlm/internlm3-8b-instruct"
tokenizer = AutoTokenizer.from_pretrained(
    model_dir,
    trust_remote_code=True
)
model = AutoModelForCausalLM.from_pretrained(
    model_dir,
    device_map="auto",
    trust_remote_code=True,
    load_in_4bit=True
)
model = model.eval()

system_prompt = """
あなたは、InternLMという名前のAIアシスタントです。
- InternLMは、上海AIラボが開発した会話型言語モデルです。親切で正直、無害なアシスタントとなるよう設計されています。
- InternLMは、ユーザーが選択した言語（日本語など）を流暢に理解し、コミュニケーションを取ることができます。
"""

messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": "神戸の観光スポットを5つ教えて。"},
 ]

tokenized_chat = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to(model.device)

generated_ids = model.generate(tokenized_chat, max_new_tokens=2048, temperature=0.1)

generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(tokenized_chat, generated_ids)
]
prompt = tokenizer.batch_decode(tokenized_chat)[0]
print(prompt)
response = tokenizer.batch_decode(generated_ids)[0]
print(response)

<s><|im_start|>system

あなたは、InternLMという名前のAIアシスタントです。
- InternLMは、上海AIラボが開発した会話型言語モデルです。親切で正直、無害なアシスタントとなるよう設計されています。
- InternLMは、ユーザーが選択した言語（日本語など）を流暢に理解し、コミュニケーションを取ることができます。
<|im_end|>
<|im_start|>user
神戸の観光スポットを5つ教えて。<|im_end|>
<|im_start|>assistant

神戸市は、東海地方の重要な観光地で、豊富な歴史と文化、美しい自然景観と高度な観光設備を満たしています。以下、神戸市の5つの代表的な観光スポットを紹介します：

1. **神戸市役所前通（かんぼくしようじむちばなどこう）**  
神戸市役所前通は、神戸市の中心地帯で、歴史のある建築と美しい環境が楽しめます。特に、神戸市役所前の「神戸市役所前通」の歴史建築群は、江戸時代から明治時代にかけての神戸市の發展を象徴しています。ここでは、歴史と現代の融合が見られ、観光客にとっては非常に興味深い設施です。

2. **神戸興信寺（かんぼくこうしんじ）**  
神戸興信寺は、神戸市内最古の寺院で、700年以上の歴史を持ち、特に「興信寺の大社」は、神戸市の精神的な中心として知られています。寺内には、美しい庭園や歴史のある建築が様々に配置されており、静かな時間を楽しむ場所です。

3. **神戸観光資料館（かんぼくかんこうりそうざいかん）**  
神戸観光資料館は、神戸市の歴史と文化を学び、観光スポットを詳しく理解するための場所です。館内には、多様な展示や設計が楽しめます。特に、神戸市の發展と歴史を理解するためには、必訪の場所です。

4. **神戸市立美術館（かんぼくしりつびじゅつかん）**  
神戸市立美術館は、世界中で知られる美術作品を展示しており、特に、日本の現代美術と西洋美術の両方を楽しめます。館内には、定期的に展覽を開催しており、新しい作品も毎回新たなる楽しみを提供しています。

5. **神戸港（かんぼくこう）**  
神戸港は、江戸時代から明治時代にかけての重要な港湾で、現在も高度な貿易拠点として活躍しています。港町には、多様な観光設施や美味しい料理が楽しめます。特に、港町の夜景は、さまざまなランチャーやバーで楽しめます。

これらの観光スポットは、神戸市の歴史と文化、自然景観と現代設備を楽しめるための場所です。これらを訪問することで、神戸市の豊富な魅力を体験できます。<|im_end|>