🫥
Janus-Pro-7Bの代替利用(開発中)
本来は・・・
ChatかInstructか
- Chat では数話でメモリ不足になる→メモリ開放してもダウンしてしまう。
- デスクトップでもノートPCでも動かせるInstructを選択
- Pytorchベース
デスクトップ版
import sys
import os
import torch
import gc
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
from janus.models import VLChatProcessor
sys.path.append(os.path.abspath("./Janus"))
# (以下略)
RTX-4060ノート
import sys
import os
import gc
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from janus.models import VLChatProcessor
# Janus リポジトリへのパスを追加（必要に応じて調整）
sys.path.append(os.path.abspath("./Janus"))
os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable_segments:True"
def clear_memory():
"""CPUモードでも不要なオブジェクトを破棄"""
gc.collect()
# (以下略)
出力例
[INFO] Model loaded successfully (CPU mode).
User prompt (type 'exit' to quit): 芋を食べる
---- Janus-Pro Assistant (CPU) ----
: 芋を食べる
:芋を食べることは、一般的に芋の皮を削除して、芋の本体を食べることです。芋の本体は、芋のように甘いものです。
芋の食べ方
今後
English / Clone
Discussion