Zenn
bitsandbytes
このトピックを指定するには
bitsandbytes
と入力
Articles
4
articles
Trending
Alltime
Latest
🎃
LLMの推論では外れ値は重要な役割を果たす
bilzard
2025/02/27
18
⏳
bitsandbytes で NF4 量子化の保存・読み込みを実装する
Plat
2024/12/28
10
🦜
CogView4-6B の量子化を試してみる
Plat
5ヶ月前
8
🍱
transformersでLLMのcache保存場所を指定して8bit量子化で推論するためのサンプルコード
kurogane_himaki/鐵火卷8号🍣😈バーチャル一般人
2ヶ月前
1