Unsloth Dynamic Quantization

最近チラホラGGUFのファイル名に-UD-ってのを見かけて、これはなんぞや？と思ってた。

Perplexity調べ

「-UD-」とは何か

LLM（大規模言語モデル）の量子化モデル名に最近付いている「-UD-」は、Unsloth Dynamic（動的量子化） の略です[2][5][7][9]。

概要

• 「-UD-」は、Unslothというコミュニティ/プロジェクトが開発した「動的量子化（Dynamic Quantization）」手法を示します[2][5][9]。
• 動的量子化は、モデルの各レイヤーやパーツごとに異なるビット数・精度で量子化する方式です。重要な部分は高精度（例：4bitや6bit）、それ以外は低精度（例：1.58bitなど）で量子化し、モデルサイズを大幅に削減しつつ性能劣化を最小限に抑えます[5][9]。
• 例えばDeepSeek-R1-UD-IQ1_Sのようなモデル名の場合、「UD」はUnsloth Dynamic量子化を、「IQ1_S」は量子化の具体的なバージョンや方式を意味します[2][7][9]。

従来の量子化との違い

• 通常の量子化（例：q4_0, q4_K_Mなど）は全レイヤーを同じビット数で量子化しますが、動的量子化（-UD-）はレイヤーごとに最適なビット数を割り当てます[5]。
• これにより、モデルの重要な部分の精度を維持しつつ、全体のサイズを大幅に削減できます（例：1.58bit量子化で80%縮小）[2][5][9]。

まとめ

「-UD-」はUnsloth Dynamic量子化を意味し、レイヤーごとに異なるビット数で量子化することで、モデルの小型化と性能維持を両立する最新の量子化手法を示す接頭辞です[2][5][7][9]。

Citations:
[1] https://qiita.com/ksonoda/items/036b224b72ef029b4677
[2] https://note.com/cppp_cpchan/n/n39557f7de6ef
[3] https://zenn.dev/taku_sid/articles/20250415_llm_quantization
[4] https://www.nttpc.co.jp/gpu/article/technical19.html
[5] https://gigazine.net/news/20250129-deepseek-r1-dynamic-quantized/
[6] https://yamadazaidan.jp/wordpress/wp-content/uploads/2021/09/S58_Vol.2_15.pdf
[7] https://qiita.com/koriym/items/2b45c0b89f7f89817fb6
[8] https://itest.5ch.net/greta/test/read.cgi/poverty/1738158445
[9] https://note.com/npaka/n/na1126a4e5fda

公式ブログ

https://unsloth.ai/blog/dynamic-4bit

https://unsloth.ai/blog/dynamic-v2