🙌
Vulkan 量子化拡張のメモ
最近(2025/08) Vulkan でローカルで LLM 動かすのが流行ってきている感があります.
coding AI で C/C++ と Vulkan, JavaScript/TypeScript と webgpu とかぺろっと出来るようになってきたしね.
pytorch + CUDA + python 面倒で, こんなのみんな求めてなかったんや...
あと gpt-oss や qwen-coder-flash とかオープンなモデルも出てきたしね.
Coding AI は予想外でしたが, C/C++ + Vulkan の流行りの予言あたったカモ?
量子化処理をカーネルで書いてもいいですが, すでに使えるのがあると便利です
bf16
VK_KHR_shader_bfloat16
2025 年終わりくらいには stable に使えそ?
fp8
VK_EXT_shader_float8 が策定中.
とりあえずは fp16 でのエミュレーションが動きそ.
int4, fp4
2025/08 時点で策定などの動きはなさそ.
さらなる高みへ
サーバ GPU でも Vulkan 動くのあります.
学習も C/C++ + Vulkan になりそ?
詳しくは ChatGPT クンや Claude クンなどに聞いて
Discussion