プログラマのためのLLM実装完全ガイド：NumPyから最新OSS LLMまで
「数式はもういい、コードを見せてくれ。」 「LLMが動く仕組みを、ブラックボックスなしで理解したい。」 このシリーズ（Book）は、そんなプログラマのための技術解説連載です。 現在のAI開発は、Hugging Faceの from_pretrained() を叩けば誰でもモデルを動かせる時代になりました。しかし、その裏側で Attention がどう計算されているのか、なぜ KV Cache が必要なのか、MoE のルーティングはどう実装されているのか――それらを「肌感覚」として理解しているエンジニアは多くありません。 本シリーズでは、PythonとNumPyを使ったフルスクラッチ実装からスタートし、最終的には Qwen-32B クラスの最新モデルで採用されている最先端技術までを、**実働するコード（Jupyter Notebook）**とともに解剖します。 🛠️ このシリーズの進め方 週2〜3回更新：継続的に学べるペースで配信します。 ブログは短く、コードは濃厚に： 記事自体は核心を突く短い解説にとどめます。 主役は .ipynb です。GitHubで公開するNotebookには、詳細な日本語注釈（コメント）を大量に埋め込んでいます。Google Colabで実際にセルを実行しながら、変数の値がどう変化するかを確認できます。 📚 扱う技術トピック（予定） 基礎編： NumPyによるGPT-2実装、Pre-LN / Post-LN、Embedding Drift 推論高速化・最適化： KV Cache、FlashAttention、Memory Retrieval 大規模化技術： MoE (Mixture of Experts)、Top-2 Gating 量子化・軽量化： SmoothQuant、INT4/INT8、LLM.int8()補正、QLoRA、4-bit Quantization マルチモーダル・拡張： CLIP、画像Patch処理、Video-LLaMA、TTSアダプテーション 高度な制御： Instruction Following Score、なとなと 理論書を読むのではなく、デバッガで変数を追いかけるように、LLMの深層へ潜りましょう。
