🌬️

0日目：なぜ今 Mistral AI を触るのか──LLM の箱の中身と OSS へ

に公開
OSS
LLM
Fine-tuning
mistral
MoE
idea

「そろそろ Mistral をガチで触りたいな……」

ここ数ヶ月ずっと頭の片隅にあったこの感覚を、
言語化しておこうと思って書いています。

これはチュートリアルではなく、

これから Mistral AI を触り倒していく宣言と、その背景にあるモヤモヤの整理

です。

前提：概念レベルはもう知っている

LLM まわりの概念は、AI実装検定 S級 を取る過程で一度きちんと固めました。

  • Embedding
  • Self-Attention
  • Transformer ブロック
  • 事前学習 / ファインチューニング / RAG

このあたりは「試験で説明できる」レベルでは理解しているつもりです。

ただ、あの勉強はどちらかというと

紙と Python の上での理解

に近くて、

  • OSS LLM を自分の環境で動かす
  • 推論をチューニングする
  • RAG やエージェントの足回りをちゃんと設計する

という「実務寄りの手触り」がまだ足りていない。

そこで一回、自分の頭の中をリセットする意味も込めて、
LLM の中身を図にしてから Mistral を触りにいくことにしました。

図で見る「LLM という箱」

まずは、今回用意したこの図を見てください。

AI実装検定で出てくる要素が、そのまま一枚にまとまっています。

  • トークン埋め込み（Embedding）
  • 位置エンコーディング
  • Transformer ブロック × N
    • Self-Attention
    • Feed Forward（MLP）
    • Residual + LayerNorm
  • 出力層（次トークンの確率）

左側には「学習」と「推論」の違い、
右上の吹き出しには、

「Mistral ではこの Transformer ブロック部分に
Mixture of Experts（専門家の組み合わせ）の工夫が入る」

と書きました。

要するに、

  • LLM は「謎の黒い箱」ではなく
  • こういう層が積み重なった 決まったパターンの計算装置で
  • Mistral はその中の Transformer ブロックの構造をいじっている

ということを、視覚的に共有するための図です。

概念は分かっているつもりでも、
一度こうやって「箱の中身」を描いてから OSS を触り始めると、
後の理解の解像度が変わりそうだな、という狙いがあります。

自分はどんな立場から LLM を触っているのか

ざっくり自己紹介しておきます。

  • 40 代中盤のエンジニア寄り
  • 元 SIer で約 20 年、医療系パッケージの開発・保守・運用・PM/PMO
  • 今はクラウド上のデータプラットフォームや、LLM/RAG の PoC〜本番までを見る仕事が中心
  • Azure OpenAI を使った RAG を本番導入して、QA 工数を削減した経験あり
  • Snowflake の SnowPro Core 合格済み

つまり、

エンタープライズ側のデータ基盤と LLM の間をつなぐポジション

にいる人間です。

長期的には、

  • どこの現場に行っても、
  • データと LLM のアーキテクチャをちゃんと組める人

でいたい。そのための一環として、Mistral を選びました。

なぜ「今」Mistral なのか

LLM 自体は GPT や Claude を日常的に触っています。
それでもわざわざ Mistral に時間を割こうと思った理由を、少し深掘りしておきます。

1. 「借り物」ではなく「手元に置ける頭脳」を持ちたい

商用 API は便利ですが、やっぱり距離があります。

  • モデルは向こう側の都合でアップデートされる
  • 学習データや内部構造は完全には見えない
  • レイテンシやコストの最適化も、ある程度“お任せ”になる

一方、Mistral のモデルは weights が公開されていて、
自分の環境で動かすことができます。

  • Mistral 7B / Mixtral 8x7B など
  • Hugging Face / vLLM からそのまま扱える
  • 量子化や推論最適化も自分で試せる

これは感覚的には、

「クラウドのマネージド DB だけでなく、
OSS の RDBMS もちゃんと触っておきたい」

のと近いです。

借り物だけに頼らず、手元に置ける LLM を持つ。
その第一候補として、Mistral を選んでいます。

2. US でも中国でもない「第三極」としてのスタンス

LLM のマジョリティはどうしても、

  • 🇺🇸 US（OpenAI, Anthropic, Meta, Google…）
  • 🇨🇳 China（Baidu, Alibaba, ByteDance…）

の二極構造になりがちです。

そこに、EU 発で、

  • データ主権
  • プライバシー
  • OSS

を掲げているプレイヤーがいる、というのは単純に面白い。

医療系や個人情報を扱うシステムに長く関わってきた身としては、

「データがどこに行くのか」「誰がコントロールしているのか」

にどうしても敏感になります。

Mistral を触ることは、

  • 技術的な OSS LLM の勉強であると同時に、
  • 「ロックインされすぎないAIの未来」を考えるための材料集め

でもあります。

3. 技術の“純度”に惹かれる

Mistral 周りの情報を追っていると、

  • Mixtral の MoE 構造
  • 小さいモデルで性能を出しに行く設計
  • OSS とコミュニティとの距離感

など、「モデルそのものをどう磨くか」に真剣な空気を感じます。

プロダクトとしての UX や周辺ツールよりも、
まずは コアとなる LLM の質に集中している感じがして、見ていて気持ちいい。

インフラやデータ基盤寄りの人間としては、
こういう「土台に全振りしたプロダクト」が単純に好きです。

この連載でやっていくこと（ラフなロードマップ）

ここから半年くらいを目安に、Mistral でやりたいことをざっくり分けておきます。

フェーズ1：素振り（1〜2ヶ月）

  • Google Colab 上で Mistral 7B / Mixtral を動かしてみる
    • Hugging Face 経由 or vLLM 経由
  • 単純なプロンプト実行で「手触り」を確認
    • 日本語／英語の挙動
    • 役割指示への反応 など

目標：
「サービスとしての LLM」ではなく、
「自分で起動して叩く LLM」の感覚を身につける。

フェーズ2：RAG に組み込む（2〜3ヶ月）

  • 手元の技術メモや公開可能な資料を使って、
    シンプルな RAG を Mistral で構築
  • 同じ構成を GPT / Claude でも試し、
    精度・コスト・レイテンシをざっくり比較する
  • Chunking や Retrieval 戦略を少しずつ変えてみる

目標：
「Mistral でも RAG が素直に組める」ことを自分の手で確認し、
商用 LLM と OSS LLM の“肌感”の違いを掴む。

フェーズ3：推論最適化＆モデル理解（2ヶ月〜）

  • quantization（4bit, 8bit）を試す
  • vLLM での高速化を試す
  • 図でいう Transformer ブロック の中に
    Mixtral の MoE がどう入り込んでいるのかを概念レベルで整理する
  • 「なぜこういう構造なのか」を、自分の言葉と図で説明できるようにする

目標：
「OSS LLM をインフラとして運用する」 ための最低限の引き出しを揃える。

この先の連載イメージ

この 0 日目の記事は、言ってしまえば 自分への宣言 です。

このあと続けて、こんな内容を Zenn に落としていく予定です。

  • #1：この記事の LLM 構造図をもう少し分解して解説する
  • #2：Colab で Mistral 7B / Mixtral を動かしてみたメモ
  • #3：Mistral を使ったシンプル RAG の構成メモ
  • #4：Mistral と商用 LLM（GPT / Claude）を、RAG 観点でゆるく比較してみた話
  • #5：quantization と vLLM を触ってみたメモ
  • #6：データ基盤 × Mistral で遊んでみた構想メモ

全部をガチガチにやるわけではなく、
自分の興味と実務に効くところから順に書いていきます。

さいごに：なぜ Mistral なのか（もう一度）

  • LLM を **「ただの便利 API」ではなく「手元に置ける計算装置」**として扱いたい
  • US / 中国だけに依存しない選択肢としての OSS LLM を、一つちゃんと理解しておきたい
  • 技術の純度が高いプロダクトを、コードレベルで味わってみたい

そして何より、

「Mistral の思想と技術が、単純に好きだから。」

というのが本音に近いです。

同じように、

  • GPT / Claude は触っているけど、
  • OSS LLM はまだこれから

という人がいたら、
ゆるく一緒に沼っていければうれしいです。

※ちなみにMistralの意味って
🌬 Mistral = 南フランスに吹く、強くて冷たい北風（季節風）
らしい

（次回は、この構造図をもう少し分解しつつ、Colab で Mistral を動かしてみたメモを書く予定です）

Discussion