🧠

Page Assist × LM Studio × MedGemma4Bで構築する画像診断補助システム

に公開
AI
LLM
ローカル LLM
LM Studio
画像診断
tech

🎯 目的

LM StudioとPage Assistを組み合わせて、医療用画像の読影を補助するAI診断支援ツールを構築する手順を解説します。

MedGemma4Bという視覚情報に対応した医療用大規模言語モデル（VLM）を使用し、ブラウザ拡張「Page Assist」とローカルLLMランチャー「LM Studio」を組み合わせて、ブラウザと組み合わせて使いやすい院内で完結する安全なAI補助ツールを作成する手法を紹介します。

あくまで簡易的なシステムであり、Medgemma4Bの性能の限界もあり、完全に信頼できるとは言い難いです。
ですが、今後VLMを差し替えることで、高性能化も期待できます。

🧬 MedGemmaとは？

MedGemmaは、Googleが開発した医療画像解析向けのマルチモーダル大規模言語モデル（VLM: Vision-Language Model）です。

もともと高性能な「Gemma3」シリーズをベースに、医療用途に特化した学習が施されており、X線、CT、皮膚病変、病理スライドなどの画像に対して臨床的な所見や診断候補を自然言語で返答することができます。

  • バリエーション: medgemma-27B, medgemma-4B

  • 用途: 放射線画像の読影補助、カルテ作成、問診など

今回は、軽量で画像認識能力も備えたmedgemma-4Bを使用します（27Bはテキストの入出力のみに対応しているため、今回は使用しません）。
整形外科・内科領域の胸部レントゲン画像や、皮膚科領域のダーモスコピー画像の視覚的特徴を捉えて所見を生成する用途が期待されます。

LM Studioとは？

LM Studioは、ローカル環境で大規模言語モデルを動作させるためのプラットフォームであり、OpenAI互換のAPIを提供します。

WindowsやmacOSに対応し、GUIでモデルの管理やAPIサーバーの起動が可能です。

medgemma4Bのような、画像入力対応のモデルも扱うことができ医療画像解析のようなマルチモーダル用途にも適しています。

さらに、LM Studioは複数のモデルを切り替えて実行できるため、用途に応じたモデルの比較や検証にも適しています。

MedGemmaのような医療系VLMだけでなく、汎用の日本語LLMやチャット向けモデルなども並列に扱うことができ、研究・開発・業務用途に柔軟に対応できるのが利点です。

同じようなプラットフォームとして、ollmaがありますが、今回はmedgemma4Bを使用する関係でLM Studioを使用します（詳細は後述）

🧩 システム構成

[ブラウザ画像] → [Page Assist] → [LM Studio] → [medgemma-4Bモデル] → [所見の応答]

1️⃣ リモートGPUサーバーにLM Studioを構築する

1-1. GPUドライバと環境の準備

  • NVIDIA GPU: CUDA対応ドライバ

  • OS: Windows / macOS

1-2. LM Studio のインストール

  • 公式サイトからインストーラーをダウンロードして実行

1-3. モデルのダウンロード

alt text

速度と性能のバランスがよい、Q4K_M量子化モデルをおすすめします。
unsloth以外から配布されているggufファイルでも動作するはずです。

1-4. LM Studio をサーバーモードで起動

alt text

  • [Developer] → [Status:Runnig]に変更 → [Settings]からServe on Local Network をONに

  • Port: 1234 などを指定(デフォルトでも問題ありません)

  • Reachable at:欄に、LM Studioにアクセスするためのアドレスが表示されているのでコピーして保存しておきます。

2️⃣ ブラウザに Page Assist を導入・設定する

2-1. Page Assist 拡張機能のインストール

Page Assistは、ローカルやリモートで動作するLLM（大規模言語モデル）とWebブラウザを接続するための拡張機能です。

Webページ上のテキストや画像をサイドバーに直接ドラッグ＆ドロップすることで、AIに自然な言語で問い合わせることができる仕組みを提供します。

様々なプラットフォーム（LM Studio / Ollama / OpenRouter など）に対応しており、ローカル環境でもChatGPTのような体験を可能にするのが特徴です。

  • Chrome/Edge/Firefox 向けに公開されています。

  • GitHub版からの手動読み込みも可能です

chrome版Page Assist：https://chromewebstore.google.com/detail/page-assist-ローカルaiモデル用のwe/jfgfiigpkhlkbnfnbobbkinehhfdhndo?hl=ja&pli=1

Page Assist は Ollama にも対応していますが、2025年6月現在、medgemma-4B を Ollama 経由で使用した場合、画像入力時に "Cannot read properties of undefined (reading 'content')" というエラーが発生することがあります。

そのため、現時点では LM Studio を使って medgemma-4B を実行する方法を解説しています。

2-2. Provider (LM Studio) の追加設定

alt text

  • page assistの右上の[設定]⚙アイコン > OpenAI互換API > プロバイダーを追加:

    • 新規プロバイダーを追加(プロバイダー名): LM Studio

    • ベースURL: http://<SERVER_IP>:1234/v1

      • LM studioと同一端末で実行する場合は http://localhost:1234/v1 で指定できます。

      • 別端末で実行しているLM Studioにアクセスする場合は、LM Studioに表示されていた端末のURLを入力します。

    • API Key: 空欄でも問題ありません。（LM Studioで設定できます）

LM Studioでmedgemma4Bをダウンロードしてあれば、ページ上のモデル選択欄にmedgemma4B（その他ダウンロードしてあるLLMがあれば）が表示されます。
alt text

3️⃣ 使用方法と動作確認

  1. 拡張機能をクリックしてpage assisitを開く(もしくは右クリックでサイドパネルを開く)

  2. Page Assistのチャット欄に画像をドロップ

  3. 「この画像の所見は？」などと送信(page assistの、プロンプトを管理画面でプロンプトをあらかじめセットすることも可能です)

  4. medgemmaが診断補助のコメントを返答します。

4️⃣ よくあるエラーと対処法

症状 原因 対処
Cannot read properties of undefined (reading 'content') Ollama経由時のバグ LM Studio経由に切り替える
WebP画像送信で400エラー 非対応形式 JPEG/PNGに変換
応答が遅い・エラー VRAM不足/トークン超過 max_new_tokensを制限、プロンプト長を削減

5️⃣ セキュリティ・運用の工夫

  • 院内限定運用 or VPN越しアクセス（TailScale等を使用すると簡単にリモートマシンにアクセスできます）

🧠 まとめ

MedGemma4BとLM Studio、Page assistを使った読影支援システムは、ブラウザで動作する電子カルテと同居して、手軽に使える臨床医支援システムです。

ローカルLLMの活用は、スピード・コスト・プライバシー保護の観点でも非常に実用的です。

⚠️ 注意事項：医療機器認証・承認について

現時点（2025年6月）で、MedGemma4Bを含むLLMモデル自体は、日本において医療機器としてのPMDA（医薬品医療機器総合機構）の承認を受けておらず、医療機器として販売・運用できるものではありません。

そのため、MedGemmaを使用した画像診断支援システムはあくまで医師の補助ツールとして位置づけ、最終的な診断や治療方針の決定は医師自身が責任を持って行う必要があります。

Discussion