Qwen3-VL-Embeddingを用いたローカル画像検索アプリをつくった
はじめに
アリババクラウドからQwen3-VL-Embeddingがリリースされた。
今回の記事では、Claude Codeとともに開発したQwen3-VL-EmbeddingベースのマルチモーダルローカルAI検索システムの導入方法と使い方をまとめる。
Qwen3-VL-Embeddingについては、公式リポジトリを参照されたい。
このモデルはテキスト・画像を同一のベクトル空間に埋め込むことで、「テキストで画像を検索」「画像で類似画像を検索」といったマルチモーダル検索を実現している。
今回作成したコードのリポジトリ
公式リポジトリをフォークし、WebUIとドキュメント管理機能を追加したコードがこちら。
何ができるかについては下記の動画を見た方がわかりやすい。
執筆時点での機能
具体的な追加機能は下記の通り。
-
NVIDIA GPUに加え、Macにも対応
-
uv管理対応
-
メイン機能
- プレーンテキスト、画像、pdfをDBに登録する機能
- pdfは1ページごとに画像に変換してから画像として登録
- ベクター検索機能
- フィルタリング機能
- 自分が指定したコレクション(グループ)ごと
- テキスト、画像、pdf
- 削除・ダウンロード機能
- markdownレンダリング表示機能
- プレーンテキスト、画像、pdfをDBに登録する機能
使い方
以下ではMac環境での使い方を記載する。NVIDIA環境でも動くことを確認済み。ただし、Windows環境は未検証。
$ git clone https://github.com/robustonian/Qwen3-VL-Embedding-Search
$ cd Qwen3-VL-Embedding-Search
$ uv sync
$ uv run hf download Qwen/Qwen3-VL-Embedding-2B --local-dir ./models/Qwen3-VL-Embedding-2B # モデルのダウンロード
環境変数を設定する。
$ cp .env.example .env
.envファイルを必要に応じて編集する。
# Backend API Server
API_HOST=0.0.0.0
API_PORT=8000
MODEL_PATH=./models/Qwen3-VL-Embedding-2B
# App config
QWEN_SEARCH_EMBEDDING_API_URL=http://localhost:8000/v1/embeddings
# Frontend Dev Server
VITE_API_PORT=8000
APIサーバーを起動する。
$ bash serve.sh
実は上記のコマンドでAPIサーバー起動と同時にフロントエンドにアクセスできるようになっている。
モデルのロードに少し時間がかかるが、APIサーバー側で
INFO: Application startup complete.
INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
という文字列が端末に表示されたら準備完了。
webブラウザでhttp://[サーバIPアドレス]:8000にアクセスすることでGUIを開ける。
GUI画面の説明
ホーム画面(検索)
トップページを開くと下記のような検索画面になる。

主な機能は以下の通り。
テキスト検索 / 画像検索の切り替え

検索バーの上にあるトグルで、テキスト検索と画像検索を切り替えることができる。
テキスト検索では自然言語でクエリを入力し、意味的に関連する画像やドキュメントを検索する。
画像検索ではアップロードした画像に類似した画像やドキュメントを検索する。
ファイルタイプフィルター
検索対象を「テキスト」「画像」「PDF」から選択できる。複数選択可能。
PDFを選択すると、アップロードしたPDFから抽出されたページ画像が検索対象になる。
クリップボード検索

画像検索画面でCtrl+V(MacはCmd+V)を押すと、クリップボードの画像で検索できるモーダルが開く。
スクリーンショットを撮ってすぐに類似画像を検索したい場合に便利。
:::alert
UX的にイマイチなのだが、クリックしてから再度Ctrl+Vしないと画像が添付できないようになっている。
セキュリティ的な理由で、httpアクセスの場合はこのような仕様となってしまうらしい。
:::
検索結果

検索結果はグリッド形式で表示され、各結果には類似度スコアが表示される。
クリックするとプレビューモーダルが開き、詳細を確認できる。
ライブラリ画面(ファイル管理)
サイドバーの「ライブラリ」をクリックすると、ファイル管理画面に移動する。

ドラッグ&ドロップアップロード
画面上部のアップロードエリアにファイルをドラッグ&ドロップすることで、複数ファイルを一括アップロードできる。
対応形式は画像(JPEG, PNG, GIF, WebP)、PDF、テキストファイル(TXT, Markdown)。
クリップボードアップロード
ライブラリ画面でCtrl+Vを押すと、クリップボードの画像をアップロードできるモーダルが開く。
PDFの自動ページ分割
PDFをアップロードすると、自動的に各ページが画像として抽出される。
これにより、PDFの特定のページを画像検索で見つけることができる。
ファイル一覧
アップロード済みのファイルが一覧表示される。
複数選択して一括削除することも可能。
コレクション画面
サイドバーの「コレクション」をクリックすると、コレクション管理画面に移動する。

コレクションはファイルをグループ化するための機能。
プロジェクトごとやカテゴリごとにファイルを整理でき、検索時にコレクションでフィルタリングすることもできる。
何の役に立つのか?
ところで、このシステムが何の役に立つのか?
ローカルでのマルチモーダル検索
まず、ローカル環境で完結するマルチモーダル検索システムを構築できる。
クラウドサービスにファイルをアップロードする必要がないため、機密性の高いドキュメントや画像を安心して検索対象にできる。
テキストでドキュメントを探す
テキストからドキュメントを探す通常の検索も可能。
画像で類似画像を探す
「この画像に似た画像を探したい」という場面で活躍する。
デザイン参考の収集や、重複画像の検出などに使える。
PDFの中身を検索
PDFをページ単位で画像化して検索対象にするため、「あのグラフが載っていたスライドはどれだっけ?」といった検索が可能になる。
まとめ
今回はQwen3-VL-EmbeddingをベースにしたマルチモーダルローカルAI検索システムを紹介し、導入方法・使い方を簡単にまとめました。
比較的高精度にローカル画像検索ができるようになったのはありがたいです。
APIとしても使えるので、画像検索RAGやAIエージェントとの親和性もあります。ぜひ色々と活用してもらえればと思います。
最後に、改めて素晴らしいモデルを公開いただいたQwenチームに感謝申し上げます!
Discussion