🧭

Qwen3-VL-Embeddingを用いたローカル画像検索アプリをつくった

に公開

はじめに

アリババクラウドからQwen3-VL-Embeddingがリリースされた。

今回の記事では、Claude Codeとともに開発したQwen3-VL-EmbeddingベースのマルチモーダルローカルAI検索システムの導入方法と使い方をまとめる。

Qwen3-VL-Embeddingについては、公式リポジトリを参照されたい。

https://github.com/QwenLM/Qwen3-VL-Embedding

このモデルはテキスト・画像を同一のベクトル空間に埋め込むことで、「テキストで画像を検索」「画像で類似画像を検索」といったマルチモーダル検索を実現している。

今回作成したコードのリポジトリ

公式リポジトリをフォークし、WebUIとドキュメント管理機能を追加したコードがこちら。

https://github.com/robustonian/Qwen3-VL-Embedding-Search

何ができるかについては下記の動画を見た方がわかりやすい。

https://x.com/gosrum/status/2010336225773978005

執筆時点での機能

具体的な追加機能は下記の通り。

  • NVIDIA GPUに加え、Macにも対応

  • uv管理対応

  • メイン機能

    • プレーンテキスト、画像、pdfをDBに登録する機能
      • pdfは1ページごとに画像に変換してから画像として登録
    • ベクター検索機能
    • フィルタリング機能
      • 自分が指定したコレクション(グループ)ごと
      • テキスト、画像、pdf
    • 削除・ダウンロード機能
    • markdownレンダリング表示機能

使い方

以下ではMac環境での使い方を記載する。NVIDIA環境でも動くことを確認済み。ただし、Windows環境は未検証。

$ git clone https://github.com/robustonian/Qwen3-VL-Embedding-Search
$ cd Qwen3-VL-Embedding-Search
$ uv sync
$ uv run hf download Qwen/Qwen3-VL-Embedding-2B --local-dir ./models/Qwen3-VL-Embedding-2B # モデルのダウンロード

環境変数を設定する。

$ cp .env.example .env

.envファイルを必要に応じて編集する。

# Backend API Server
API_HOST=0.0.0.0
API_PORT=8000
MODEL_PATH=./models/Qwen3-VL-Embedding-2B

# App config
QWEN_SEARCH_EMBEDDING_API_URL=http://localhost:8000/v1/embeddings

# Frontend Dev Server
VITE_API_PORT=8000

APIサーバーを起動する。

$ bash serve.sh

実は上記のコマンドでAPIサーバー起動と同時にフロントエンドにアクセスできるようになっている。

モデルのロードに少し時間がかかるが、APIサーバー側で

INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

という文字列が端末に表示されたら準備完了。
webブラウザでhttp://[サーバIPアドレス]:8000にアクセスすることでGUIを開ける。


GUI画面の説明

ホーム画面(検索)

トップページを開くと下記のような検索画面になる。

主な機能は以下の通り。

テキスト検索 / 画像検索の切り替え

検索バーの上にあるトグルで、テキスト検索と画像検索を切り替えることができる。
テキスト検索では自然言語でクエリを入力し、意味的に関連する画像やドキュメントを検索する。
画像検索ではアップロードした画像に類似した画像やドキュメントを検索する。

ファイルタイプフィルター

検索対象を「テキスト」「画像」「PDF」から選択できる。複数選択可能。
PDFを選択すると、アップロードしたPDFから抽出されたページ画像が検索対象になる。

クリップボード検索

画像検索画面でCtrl+V(MacはCmd+V)を押すと、クリップボードの画像で検索できるモーダルが開く。
スクリーンショットを撮ってすぐに類似画像を検索したい場合に便利。

:::alert
UX的にイマイチなのだが、クリックしてから再度Ctrl+Vしないと画像が添付できないようになっている。
セキュリティ的な理由で、httpアクセスの場合はこのような仕様となってしまうらしい。
:::

検索結果

検索結果はグリッド形式で表示され、各結果には類似度スコアが表示される。
クリックするとプレビューモーダルが開き、詳細を確認できる。

ライブラリ画面(ファイル管理)

サイドバーの「ライブラリ」をクリックすると、ファイル管理画面に移動する。

ドラッグ&ドロップアップロード

画面上部のアップロードエリアにファイルをドラッグ&ドロップすることで、複数ファイルを一括アップロードできる。
対応形式は画像(JPEG, PNG, GIF, WebP)、PDF、テキストファイル(TXT, Markdown)。

クリップボードアップロード

ライブラリ画面でCtrl+Vを押すと、クリップボードの画像をアップロードできるモーダルが開く。

PDFの自動ページ分割

PDFをアップロードすると、自動的に各ページが画像として抽出される。
これにより、PDFの特定のページを画像検索で見つけることができる。

ファイル一覧

アップロード済みのファイルが一覧表示される。
複数選択して一括削除することも可能。

コレクション画面

サイドバーの「コレクション」をクリックすると、コレクション管理画面に移動する。

コレクションはファイルをグループ化するための機能。
プロジェクトごとやカテゴリごとにファイルを整理でき、検索時にコレクションでフィルタリングすることもできる。


何の役に立つのか?

ところで、このシステムが何の役に立つのか?

ローカルでのマルチモーダル検索

まず、ローカル環境で完結するマルチモーダル検索システムを構築できる。
クラウドサービスにファイルをアップロードする必要がないため、機密性の高いドキュメントや画像を安心して検索対象にできる。

テキストでドキュメントを探す

テキストからドキュメントを探す通常の検索も可能。

画像で類似画像を探す

「この画像に似た画像を探したい」という場面で活躍する。
デザイン参考の収集や、重複画像の検出などに使える。

PDFの中身を検索

PDFをページ単位で画像化して検索対象にするため、「あのグラフが載っていたスライドはどれだっけ?」といった検索が可能になる。

まとめ

今回はQwen3-VL-EmbeddingをベースにしたマルチモーダルローカルAI検索システムを紹介し、導入方法・使い方を簡単にまとめました。

比較的高精度にローカル画像検索ができるようになったのはありがたいです。

APIとしても使えるので、画像検索RAGやAIエージェントとの親和性もあります。ぜひ色々と活用してもらえればと思います。

最後に、改めて素晴らしいモデルを公開いただいたQwenチームに感謝申し上げます!

Discussion