SmolVLMの概要と特徴

はじめに

日本語訳がなかったのでメモします。

概要

SmolVLMは、Hugging Faceが2024年11月26日に発表した小型の視覚言語モデルです。このモデルは、約20億パラメータを備え、メモリ効率に優れ、高速な推論が可能なオープンソースとして提供されています。SmolVLMは、画像とテキストの任意の組み合わせを入力として受け取り、テキストを生成する機能を持つことが大きな特徴です。

特徴

1. 小型なモデル

SmolVLMは約20億パラメータという小型モデルであり、常規の大規模モデルと比較して計算負荷が小さく、より平易に使用できます。

2. メモリ効率と推論速度

メモリの使用量が小さく、推論が非常に高速です。例えば、Qwen2-VLと比較した場合、SmolVLMは7.5倍から17倍のトークン生成速度を達成しています。

3. オープンソースとライセンス

Apache 2.0ライセンスの下で提供されており、商業利用やローカル環境へのデプロイが可能です。

4. デバイス適応性

常規のラップトップやエッジデバイスでも効率的に動作します。たとえば、MacBook上で毎秒17トークンの生成が可能です。

5. SmolVLMファミリー

SmolVLMには、次の3つのモデルバリエーションがあります。

• SmolVLM-Base: ベースモデル。下流タスクに対するファインチューニング用。
• SmolVLM-Synthetic: 合成データでファインチューニングされたバリエーション。
• SmolVLM-Instruct: 指示応答型のモデル。インタラクティブなアプリケーション向けに調整されています。

実用例

• 画像に関する質問の回答
• 視覚コンテンツの説明
• 複数の画像を基にした物語の作成
• 視覚入力なしでの言語モデルとしての機能

使用リソース

• デモ: SmolVLMデモ
• ファインチューニングレシピ: GitHubリポジトリ
• ブログ記事: SmolVLMブログ