Florence-2をHugging Face上で触ってみる

参考記事

https://arxiv.org/abs/2311.06242?ref=blog.roboflow.com

https://weel.co.jp/media/news/1678/

Florence-2とは？

Florence-2は、MicrosoftがMITライセンスの下でオープンソース化した軽量なvision-languageモデルです。このモデルは、captioning、object detection、grounding、およびsegmentationなどのタスクにおいて、強力なzero-shotおよびfine-tuningの能力を示しています。

手順

1. 以下のURLを開く

https://huggingface.co/spaces/gokaygokay/Florence-2

2. サンプルの画像で物体検知してみる
   

3. Submit をクリックする
   

4. 結果を確認する
   

あ、ちゃんとできてる。車の後ろのドアの検知はできていない

5. サンプル画像でOCRをする
   

6. Submit をクリックする
   

7. 結果を確認
   

特に問題ない

8. 以下の画像で物体検知をしてみる
   ※Yolo-worldでは、Kiwi fruitは検知できなかった

https://zenn.dev/headwaters/articles/6b44458832d6c3

9. 結果を確認

Kiwi fruitは検知できなかった(´；ω；`)

10. 以下の画像で物体検知してみる
    ※ベトナムの帰宅ラッシュ時の写真
    
11. 結果を確認
    

( ´∀｀ )

まとめ

ゼロショットで物体検知やOCRができるのがやっぱりすごいなと思いました。
また、7.7Bと小型なのでJetsonなどのEdgeでも動かせるだろうなと。
今度は、Fine-tuingにも挑戦しようかなと思います。