GPT-4oで小売店の欠品をチェック

2024/5/14にGPT-4oが登場し、日本語の認識精度がだいぶ上がっていたので、かねてから検証してみたかった「画像認識による、小売店の棚の状態確認」をサクッと試してみました。

今なら実用的な精度が出せるのではないか、という期待と共に。

画像から棚の確認

商品棚の全体像を見せて、商品一覧を確認

まずは、近所のスーパーの虫対策コーナーの棚画像を見せて、商品一覧を出してみてもらいました。

さすがにこれはきつかった模様。結果は、散々でした。

おそらく、画像からではなく、質問テキストに対して雰囲気で答えてます。

もう1枚、商品棚の全体像で確認

次は、別のスーパーのオリーブオイル棚。商品一覧を出してもらう。

結果は…

オリーブオイルの棚だという事は把握しているので、画像から判断しているようです。
ただ結構間違っているのと、棚の段数など分かりやすそうな要素も間違っているので、対象が遠すぎたり情報が多すぎるとテンパるのかもしれません。

棚に近づいてみる

今度は、棚にぐっと近づいた画像で再度、認識を試しました。

結果は…

商品と価格の精度は、ほぼ完ぺき。
ただ、数量は間違っているようです。※ちなみに、数量は指示していないのに出してくれました

商品から少しだけ離れる

少し離れます。

同様の結果。数量以外は ほぼ完ぺき。
このくらいの距離に近づいて撮影すれば、棚に何があるか程度の把握は出来そうです。

欠品していないか確認

さらに離れて、今度は欠品の有無を確認。

「存在しない商品」が欠品中であるとの回答がありました。
（319円と言えば左上の赤い商品ですが、5列みっちり補充されてます）

やはり、このサイズになると把握は厳しいようです。

近づいて再度、欠品を確認

もう少し近づきます。再度、欠品の確認。

惜しい！

確かにその商品も欠品してますが、もう1商品、欠品してます。
隣の列の商品を誤認識してしまっている可能性。
※ちなみに商品名、正しくは「オリーブEV紙パック」です

写真は変えずに確認してみる

試しに「もう1商品、欠品してるよ」とヒントを出したら、正しい回答を得られました。

正解！

結果

2～3商品になるまで商品に近づけば、そこそこ精度高く商品情報と欠品状態を把握できました。
※今回はサクッとなので、十分な枚数チェックできてませんが

考察・期待

欠品チェックは、隣の商品を誤検知しないように正面から撮影できれば精度があがりそうです。ただ、全商品を正面から撮影するのは難しいので、位置を横にズラしながら複数枚撮影すれば、ある程度高い精度で「欠品の有無」を確認できるかもしれません。

例えば、GithubでAPI仕様が公開されている 『カチャカ』 のようなロボットに、カメラ搭載して店内を移動しつつ棚画像を撮影しまくる事ができれば、OpenAI APIと組み合わせて、オートメーションで棚管理が出来るかもしれません。
※なんなら、GoogleのProject Astraと組み合わせれば「欠品してる商品あった？」みたいな感じで特別な実装なしで同様の事ができるかもしれませんね

さておき、実際問題としては、欠品周りはオペレーションの方がボトルネックだったり、検出の精度もまだまだ不十分だったりするかもしれません。とはいえ、ある種の「可能性が開かれた気配」を感じるので、ますます今後が楽しみです。