＃27:冷蔵庫の中身からレシピを提案するツールを作ってみた

はじめに

このブログでは、生成AIだけで開発をして、何ができて、何ができないのか？ を考えるチャレンジをしています。
今回は第27回です。
GeminiがGoogle検索におけるAIモードを発表しましたね。
https://blog.google/intl/ja-jp/products/explore-get-answers/ai-mode-search/
徐々にGeminiが生成AI界隈で大きな存在感を示してきていますね。
ということで、今回は、Geminiを使って、検索という文脈で何かをしてみたいなーと思いました。
そして、今夜のご飯は何にしようとちょうど検索をしようとしていたので、今夜のご飯のレシピをGeminiに考えてもらいましょう！
ではやってみます！

成果物

今回の成果物は以下のようなものです。

1. 冷蔵庫の中を撮影 or 写真をアップロード
2. 条件（調理時間やアレルギーなど）を設定し、レシピ検索
3. 検索条件をもとに、レシピを表示

以下が動画です！
https://youtu.be/Zt6hF2c6hUc

以下のような画面を元に、冷蔵庫の中を写真に撮ったり、写真をアップロードして、その中の食材からメニューを考えてもらいます。

条件設定として、

1. 時間やヘルシーなものなど自然言語で指定できる
2. アレルギーなど不要な食材を除ける
   という設定もできるようにしています。

今回は以下のような画像を元にしています。

そして、表示された結果がこちら。

無事、写っていた人参、玉ねぎ、じゃがいもを使ったメニューを提案してくれました！（ディルはちょっと家にはありませんが）

今回の学び　生成AI → API → 生成AIによる適切な検索

今回は、

1. 画像をGemini Visionに連携し、写っている食材を抽出した上で、MealDB APIに連携
2. 出力されたレシピを取得（この時点では英語）し、Geminiが条件から出力レシピにおける適切なレシピを3件選択
3. 選択したレシピの英語をGeminiで日本語に直す
   ということをしています。
   　MealDB APIはレシピ検索につかえるAPIです。
   　ですが、条件設定が細かく行えません。
   そこで、APIで検索をして出力された複数の　選択肢から、Gemini側で必要なものを抽出するということをしています。

これにより、自然言語的な判断や条件をうまく使った検索結果を見ることができます。

終わりに

いかがでしたか？
Geminiによる単純検索ではAPIがやっているような専門的な検索はできないし
APIだけでは細かい条件指定がしきれない
そんなとき、APIと生成AIを組み合わせて、より専門的なツールを、今回はレシピツールという形で作ってみました。
　こうした組み合わせを、MCPやエージェントと組み合わせて広げていくと、無限の可能性がありそうですよね。
　今後もこのようなAIで作ったツールをどんどん作ってご紹介していきますので、ぜひご覧ください。