🎤

【VibeCodingChallenge#20】AI面接シュミレーション

に公開

はじめに

このVibeCodlngChallengeでは、 AIを使って、AIだけでコーディングをすることで、AIに何ができて、何ができないのか? を体感する個人的な企画です。

さて、今回は、生成AIを使って「面接官っぽいやり取り」をシミュレーションできない かを試してみました。

例えば、ローソンでは、AI面接を明示的に採用することが提示されていたり、発展している分野でもありますよね。
https://dot.asahi.com/articles/-/238409?page=1

今回は、企業研究や履歴書の要約をAIに任せて、その結果をもとに質問を投げてもらう流れをイメージして、進めていくことにします!

最終成果物

最終的には以下のようなステップになりました。(音声認識もいれているので、動画には音があります)
https://youtu.be/mBlvVT3LZ4U

  1. 検索エンジン→Gemini
    会社名を入力すると、検索エンジンで情報を取得。その検索結果をGeminiに渡して、企業の特徴や求める人材像を要約してもらう。この際、参照先のアドレスなども表示。

  2. 履歴書アップロード→Gemini
    PDFやWord形式の職務経歴書をアップロード。Geminiが中身を読み取り、スキルや経験を整理。

    今回実際に読み取った、経歴書は以下のようなものです

  3. Geminiによる面接シミュレーション
    企業側の要件と応募者の経歴を照らし合わせながら、Geminiが面接質問を生成。回答はテキストでも音声でも入力できる。音声では誤認識あった場合に、補正できるようなポップアップも表示。
     

  4. 結果の提示
    一連のやり取りを踏まえて、「この人は会社に合っているか/合っていないか」といったポイントをまとめて表示。

今回の学び

CSE(Custom Search Engine)の利用について

  • Google Custom Search Engine を使うと、特定のサイトに限定して検索できる。
  • 公式サイトや採用ページだけに絞ることで、信頼性の高い情報を Gemini に渡せる。
  • 参照先もレスポンスに明示的に表示できるので、取得が簡単。

Gemini の検索グラウンディングについて

  • Gemini自体で検索をさせると、最新情報を自動で引っ張ってきてくれる。
  • 出典URLを提示してくれるため、ある程度根拠付きで回答を得られるのが便利。
  • ただし細かい制御(どのサイトだけを見せるか)は難しい

結果、CSEをGeminiと併用するのが良さそうという結論から、一度Geminiに検索結果を渡してから、処理をするというやり方に行きつきました。
これにより、参照サイトも正しく、安定して企業分析ができるようになったように思います。

まとめ

結果的に、

  • 検索エンジン+Geminiによる企業情報要約
  • 履歴書の読み取りと要約
  • それらをもとにした面接シミュレーション
    といった流れをひと通り形にすることができました。

まだ粗削りですが、いい感じのものになったと思います。より、インプットを検索ではなく、自社だけに絞るなどできると、もっと良いのかもしれません。
今後は質問設計の工夫や情報ソースの精度向上で、より実用的なアプリに育てられそうですので、もう少し研究したい分野ですね。

このVibeCodingChallengeでは、今後もAIだけでVibeCodingをしていき、出来たものをお見せするので、ぜひ読み物としてお楽しみください!

Accenture Japan (有志)

Discussion