Zenn
🗂

日本語対応したtext-bisonモデルにコールセンターのサポートをさせてみた

2023/08/28に公開
AI
Google Cloud
Google Cloud
Vertex AI
Generative AI
tech

はじめに

こんにちは！クラウドエース データML ディビジョン所属のディエゴです。
今回はtext-bison が日本語対応したので使用してみました！

Generative AI Studio とは

Generative AI Studio は、Google Cloud Console上でGoogle が開発した以下のモデルを元に、プロンプトの作成、テスト、生成AIモデルのファインチューニング、デプロイができるサービスです

  • PaLM 2（テキスト生成モデル）
  • Codey（コード生成モデル）
  • Imagen（画像モデル）
  • Chirp（音声認識モデル）

text-bison 日本語版とは

text-bison は、Vertex AI が提供するモデルの一つです。
Googleが開発した大規模なプレトレーニング言語モデル（LLM）であるPaLM 2 のBison モデルを言語タスク向けに最適化したモデルとなっています。
分類・感情分析・名前、場所、時間などの抽出・質問回答・文章要約・文章生成といった様々な言語タスクに適しています。

現在基礎モデルは以下の言語に対応しています。

  • 英語
  • スペイン語
  • 韓国語
  • ヒンディー語
  • 中国語
  • 日本語(new)

text-bisonを利用してみる

今回はGenerative AI Studio に用意してある、text-bison モデルを使用します。
実施内容は、コールセンターでの会話から質問の要約とオペレーターが次に行う対応を生成したいと思います。

  1. まず初めに、Google Cloud Console からVertex AI の Generative AI Studio に移動し、言語ページの+テキストプロンプトを選択します。
    1

  2. Prompt 画面が表示されるので以下のPrompt を入力します。
    Promptの内容は、1行目に想定する出力を記載し、それ以降にコールセンターでの会話を取り込ませています。
    1

Prompt_1
以下の文からお客様の希望と、オペレーターが次に行うべきことを出力してください

お客さま：携帯の機種変更をしたいのですが、こちらの窓口で間違いないでしょうか？
オペレーター：はい、間違いないです。どの機種に変更をご希望ですか？
お客さま：現在携帯Aの古い機種を使っているので、最新のものに変更したいです。
オペレーター：了解しました。最新機種をご用意いたします。
お客さま：ありがとうございます。料金プランも変更したいのですが、おすすめのプランはありますか？
オペレーター：現在機種変更に伴う、キャンペーン中のプランがございます。
お客さま：そのキャンペーンに変更お願いします。
オペレーター：お見積もりを作成するので、少々お待ちください。
お客さま：それと、新しい機種が来たら古い機種はどうすればいいですか？
オペレーター：古い機種については、当店で引き取りを行っております。また、リサイクルに出すことも可能です。
お客さま：そうなんですね、それなら古い機種はそちらで引き取ってもらいます。
オペレーター：了解しました。それでは、新しい機種の手続きと古い機種の引き取りを進めてまいります。
  1. 送信をクリックするとResponse が生成されます
    今回パラメータについては、デフォルトの状態で行いました。
    1
Response_1
お客様の希望：
- 携帯の機種変更
- 料金プランの変更
- 古い機種の引き取り

オペレーターの次に行うべきこと：
- 最新機種をご用意する
- お見積もりを作成する
- 古い機種の引き取りの手続きをする
  1. 今回は以下の項目で、Response の評価を行いたいと思います。

  • 3つの希望全て出力されているか

    • 機種変更をしたい
    • 料金プランの変更したい
    • 古い機種の引き取りをしてほしい

  • ３つの希望に対する対応が出力されているか

    • 最新の機種に変更する手続きをする
    • キャンペーン中のプランの見積もりを作成する
    • 古い機種の引き取りの手続きをする

  • 無駄な文の出力はないか

    • プロンプトの最初に記載されている機種変更窓口の確認は、お客様の希望ではないと認識しているか。

Response との比較

評価項目 評価
3つの希望全て出力されているか ○
3つの質問の対応の出力があるか ○
無駄な文の出力はないか ○

評価を行なった結果、Response は期待通りの出力をしていました。
ただ単純に全ての質問文をお客様の希望と出力するのではなく、プロンプトに従い意味を理解して出力されている点がよかったです。

まとめ

今回は日本語対応したtext-bison にコールセンターのサポートを行えるか試してみました。
会話文からお客様のご希望を抽出し次の対応を出力する分には問題なかったので、１次応答者から対応者までの引き継ぎがスムーズにできると感じました。
またコールセンターに限らず、医者と患者の会話から要点をまとめるなど幅広い分野に対応できそうです。

Discussion