Chapter 21

会話を分析して効果測定を行う

maKunugi
maKunugi
2021.12.07に更新

このチャプターのゴール

  • エージェントが行う会話の分析ができること
  • Googleアナリティクスを利用して会話の分析ができること

エージェントの会話を分析する

大半のエージェントには目的や用途があり、その効果測定を行うことは非常に重要です。「ユーザが想定通りの問いかけをエージェントにしているか」や「ユーザがどのような回答をしているか」等を正しく分析し、サービスの改善等に繋げてこそ初めて、エージェントが役割を果たせたと言えます。このチャプターでは、エージェントの会話を分析し、サービス改善に繋げていくための方法について紹介をします。

meboの分析画面を利用する

左のメニューからmeboの分析画面を開いてみましょう。

https://mebo-admin.work/admin/analytics

分析画面では下記の項目について確認をすることができます。

  • 日別の会話回数
  • 週別の会話回数
  • 日別のユーザ数
  • 週別のユーザ数
  • 直近1週間の頻出発話
  • 利用プラットフォーム

日別の会話回数

日ごとに何回エージェントが応答をしたかが表示されます。

週別の会話回数

週ごとに何回エージェントが応答をしたかが表示されます。

日別のユーザ数

日ごとに何人のユーザがエージェント会話を行ったかが表示されます。

週別のユーザ数

週ごとに何人のユーザがエージェント会話を行ったかが表示されます。

直近1週間の頻出発話

直近1ヶ月でよく話しかけられた言葉を確認できます。

🟢 のマークがついている項目は、登録した会話コンテンツで応答ができている発話です。
🔴 のマークがついている項目は、登録した会話コンテンツでは応答ができなかった発話です。

会話コンテンツを拡充する際の参考にしましょう。

利用プラットフォーム

エージェントが会話を行っているプラットフォームの割合が表示されます。

Google Analyticsを利用して分析する

meboではGoogle Analyticsに会話のログを送信することができます。Google Analyticsを利用することで、エージェントの会話の高度な分析を行うことができます。

Google Analyticsの準備

まずはGoogleアナリティクスでアカウントを作成します。

https://analytics.google.com/

次にmeboのエージェントと接続するプロパティを作成します。

「詳細オプションを表示」をクリックして、「ユニバーサルアナリティクスプロパティの作成」をオンにします。

プロパティが作成できたら、プロパティの「トラッキングID」をコピーします。

トラッキングIDはUAから始まる文字列です。UA-xxxxxxxx-xx

トラッキングIDをmeboに登録

meboの公開設定画面に遷移します。公開設定画面には下記のような、トラッキングIDを登録する箇所があります。

トラッキングIDを入力したら、「最新の状態を更新」をクリックして登録は完了です。

Google Analyticsでログを確認する

公開済みのエージェントと会話をしながら、作成したプロパティのレポートを確認してみましょう。会話を始めると、リアルタイムレポートのユーザ数が加算されればmeboと接続ができている状態です。

送信されるログの種類

Google Analyticsに送信されるログを確認しましょう。

イベントカテゴリ

Google アナリティクスに送信されるイベントカテゴリは下記の通りです。

  • chat
  • scenario

Google Analyticsの「行動」->「イベント」のページを眺めながら1つずつ詳しく見ていきましょう。

1. chat

シナリオを除く会話をした時に発火するイベントカテゴリです。このイベントカテゴリに含まれるイベントアクションは下記の5種類です。

send_utterance

ユーザがエージェントに対して発話を行なった場合に発火します。イベントラベルには発話した文字列が格納されます。

start_session

会話の開始時に発火します。タイミングはWebのチャット画面起動時です。

get_registered_utterance

ユーザに対してエージェントが、登録された会話コンテンツ内から応答を返した場合に発火します。イベントラベルにはエージェントが応答した発話の文字列が格納されます。

get_unknown_utterance

ユーザに対してエージェントが、登録された会話コンテンツ内から応答を返せなかった場合に発火します。イベントラベルにはエージェントが応答した発話の文字列が格納されます。

get_auto_response_utterance

ユーザに対してエージェントが、AIによる自動応答で応答を返した場合に発火します。イベントラベルにはエージェントが応答した発話の文字列が格納されます。

2. scenario

シナリオ会話を行った時に発火するイベントカテゴリです。このイベントカテゴリは下記の2種類のイベントアクションがあります。

reach_scenario

あるシナリオのトリガーの条件にマッチし、シナリオが呼び出された時に発火します。イベントラベルにはシナリオの名前が格納されます。

reach_scenario_node

あるシナリオに含まれるノードが呼び出された時に発火するイベントカテゴリです。イベントラベルにはノードの名前が格納されます。「reach_scenario」と合わせることにより、シナリオ会話がどれくらい利用されているか、シナリオ会話のどのノードまでユーザ到達しているかなどを調べることができます。

stateイベント

「chat」と「scenario」の両方のイベントカテゴリで発火する可能性があるイベントアクションが「state」のイベントです。ユーザのステートに変化があると、set_state_<ステート名>というイベントアクションが発火します。イベントラベルにはステートに追加された文字列が格納されます。

クライアントID

Google Analyticsの「ユーザー」->「ユーザーエクスポローラー」から、利用ユーザの一覧やセッション数、平均セッション数などが確認できます。ユーザはクライアントIDが割り当てられており、これはmebo上における「ユーザ一覧」に表示されるIDと同じものです。

コンバージョンを設定する

上記の送信されるイベントが確認できたら、コンバージョンの設定をしましょう。アナリティクスの管理画面のビューにある「目標」をクリックします。

目標の名前を入力し、「タイプ」に「イベント」を指定します。

上述のイベントの種類を参考にカテゴリ、アクション、ラベルを設定しましょう。

コンバージョンの設定の例としては、下記のような内容があります。

  • 特定の発話がされる
    • カテゴリ: chat
    • アクション: get_registered_utterance
    • ラベル: 発話文字列
  • 特定のシナリオが発火する
    • カテゴリ: scenario
    • アクション: reach_scenario
    • ラベル: シナリオ名
  • 特定のノードが発火する
    • カテゴリ: scenario
    • アクション: reach_scenaio_node
    • ラベル: ノード名
  • 特定のステートがセットする
    • カテゴリ: scenario or chat
    • アクション: set_state_<ステート名>

コンバージョンをセットしたら、ログが集まるのを待ちましょう。コンバージョンイベントが発生すると、下記のイメージのようにコンバージョン率が追えるようになります。

エージェントの目的や用途にあったコンバージョンを設定し、効果的にエージェントが会話をできているかを確認しながら、エージェントをブラッシュアップしていきましょう。