検索システム - 02.評価指標

評価指標

システム評価指標

適合率(Precision)

適合率は、クエリや画像などの検索要求から検索結果を返すとき、検索結果のアイテムのうち、検索要求に合致するアイテムの割合を指します。

• $M$ : 検索結果のうち、検索要求$q$に合致するアイテムの集合
• $S$ : 検索要求$q$に対する検索結果の集合

$$P = \frac { \left| S \cap M \right| }{ \left| S \right| }$$

再現率(Recall)

再現率は、検索要求$q$に合致するアイテムのうち、検索結果に含まれている割合を指します。

• $M$ : インデックスされているアイテムのうち、検索要求$q$に合致するアイテムの集合
• $S$ : 検索要求$q$に対する検索結果の集合

$$R = \frac { \left| S \cap M \right| }{ \left| M \right| }$$

F値

適合率と再現率の調和平均

$$\begin{aligned} F & = \frac { 2 }{ \frac {1}{\mathrm {P}} + \frac {1}{\mathrm {R}} } \\ & = \frac { 2 \cdot \mathrm {P} \cdot \mathrm {R} }{ \mathrm {P} + \mathrm {R} } \end{aligned}$$

AP(Average Precision ; AP)

適合率の平均

• $R_{q}$ : クエリ$q$の適合アイテムの個数
• $P_{qk}$ : $k$番目の適合アイテム以内での適合率

$$\mathrm {AP} = \frac {1}{R_{q}} \sum _{k=1}^{R_{q}}{ P_{qk} }$$

例

通常は$n$件以内の検索結果に対して、APを計算する。この時の$\mathrm {AP}$を$\mathrm {AP}@n$と表記する。$n$件以降に出現する適合アイテムの$P_{qk}$は$0$として計算されます。

• 「平均適合率」と「MAP」の意味 | データサイエンス情報局
• MAP（Mean Average Precision）という指標の意味 - 具体例で学ぶ数学

MAP(Mean Average Precision)

上記のAP指標は、単一の検索要求に対する平均適合率です。サービス全体の検索要求に拡張します。

• $Q$ : クエリの数

$$\begin{aligned} \mathrm {MAP} & = \frac {1}{Q} \sum _{q=1}^{Q}{ \mathrm {AP}_{q} } \\ & = \frac {1}{Q} \sum _{q=1}^{Q}{ \left\{ \frac {1}{R_{q}} \sum _{k=1}^{R_{q}}{ P_{qk} } \right\} } \end{aligned}$$

DCG(Discounted Cumulative Gain)

WIP

NDCG(Normalized Discounted Cumulative Gain)

WIP

---

サービス指標

• $\mathrm {CVR}$
• $\mathrm {CTR}$
• 詳細ページの滞在時間
• クエリ修正率
• ページング率
• リテンション率
• 検索レスポンス時間

---

QA

• 集合$M$をどう設定する？ → 検索結果のアイテムに対して、ユーザーがアクション(クリック、注文、お気に入り)したアイテムを集合$M$とする？