🔖

検索システム - 02.評価指標

2021/08/26に公開

評価指標

適合率は、クエリや画像などの検索要求から検索結果を返すとき、検索結果のアイテムのうち、検索要求に合致するアイテムの割合を指します。

P = \frac { \left| S \cap M \right| }{ \left| S \right| }

再現率は、検索要求 $q$ に合致するアイテムのうち、検索結果に含まれている割合を指します。

R = \frac { \left| S \cap M \right| }{ \left| M \right| }

適合率と再現率の調和平均

\begin{aligned} F & = \frac { 2 }{ \frac {1}{\mathrm {P}} + \frac {1}{\mathrm {R}} } \\ & = \frac { 2 \cdot \mathrm {P} \cdot \mathrm {R} }{ \mathrm {P} + \mathrm {R} } \end{aligned}

適合率の平均

\mathrm {AP} = \frac {1}{R_{q}} \sum _{k=1}^{R_{q}}{ P_{qk} }

例

通常は $n$ 件以内の検索結果に対して、APを計算する。この時の $\mathrm {AP}$ を $\mathrm {AP}@n$ と表記する。 $n$ 件以降に出現する適合アイテムの $P_{qk}$ は $0$ として計算されます。

上記のAP指標は、単一の検索要求に対する平均適合率です。サービス全体の検索要求に拡張します。

\begin{aligned} \mathrm {MAP} & = \frac {1}{Q} \sum _{q=1}^{Q}{ \mathrm {AP}_{q} } \\ & = \frac {1}{Q} \sum _{q=1}^{Q}{ \left\{ \frac {1}{R_{q}} \sum _{k=1}^{R_{q}}{ P_{qk} } \right\} } \end{aligned}

WIP

WIP