RankNetについて

RankNet^[1]の論文の大雑把な解説。

この論文の骨子は、以下の2点である。

1. あるドキュメント集合のランキングをモデリングする場合、ドキュメント集合の全ての可能な順列をモデリングする必要はなく、任意の2つのドキュメントのペアi, jについて、「ドキュメントiがドキュメントjよりも高位に提示される確率P_{ij}」をモデリングすれば十分である。
2. ドキュメントiに固有な価値o_iが決まっているとすると、P_{ij}は任意のドキュメントのペアi, jの相対的な価値の差o_{ij} = o_i - o_jのみによって決まると仮定する。ドキュメントの価値o_iは、ベクトル化されたドキュメントの特徴x_iの関数f(x_i): \mathbb{R}^d \rightarrow \mathbb{R}で表され、この関数fをニューラルネットワークによる関数近似によってモデル化する。

o_{ij}からP_{ij}へのマッピングはシグモイド関数によりマッピングする。

目的関数としてモデルの予測値P_{ij}と真の値\bar{P}_{ij}とのクロスエントロピーを用い、確率的勾配法を用いて最適化する。