Top-k recommendationの指標について調査
nkOn Sampling Top-K Recommendation Evaluationという論文を見つけた
nkglobal top-𝐾 Hit-Ratioという指標（とその拡張）に対して、samplingした場合どのように結果が変化するか調査した論文？
nkabstractにRecently, Rendle has warned that the use of sampling-based top-k metrics might not suffice.とあるのでサンプリングすることがマイナスに働くことを危惧した上での調査っぽい
nkデータ数が巨大でない場合、サンプリングする必要はないように思われる。（サンプリングすることに懸念も示されているし）
global top-𝐾 Hit-Ratioを提案している論文の被引用数は1668(Google Scholar調べ)と非常に多いため、取り合えずそちらを参考にしてみる。
nkTwitterでよく使われる指標として挙げられているものがあり、リプライの中でライブラリ群も挙げられていた。
論文などから調べていくと全体像を掴むまで時間がかかりがちなのでライブラリの方から調べていく。
nkライブラリによって実装が異なることが懸念されているという話なのでそこは気に留めておく。
nkライブラリから調べようかと思ったが、ライブラリの差異を懸念した論文であれば指標について概観できそうなのでそちらは少し読んでみる。
nkPrecision, NDCG using binary relevance, HitRate, MRR being limited by 1などは広くコンセンサスが得られているみたいだが、その他は論文中で定義が不明瞭であったりなどして実装もバラけているみたい。
RecSysで指標を標準化した方がよいと述べている。
nkRecSysという推薦システムのカンファレンスがあるみたい。
推薦システム関連で調べたいことがあればここから探るのも良さそう。
nkよく考えたらコンセンサスが得られていない指標でもそのドメインで妥当で説明ができるなら問題ないし、実装した指標の定義が書いてあるライブラリを適当に選定する。
nk人気のないライブラリは実装ミスが見落とされてそうなのでできるだけ人気のあるやつ。
nk上の論文でGithubのリンクが紹介されていたライブラリ
nkmicrosoft/recommendersはそもそも推薦システム自体を組めるライブラリみたい。
指標だけ利用するのが面倒だったり、評価したいだけなのにライブラリが無駄に巨大になりそう。
nkhuggingface Evaluate top-kで検索しても、ハズレっぽい検索結果が出てくる。
そもそも推薦システムを作るためのツールセットはあっても、top-kの指標群という括りはナンセンスかもしれない。（専門のカンファレンスでも指標が標準化されてないくらいだし）
使いたい指標を選定して、それを実装したライブラリを探す方が良いかも。
nk割と隆盛してそうな分野なのにそんなことになるだろうか。
一般的な呼び方とか存在しているのを知らないだけかもしれない。
nkhit rateなどいくつかの指標の実装記事が出てきた。
nkQuality Metrics in Recommender Systems: Do We Calculate Metrics Consistently?でgithubのリンクが紹介されていないものも調べたらリポジトリが出てきた。
nk今回行いたいタスクがTop-k recommendationで一般的に行われているタスクとはズレていたので調査を終了。