この文書について

• 目的: 文書検索タスクに対する日本語データセットの情報を収集したい
  • この文書における文書検索タスクとは，一般的なアドホック文書検索タスクのこと
  • つまり，テキストのクエリを入力として，文書集合を対象として検索を行い，適合文書が上位くるようなランキングを出力する
  • ただし「文書検索」の範囲は広め
    • キーワードクエリに限定せず，たとえば，類似文書検索などのタスクも含む
• もし誤りを見つけたり，「こんなのもあるよ！」というのをご存知でしたら @nak_6 までご一報いただけると嬉しいです

容易に利用可能なデータセット

• 申請書などの手続きが不要なデータセット

利用可能なデータセット

• Amazon 商品検索データセット
  • URL: https://github.com/amazon-science/esci-data
    • https://amazonkddcup.github.io/
    • https://www.aicrowd.com/challenges/esci-challenge-for-improving-product-search
    • これにカテゴリなどの追加して様々な情報を付与したデータセット: https://github.com/shuttie/esci-s
  • 参考: https://zenn.dev/rejasupotaro/articles/321b62c83a5d66
• AI 王クイズデータセット
  • URL: https://sites.google.com/view/project-aio/dataset
  • クエリ: クイズの問題文
    • クイズ作家，もしくはクイズ経験者が人手で作成
  • 文書: タイトル+Wikipedia のパッセージ
    • 段落で分割
    • クイズの答えを含むパッセージを適合パッセージとする
• Mr. TyDi
  • URL: https://github.com/castorini/mr.tydi
    • https://huggingface.co/datasets/castorini/mr-tydi
  • 多言語質問応答データセットである TyDi QA データセットをもとに作成された
  • 日本語を含む
• XOR-TyDi QA
  • URL: https://github.com/AkariAsai/XORQA
  • Mr. TyDi と同様に TyDi QA データセットをもとに作成された
• WikiCLIR
  • URL: https://www.cs.jhu.edu/~kevinduh/a/wikiclir2018/
  • Wikipedia を対象とした検索データセット
• LocalgovFAQ
  • URL: https://nlp.ist.i.kyoto-u.ac.jp/index.php?BERT-Based_FAQ_Retrieval
  • FAQ 検索
• Japanese FAQ dataset for e-learning system
  • URL: https://doi.org/10.5281/zenodo.2783642
  • FAQ 検索
• Wikimarks
  • URL: https://trema-unh.github.io/wikimarks/
  • Wikipedia から自動生成された多言語検索データセット
    • 日本語を含む
• Japanese FAQ dataset for e-learning system
  • URL: https://zenodo.org/record/2783642#.ZKGKJezP1qs
  • FAQ 検索
• (mMARCO)
  • URL: https://github.com/unicamp-dl/mMARCO
  • (日本語は Mr. TyDi の転用っぽいので省略)
• (MIRACL)
  • URL: https://project-miracl.github.io/
  • (日本語は Mr. TyDi の転用っぽいので省略)

文書検索に転用できそうなデータセット

• JSQuAD
  • URL: https://github.com/yahoojapan/JGLUE
  • 日本語言語理解データセット JGLUE の一部として作成された質問応答データセット
• NTCIR-15 DataSearch / NTCIR-16 DataSearch 2
  • URL: https://ntcir.datasearch.jp/
  • クエリに対して統計データ（Excel や CSV など）を検索するデータセット
    • 日本語のクエリと e-Stat の統計データ（PDF/Excel/CSV）とそのメタデータが公開されている
    • 統計データをすべてテキストに変換すれば文書検索データセットとして転用可能
• トレンドクエリデータセット
  • URL: https://doi.org/10.5281/zenodo.45056
    • 論文: https://www.jstage.jst.go.jp/article/tjsai/30/1/30_30_161/_article/-char/ja/
  • Google トレンドなどから収集されたクエリ（トレンドクエリ）のデータセット
  • 適合性判定は存在しないが，弱教師あり学習などで転用可能

申請等が必要なデータセット

• NTCIR 系全般
  • NTCIR-1 / NTCIR-2
    • 論文検索データセット
  • NTCIR-3/4/5/6/7/8 CLIR
    • ニュース（新聞）検索
  • NTCIR-3/4/5/6 PATENT
    • 特許検索
  • NTCIR-3/4/5/6 QA
    • 質問応答
  • NTCIR-3/4/5 WEB
    • Web 検索
  • (その他にもあると思うが一旦ここまで)
• 言論マップコーパス
  • URL: http://www.cl.ecei.tohoku.ac.jp/Open_Resources-Statement_Map_Corpus.html

過去に入手可能だったが現在は入手不可なもの

• NTCIR-13 OpenLiveQ-1 / NTCIR-14 OpenLiveQ-2
  • URL: http://www.openliveq.net
  • コミュニティQA（Yahoo! 知恵袋）における質問検索

• 参考文献
  • https://jedworkshop.github.io/jed2022/materials/jed2022_a-3_田保.pdf
    • https://docs.google.com/spreadsheets/d/1uwuqM4i4-4UO-RxSeN1twwTaDwq8KaMB/edit?usp=sharing&ouid=108059630508223030297&rtpof=true&sd=true
• 謝辞
  • Wikimarks データセットは筑波大の加藤先生に教えていただきました．ありがとうございます．
• 用語について
  • 検索: アドホック検索のこと
    • つまりクエリが与えられて，そのクエリに基づいて検索対象のアイテムを探す
  • クエリ: キーワードや（質問）文などのテキストからなる単語列
    • SQL などは対象外
  • 文書: 検索対象のアイテム全般ののことを指す
  • 文書検索は以下の用語でも呼ばれる
    • 全文検索: grep などの逐次検索との比較でこう呼ばれることが多い印象
    • 文章検索: たまに見かけるが，専門用語として定着している用語ではない