csvからsquad 2.0形式への変換プログラムの逆変換の実装について考えてみる

これに逆変換を機能を追加できないか考えてみる。-rオプションとかで良いかな。
https://github.com/nnabeyang/csv2squad2

順方向の変換の使い方について
https://zenn.dev/link/comments/e943fdb2b5d4d6

今回はここのDev Set(v2.0)を変換と逆変換できることを目標にする。

https://rajpurkar.github.io/SQuAD-explorer/

前回は運転ドメインQAデータセットで変換を確認していた。このデータはis_impossibleがfalseなものしかなかった。
https://nlp.ist.i.kyoto-u.ac.jp/?Driving+domain+QA+datasets

本家のほうはis_impossibleがtrueの場合、answersが空配列で、plausible_answersがそのときのみ出てくる。今回はこれも考慮して、逆変換まで作る。

Dev Setの中を見るとところどころ35\\u00b0 48\\u2032 27\\u2033みたいになってる。Pythonでは、どちらでも良さそうだけれども、これも再現させる。面倒なのはWhat lies at 37\\u00b0 8' 59.23みたいな、中途半端なのが混ざってる。

とりあえず、Dev Setは変換できそうなのが出来た。
https://github.com/nnabeyang/csv2squad2/releases

JSONの比較はjqコマンドを使う

brew install jq

比較方法

diff -u <(jq -S . a.json) <(jq -S . b.json)

色々直して、Dev Set(v2.0)については一致

https://github.com/nnabeyang/csv2squad2/releases/tag/0.0.2

動作確認。これで差分がでなければOKということで。

$ curl -OL https://rajpurkar.github.io/SQuAD-explorer/dataset/dev-v2.0.json
$ csv2squad2 -r -i dev-v2.0.json
$ csv2squad2 -i out.csv
$ diff -u <(jq -S . dev-v2.0.json) <(jq -S . out.json)