Open2

Kaggle API メモ

Kaggle
ちくわぶちくわぶ

データセットのアップロード

今、プロジェクトのルートから checkpoints ディレクトリをアップロードしたいとする。

  1. データセットディレクトリの初期化
kaggle init -p checkpoints

この結果、次のようなファイルが作成されているので、編集する。

{
  "title": "INSERT_TITLE_HERE",
  "id": "prgckwb/INSERT_SLUG_HERE",
  "licenses": [
    {
      "name": "CC0-1.0"
    }
  ]
}
  1. データセットのアップロード
    --dir-mode で tar: 非圧縮か zip: 圧縮か選べる。デフォルトでは Kaggle 上で private なデータセットになります。
kaggle datasets create -p checkpoints --dir-mode zip

kaggle datasets create におけるオプションは以下の通り

usage: kaggle datasets create [-h] [-p FOLDER] [-u] [-q] [-t] [-r {skip,zip,tar}]

options:
  -h, --help            show this help message and exit
  -p, --path FOLDER     Folder for upload, containing data files and a special datasets-metadata.json file (https://github.com/Kaggle/kaggle-api/wiki/Dataset-Metadata). Defaults to current working directory
  -u, --public          Create publicly (default is private)
  -q, --quiet           Suppress printing information about the upload/download progress
  -t, --keep-tabular    Do not convert tabular files to CSV (default is to convert)
  -r, --dir-mode {skip,zip,tar}
                        What to do with directories: "skip" - ignore; "zip" - compressed upload; "tar" - uncompressed upload
ちくわぶちくわぶ

データセットの更新

一度作ったデータセットを更新する場合は、kaggle datasets create ではなく、kaggle datasets version を使う。

uvx kaggle datasets version -p checkpoints --dir-mode zip -m "COMMIT MESSAGE"

kaggle datasets version におけるオプションは以下の通り

usage: kaggle datasets version [-h] -m VERSION_NOTES [-p FOLDER] [-q] [-t] [-r {skip,zip,tar}] [-d]

required arguments:
  -m, --message VERSION_NOTES
                        Message describing the new version

options:
  -h, --help            show this help message and exit
  -p, --path FOLDER     Folder for upload, containing data files and a special datasets-metadata.json file (https://github.com/Kaggle/kaggle-api/wiki/Dataset-Metadata). Defaults to current working directory
  -q, --quiet           Suppress printing information about the upload/download progress
  -t, --keep-tabular    Do not convert tabular files to CSV (default is to convert)
  -r, --dir-mode {skip,zip,tar}
                        What to do with directories: "skip" - ignore; "zip" - compressed upload; "tar" - uncompressed upload
  -d, --delete-old-versions
                        Delete old versions of this dataset