Open3
メタデータ関連
Yuichiデジタル庁のデータマネジメント実践ガイドブック
Yuichiラベル整備
ラベルを整理する。BigQuery リソースを整理するために、データセット、テーブル、ビューにラベルを追加できます。
付与するメリット
ラベルごとのコスト確認ができる。テーブルの状態がわかる
- データの状態：deprecated, supported or state:active、state:readytodelete、state:archive
- マネーフォワード的には
- サポートステータスstateを明示したことで非推奨リソースを参照するクエリジョブを簡単に探せて、embulkからBigQueryのCloud SQL連携クエリに素早く移行できた
- 保証更新頻度update_frequencyを元に要求されている更新頻度を保てているかチェックでき、データの最新性管理が可能になった
- 作ったビューに、実体化頻度materialization_frequencyラベルをつければ、実体化を自動的に行うようになった
タグ整備
タグを用いて、IAM制御や秘密情報管理を検討する