📑

【dataiku】マクロによるログの自動削除

に公開

はじめに

dataikuのログはどのように管理していますか?
何かを実行した時に保存されるログは、実行時の記録としてとても有効ですが、実行のたびにログが蓄積していては、いつか容量不足になってしまいますよね。

実はデフォルトでログローテーション機能がついているのであまり気にする必要はありません。
しかし、高頻度でのシナリオの自動実行や大規模SQLクエリの実行などにより、ログが肥大化するケースもあります。

今回は、マクロでログの自動削除をカスタムする方法をご紹介します。
なお、本記事はVersion 14.2.0 を使用しています。

ログローテーション機能とは?

マクロでのログ削除の前に、デフォルトで設定されているログローテーションについてです。
下記公式ページに記載があるのでご覧ください。
https://doc.dataiku.com/dss/latest/operations/logging.html?utm_source=chatgpt.com
デフォルト設定を編集することで実務に合わせたものにすることも可能ですが、サーバー管理者でないと設定できません。

公式マクロを使ったログの自動削除

ログローテーションでは間に合わないログの肥大化を防ぐために、ログを削除する公式マクロがあります。これをシナリオに組み込むことでログの自動削除が可能になります。

設定方法を紹介します。
まず、シナリオの設定画面でTriggerで削除を実行する頻度を設定します。

Stepsに移り、「+ADD STEP」から 「Execute macro」を選択。

Macroにて任意のログ削除用マクロを選択します。
次に、デフォルトでログを削除するためのマクロが3つ存在しているので、それぞれ簡単に紹介します。

Clear job logs

ジョブログを削除するためのものです。UIで確認できるログは上記タブから「Jobs」を選択した時に表示される内容です。

ログが削除されていない場合


ログが削除された場合

シナリオでの設定画面では、何日前までのログを削除するのか、削除するログのリストのみ表示するか削除を実行するか、すべてのプロジェクトを対象にするのか、を選択します。

Clear scenario run logs

シナリオを実行した時に生成されるシナリオログやステップログを削除するためのものです。
UIではシナリオ画面「Last run」から見れる「View scenario log」と「View step log」が該当します。

設定画面はClear job logsと同じです。
削除対象となるシナリオは選択できず、そのプロジェクトのすべてのシナリオが対象になります。

Clear continuous activities logs

ジョブログの中でも継続的なアクティビティログを削除するためのものです。
これはストリーミング機能などによるログを指し、上述のジョブログとは異なり、UIで確認することはできません。
▼ 公式資料
https://doc.dataiku.com/dss/latest/streaming/concepts.html#continuous-recipe

設定画面はClear job logs、Clear scenario run logsと同じです。

自作マクロを使ったログの自動削除

公式マクロでは例えばプロジェクトやシナリオを限定したり、成功・失敗の区別をつけることができなかったり、など細かな設定を付け加えることができません。
そこで、自分でマクロを作成することもできます。

▼ マクロの作り方は以前のブログを参照してください
https://zenn.dev/truestar/articles/12f1b57dd58605

まとめ

公式マクロを使って管理者PJを作成し、一括でログをコントロールすることも可能です。
https://knowledge.dataiku.com/latest/admin-operating/project-maintenance/tutorial-project-maintenance.html

ログが肥大化する懸念が出た場合は事前に対策を検討してみてください。

truestarテックブログ

Discussion