コスト削減のために、荒れたロググループを一括で影響なく整備したい

ロググループ数が 400 近くあり、コストも増加していたので、コスト削減のためにロググループの整理が必要になった。

まずは現状の確認と、整理手順の検討を行った。

現状の確認

• ロググループは合計 388 個
• 保存バイト数が 2MB 以下のロググループだけで 150 前後ある
  保存データ量が 0 でももしかしたら使ってるかもしれないものも複数ありそう

整理手順の検討

更新がないものだけ一括で削除しようと考えたが、最終更新日とかは CLI から取れなそうで、そうするとかなりの時間がかかりそうで実現が厳しそう。
そのため、期限から絞るのは厳しい。

対策案

1. 基本的に、全てのロググループに対して保持期限を設ける。
   • ものによってある程度調節は必要になりそうだが、保持しないはなしにしたい。
   • そうすればある程度のコスト削減につながる。
2. 絶対に使ってなさそうなロググループはこの時点で削除する。
   • 一覧スプレッドシートにまとめて整理した上で、おおまかにわかるものだけ削除
     • 結局これも、ロググループの数が多すぎてやりづらい。
   • データ保存量ゼロのロググループだけ一括削除でもいいかも
     • ログがないため使われていない、かつ、ロググループは自動で作成されることが多いため、削除しても最悪なんとか復旧できそう
     • -> 影響でた時の対応が大変。データがなければ料金はかからないから、別に消す必要もなさそう。

ロググループ一覧取得に使ったコマンド

nu: aws logs describe-log-groups --output json --profile port | from json | get logGroups.logGroupName | to json | jq -r .[] |pbcopy

確認事項

• 永遠に保存しておきたいログはあるか？
• ログ保存期間の最長はどのくらいにするか？(1, 3, 5 years?)

現状、永久保存設定（保存期間を設けていない）のロググループがほとんどのため、一旦ここを明確にしておきたい。

その上で、各ロググループの性質に合わせて期間を調整したい。

3 段階か 5 段階くらい?

1D, 1W, 1M, 3M, 6M, xY(最長)

個人的には、ログの重要度に合わせて、3 段階で調整が良さそうだと思ってる。

今の所の方針としては、ロググループの削除は諦めて、保存期間の設定によるコスト削減が有力。

初スクラップで使い方よくわかってない。返信してく形がいいのか、新規投稿していく形がいいのか、、、