Closed9

コスト削減のために、荒れたロググループを一括で影響なく整備したい

YukiOnoderaYukiOnodera

ロググループ数が 400 近くあり、コストも増加していたので、コスト削減のためにロググループの整理が必要になった。

YukiOnoderaYukiOnodera

現状の確認

  • ロググループは合計 388 個
  • 保存バイト数が 2MB 以下のロググループだけで 150 前後ある
    保存データ量が 0 でももしかしたら使ってるかもしれないものも複数ありそう
YukiOnoderaYukiOnodera

整理手順の検討

更新がないものだけ一括で削除しようと考えたが、最終更新日とかは CLI から取れなそうで、そうするとかなりの時間がかかりそうで実現が厳しそう。
そのため、期限から絞るのは厳しい。

YukiOnoderaYukiOnodera

対策案

  1. 基本的に、全てのロググループに対して保持期限を設ける。
    • ものによってある程度調節は必要になりそうだが、保持しないはなしにしたい。
    • そうすればある程度のコスト削減につながる。
  2. 絶対に使ってなさそうなロググループはこの時点で削除する。
    • 一覧スプレッドシートにまとめて整理した上で、おおまかにわかるものだけ削除
      • 結局これも、ロググループの数が多すぎてやりづらい。
    • データ保存量ゼロのロググループだけ一括削除でもいいかも
      • ログがないため使われていない、かつ、ロググループは自動で作成されることが多いため、削除しても最悪なんとか復旧できそう
      • -> 影響でた時の対応が大変。データがなければ料金はかからないから、別に消す必要もなさそう。
YukiOnoderaYukiOnodera

ロググループ一覧取得に使ったコマンド

nu: aws logs describe-log-groups --output json --profile port | from json | get logGroups.logGroupName | to json | jq -r .[] |pbcopy

確認事項

  • 永遠に保存しておきたいログはあるか?
  • ログ保存期間の最長はどのくらいにするか?(1, 3, 5 years?)

現状、永久保存設定(保存期間を設けていない)のロググループがほとんどのため、一旦ここを明確にしておきたい。

その上で、各ロググループの性質に合わせて期間を調整したい。

3 段階か 5 段階くらい?

1D, 1W, 1M, 3M, 6M, xY(最長)

個人的には、ログの重要度に合わせて、3 段階で調整が良さそうだと思ってる。

YukiOnoderaYukiOnodera

初スクラップで使い方よくわかってない。返信してく形がいいのか、新規投稿していく形がいいのか、、、

このスクラップは5ヶ月前にクローズされました