「OpsJAWS Meetup29 ロギング、ログ管理」メモ
概要
イベント名
OpsJAWS Meetup29 ロギング、ログ管理
時間
2024/05/29(水) 19:00 ~ 21:00
場所
アマゾンウェブサービスジャパン合同会社
AWS でのクラウド時代のログ活用
登壇者:AWS Japan 伊藤 威 様
オンプレミスとクラウドのログの考え方の違い
ログに関しても責任分解モデルと同様に考える
⇨アプリケーションとOSのログはユーザが集める必要がある
AWSにおけるログの保存場所
Amazon Cloud Watch LogsとS3
(差異は後で)
ログの蓄積先に求められる要件
安価な保存料
サイジング不要
CloudWatchによる監視
マルチアカウントではCloudWatchのクロスアカウントオブザービリティで収集可能
長期的な保存と分析
長期的(目安は3から5ヶ月)な保存はS3が向いている
ただ、色んなログが集まると正規化などが大変に
⇨そんな時はSIEM on Amazon OpenSearch Service
Amazon Security Lakeとは
AWS Control Tower
AWS Config アグリゲータ
Q&A
Q CloudWatch Logsの低頻度アクセスもあるけど
A 機能面でのデメリットがあるので、要件次第
Q SIEM on Amazon OpenSearch Serviceを料金効率よく使うには
A 必要に応じてサーバレスを使って料金を抑える
インフラエンジニアが生成AIを活用してログ解析してみた
CTCシステムマネジメント株式会社 古林 信吾 様
発端
踏み台サーバ(EC2)の監査対応依頼
auditログをS3に格納。CloudWatchLogs⇨Firehourse⇨S3
GlueクローラでData Catalog化して、Athenaで表示⇨エラー
FirehouseでレコードをAtenaに変換する必要があり。
ただし、SQLを自分で書く必要がある。
生成AIの活用
Athena(SQLのコーディング)
Gllue(ETL処理)
S3 Select(クエリ生成)
踏み台サーバーって何がうれしいんだっけ?(仮)
ログスペクト株式会社 日比野 恒 様
踏み台サーバとは
踏み台サーバ(Bastionサーバ)
アクセス制御
ログ管理
EC2の監査に利用するログ
接続方式や接続先OSによって、接続ログと操作ログの取り方が違う
EC2シリアルコンソールのログ
どのインスタンスに、いつ、どんな、操作をどこからしたのかはわかる
(OSにログインすれば、OSのauditログにも残る)
Cloud9経由での接続
Cloud9経由では、監査のためのこれといったログが残らない
まとめ
操作ログを撮りたかったらサードパーティ製品を踏み台サーバに入れる必要がある。
接続ログだけであれば、必ずしも踏み台サーバは必要ない(Cloud Trail等で代用できる)
システムのログは保存したか?で、その後どうする?システムのログ保存先とコスト最適化について
株式会社asken 沼沢 一樹 様
ログ保存の目的
調査やモニタリング
ログ分析
法令遵守
ログの保存先
S3
CloudWatch Logs
調査目的
期間:3ヶ月から1年
格納先:CloudWatch Logs
理由:早く確認できる、手間なく簡単に確認できること
コスト削減に目が眩んではいけない!!!
法令遵守目的
期間:5年
⇨法律での保存期間や電子計算機損壊等業務妨害罪の時効が5年とされている
ただし、電子計算機使用詐欺罪(決済機能あり)は時効が7年のため、
運用するサービスの性質によって決めるべき
コスト最適化
ストレージクラスを一定のタイミングで移行
Glacierはファイルが小さいとコスト上がるので、要注意
CloudWatch LogsのS3へのエクスポートを自動化するのに、参考になりそうな記事
システムの各種ログを確認するDashboardの開発
株式会社 メタップスホールディングス 是永 総一郎 様
SREの日常業務
システムの正常性の確認が大変なので、
欲しい情報をイベントブリッジ経由でLambdaでSlackに通知するシステムを開発