pre:Invent 2023 運用関連サービスアップデートメモ

FIELDS strlen(@message) AS message_length
| STATS sum(message_length)/1024/1024 as logs_mb BY bin(5m)
| STATS max(logs_mb) AS peak_ingest_mb, 
        min(logs_mb) AS min_ingest_mb, 
        avg(logs_mb) AS avg_ingest_mb

Ryo Yoshii 6ヶ月前

EC インスタンスと EBS ボリュームをバックアップするデフォルトポリシーを公開

細かいことを考えずにとりあえずバックアップとれます。

Ryo Yoshii 6ヶ月前

Systems Manager は、運用上の問題のステータス更新、変更リクエストを Amazon EventBridge にパブリッシュするようになりました

Systems Manager のイベントを EventBrige にパブリッシュすると、その後 Slack などのツールとの連携がしやすくなります。

対応しているイベントはこちら。
Amazon EventBridge event examples for Systems Manager

Ryo Yoshii 6ヶ月前に更新

EBS ボリュームの健全性を監視するための EBS Stalled I/O Check と呼ばれる新しい CloudWatch メトリクスが利用可能になりました

EBS ボリューム障害を迅速に検知可能になりました。
0 が合格、 1 が失敗だそうです。

Ryo Yoshii 6ヶ月前

セッション情報

Ryo Yoshii 6ヶ月前

AWS Systems Manager Automation がいくつかのアクションをサポート

loop
- do while または for each 形式のループが可能に
updateVariable
- ランブック内で変数のアップデートが可能に
- ただし、型変換はできない
outputs as inputs
- ランブックの output を定義可能に
Using JSONPath in runbooks
- JSONPath を使ってランブック内で JSON の値を取得可能に

Ryo Yoshii 6ヶ月前

Athena が CloudWatch メトリクスを提供し、コンピュートリソースと使用クエリーのインサイトが可能に

使いすぎや想定外の利用が検出できるかもしれません。

Monitoring Athena queries with CloudWatch metrics

Ryo Yoshii 6ヶ月前

AWS Systems Manager Incident Manager が原因と思われる変更を特定できるように

Incident Manager が検知したインシデントに含まれるリソースが、CloudFormation または CodeDeploy によって直近変更されたかどうかを調べてくれるようです。
直近の変更が新しいインシデントになることはよくあります。

Ryo Yoshii 5ヶ月前に更新

AWS Distro for OpenTelemetry でログ収集がサポート

ADOT Collector や OTEL SDK を使用してログを収集し CloudWatch などのバックエンドに送信できるようになりました。
Semantic Conventions に基づいたメタデータにより、ログとトレースの相関が容易になりました。

Ryo Yoshii 5ヶ月前に更新

Amazon CloudWatch が AI を活用した自然言語クエリ生成を発表 (プレビュー中)

Logs Insights と Metrics Insights で生成 AI を活用した自然言語クエリの生成が可能になりました。

マネジメントコンソールに表示されているプロンプト例の一部

このプロンプトでは、過去 1 時間のすべてのクライアントの例外を一覧表示するクエリを生成できます。

List all client exceptions from the last 1 hour in my exception logs

このプロンプトでは、最新の 5 つのログパターンを一覧表示するクエリを生成できます。

List the 5 most frequent patterns in my exception logs

このプロンプトでは、請求額が最も高い Lambda 呼び出しの上位 100 件を検索するクエリを生成できます。

Return the top 100 highest billed lambda invocations

このプロンプトでは、IAM ロールまたはポリシーが変更された最新の CloudTrail イベントを検索するクエリを生成できます。

Return the most recent events with changes to IAM role or policy events

このプロンプトでは、仮想プライベートクラウドログ内の最新の 20 件の TCP リクエストを返すクエリを生成できます。

What are the 20 most recent TCP requests?

Ryo Yoshii 5ヶ月前

CloudWatch Logs の異常検出とパターン分析を発表

パターン分析や異常検知でログの分析がパワフルになりました。
Amazon CloudWatch Logs now offers automated pattern analytics and anomaly detection が詳しいです。

(1) 繰り返しパターン

似たようなログパターンをグルーピングしてカウントしてくれます。
タイムスタンプや数値 (レスポンスタイム、IP アドレスなど) はアスタリスクで表示されます。

(2) ログ比較

パターン化されたログを指定した期間と比較してくれます。
アクセスログやエラーログを1日前や1週間前と比較して、傾向を把握するなどの用途に使えそうです。

(3) 異常検出

特定期間でパターン化されたログのうち、出現率が急増したパターンや想定外のパターンを検出してくれます。
モニタリングに使えたら嬉しい。

Ryo Yoshii 5ヶ月前

Systems Manager Automation にローコードビジュアルデザインが導入され、ランブックの作成が簡単になりました

Automation は使いこなれせばとても便利なのですが、独自の YAML 構文を書かないといけないのが辛いところでした。
ビジュアルデザインが導入されたことにより、D&D で簡単にコンポーネントを配置することが可能になり、かなりとっつきやすくなりました。

Ryo Yoshii 5ヶ月前

CloudWatch Logs が IA クラスを発表

S3 の IA と同じ考え方だと思います。アクセス頻度が低いログを保管する用途です。

2023/11/27時点での東京リージョンのデータ取り込み料金です。

Manage Logs	Price
Standard	$0.76 per GB
Infrequent Access	$0.38 per GB

IA クラスはサポートされている機能が Standard より少なくなっています。
Log classes
同時期に発表された自然言語のクエリや異常検出、サブスクリプションフィルターなど多くの機能がサポート外です。ご注意ください。

Ryo Yoshii 5ヶ月前

CloudWatch が複数のソースからのデータクエリをサポート

データソースをクエリしてメトリクスを表示する機能です。
標準の CloudWatch で取得できないメトリクスをダッシュボードの一部にすることで効果を発揮しそうです。

Ryo Yoshii 5ヶ月前

AWS Backup がリストアテストをサポート

AWS Backup によってリカバリポイントが作成されたリソースのリストアテストをサポートしました。

リストア計画には、リストア頻度やテスト開始時間などを含めることができます。
RTO、RPO を満たしていることの確認などに使えます。

Ryo Yoshii 5ヶ月前

AWS Backup が EBS スナップショットアーカイブをサポート

アーカイブは低コストでリストア頻度が低く長期保管に向いています。
AWS Backup で取得した EBS スナップショットをアーカイブするで、規制要件などの長期保管に対応したバックアップ計画を作成することが可能になりました。

Ryo Yoshii 5ヶ月前に更新

myApplications アプリケーションを管理するための One Place View を提供

マネジメントコンソール上でアプリケーションを管理するためのアプリケーションダッシュボードが簡単に作成できるようになりました。

タグや CloudFormation スタックなどを組み合わせることでグルーピングしているようです。

サマリー、コスト、Compute、DevOps、モニタリング、セキュリティ等の複数のウィジェットが含まれており、アプリケーションの管理や監視が容易に実現できます。

Ryo Yoshii 5ヶ月前

Amazon CloudWatch Application Signals プレビュー

オブザーバビリティを加速する CloudWatch 系統の新サービスプレビューです。GA が待ち遠しい。

Application Signals は以下のような利点があります。

アプリケーションからメトリクスとトレースを自動的に収集、主要なメトリクスをダッシュボードに表示
SLO を簡単に作成可能。SLI を追跡
アプリケーショントポロジーマップを自動的に作成
RUM、Synthetics Canaries、AWS Service Catalog AppRegistry と連携してダッシュボードとマップに表示

Ryo Yoshii 5ヶ月前

What’s new in AWS Observability at re:Invent 2023

AWS 公式ブログによるまとめです。