Amazon S3 Batch Operations now manages buckets or prefixes in a single step

地味便利アプデ
前提
- S3 Batch Operations を使って S3 Object を一括操作する際、事前にマニフェストファイルを生成しておく必要があった
改善
- アップデートによってフィルタ条件を指定するだけで勝手にマニフェスト作ってくれるようになった
注意
- API 経由 (CLI / SDK) でジョブ作成するときにはどんな処理もいける
- Console 経由でジョブ作成するときは Replication ジョブだけいける

かかと | kakato 5ヶ月前

AWS Analytics simplify users’ data access across services with IAM Identity Center

Quicksight -> Redshift 接続のパターンとかがわかりやすそう
- https://docs.aws.amazon.com/quicksight/latest/user/enabling-access-redshift.html#redshift-trusted-identity-propagation
概要
- AWS IdC (旧 AWS SSO) を利用して Quicksight などを利用する際、サービスから別のサービスへのアクセス時にユーザー権限に応じたアクセス制御ができるようになった

かかと | kakato 5ヶ月前に更新

Introducing Cost Optimization Hub

Compute Optimizer とか Savings Plans の Recommendation とかを一箇所にまとめたよってサービス
Billing and Cost Management の一機能
- サイドバーに追加されてる
最初にアクセスすると有効化を求められる
- service linked role を作る必要があるからそういう作りになっているっぽい
- 特に追加料金はかからない

かかと | kakato 5ヶ月前

Amazon Web Services announces Unified Billing and Cost Management console

Billing and Cost Management に請求とかコスト関係が全部まとまった
良い

かかと | kakato 5ヶ月前に更新

IAM Access Analyzer updates: Find unused access, check policies before deployment

IAM Access Analyzer が進化してた
- IAM コンソールでアクセスできる
機能は二種類
- Unused Access Analyzer (New)
  - お金かかる ($0.20 /IAM role or user analyzed/month)
  - Analyzer を設定してしばらくすると使ってないロールとかポリシー(権限)とかを洗い出してくれる
- External Access Analyzer
  - 元々あったやつが名前与えられたっぽい
  - 外部から内部リソースへのアクセスを許可している権限を洗い出す
Custom Policy Checks っていう機能も増えてた
- これは IAM コンソールの Access Analyzer からアクセスするものではない
- コンソールでの Policy 作成時に Check Policy ってボタンが現れてクリックすると権限を確認してくれる
  - お金かかる ($0.0020 per API call)
- セキュリティ意識高めの人が、ちゃんとしたポリシーを作るのを支援するようっぽい
  - 勝手にチェックするガードレール的なものではなさそう

かかと | kakato 5ヶ月前

AWS Config now supports periodic recording: Efficiently scale your change tracking

都度記録だった Config が 2 時間ごとの記録オプションを選べるようになった。最高
- コンテナで起動回数多めなバッチとかやっていると ENI の生成 (+ SG の紐付け) とかで Config 記録がめっちゃ増えちゃうことがある
  - 今までは記録を切るしかコストを抑える方法がなかった
  - 周期的に記録をするようにすることでコストがガッと上がるのを防ぎつつ記録自体は残せる
都度記録は Continuous recording / 日時記録は Daily recording
リソースタイプごとにどっちを選ぶか決められる。神
- デフォルトをどっちにするか決めた上で、一部リソースだけ上書きする、という仕組み

かかと | kakato 5ヶ月前

Announcing the Cost and Usage Dashboard powered by Amazon QuickSight

CUR (Cost and Usage Report) のデータを Quicksight に吐いて分析する環境を Billing コンソールから雑に立ち上げられるようになった
コスト上がってきたなー、分析ちゃんとしたいなー、ってなってきたくらいの頃に最初にサクッと分析環境用意するのに良さそう

かかと | kakato 5ヶ月前

Amazon EKS introduces EKS Pod Identity

EKS Pod に IAM ロールを紐づける新しいやり方
前提
- IRSA = IAM Roles for Service Account を使って IAM ロールと k8s のサービスアカウントを紐付けてた
- サービスアカウントは k8s のリソースなので、IAM ロール (AWS) とサービスアカウント (k8s) の両方の文脈を扱う必要がありやや煩雑だった
概要
- 以下手順で紐付けが完了
  - 1. pods.eks.amazonaws.com principal を信頼する IAM ロールを作成
  - 1. Amazon EKS Pod Identity Agent Add-on を EKS にインストール
  - 1. (AWS 側で) サービスアカウントに IAM ロールをマッピング
改善
- IRSA を用いる場合、IAM OIDC Provider を設定する必要があり、それにまつわる煩雑さがある
- Pod Identity は (AWS に慣れていれば) 慣れ親しんだ感触で使える
  - IAM ロールの信頼ポリシー周りが特にシンプルになって扱いやすくなる印象

かかと | kakato 5ヶ月前に更新

Amazon Managed Service for Prometheus launches an agentless collector for Prometheus metrics from Amazon EKS

EKS でセルフマネージドのエージェントを立てなくても Prometheus のメトリクスを取れるように進化
- Managed Service for Prometheus って聞いたときに欲しい機能が出た感じ

用語

collector

Amazon Managed Service for Prometheus collector が正式名
エージェントレスでメトリクスを取得する仕組み全体を指す言葉っぽい

scraper

EKS クラスタからメトリクスを引っ張ってくる部分の仕組み
- collector の一要素、と思うとわかりやすそう (ぶっちゃけ collector ≒ scraper と思ってもそう問題なさそうではある)
- EKS コンソールでクラスタ作るときに scraper も作れるらしい
- 既存のクラスタに追加で作成したり設定をカスタマイズしたりしたい場合は API or CLI で
- scraper 作成時の設定に Managed Prometheus のワークスペース ARN が必要
  - Managed Prometheus でのみ使えるものだということがわかる

prometheus-compatible metrics

Prometheus に対応した形式のメトリクス、くらいの意味
- 対応した形式のメトリクスが /metrics パスに export されていると scraper が自動で取得してくれるらしい
- この言葉がやたらドキュメント内で出てくるから、互換だけどオリジナルじゃない、みたいな意味かと思ったけど、形式ちゃんと揃えて出力してね、くらいの意味で使ってるっぽい

セットアップ

1. CreateScraper に必要項目放り込んで scraper を作成
1. EKS に scraper によるアクセスを許可する Cluster Role Binding を設定

かかと | kakato 5ヶ月前

Amazon GuardDuty now supports runtime monitoring for Amazon EC2 (Preview)

元々あった EC2 Runtime Threat Detection を拡張した機能
- os レベルのアクティビティに加えてコンテナレベルのコンテキストでも脅威検知出来るらしい
ECS でも Runtime Monitoring 機能が出たので、これで AWS 上のどのコンピュート使ってても runtime visibility が提供されるぜ！とのこと

かかと | kakato 5ヶ月前に更新

AWS Step Functions launches support for HTTPS endpoints and a new TestState API

以下二つ
- Step Functions から直接 HTTPS エンドポイント叩けるようになった
  - エンドポイントを指定
  - 認証は EventBridge Connection という機能を使う
- TestState API ができて単一ステップ (ステート) ごとのテストができるようになった
  - コンソール見るとステートを選んだ状態で [Test State] ボタンが現れるようになってる
良い

かかと | kakato 5ヶ月前

AWS announces Amazon ElastiCache Serverless

信頼と安心のクラメソさん
- https://dev.classmethod.jp/articles/amazon-elasticache-serverless-ops-made-easy/
Serverless はクラスタモードで動作
- 上限を設定するだけで勝手にスケールアップ・アウトする
クラスタ間の切り替えは不可
VPC 内起動

かかと | kakato 5ヶ月前

Introducing Amazon One Enterprise (Preview)

Palm-based Identity service ってなんだっけ、って思ったけど手のひらで認証するデバイスためのサービスだった
公式ページの動画がわかりやすい
- https://aws.amazon.com/one/
今のところ使うことはなさそうだけど面白い (そもそも現状、preview & US のみ)

かかと | kakato 5ヶ月前

AWS Glue Data Catalog supports multi engine views with AWS Analytics Engines

とっつきづらかったけど割と便利そう
AWS Glue Data Catalog がマルチエンジンビューに対応した
- Athena や Redshift の SQL editor から複数エンジンを使う view を作成
- 作成した view は Lake Formation で管理される
  - Lake Formation を用いた権限設定を行うことでデータソースとなる S3 バケットなどへのアクセス権限を個別ユーザーに付与することなく view へのアクセスを制御できる
    - Lake Formation ってもしかして便利、、、？ってなった (使ったことない

かかと | kakato 5ヶ月前に更新

Announcing Amazon Aurora Limitless Database

とりあえずこれ読めば良い
- 概要: https://dev.classmethod.jp/articles/amazon-aurora-limitless-database-with-automatic-horizontal-scaling-now-in-preview/
- ちょい詳細: https://dev.classmethod.jp/articles/report-achieving-scale-with-amazon-aurora-limitless-database/
PostgreSQL 互換のみプレビュー
- 使いたかったら申請出してね、方式
create table mode を sharded に設定した上、シャードキーを指定する必要がある

かかと | kakato 5ヶ月前

Safeguard generative AI applications with Guardrails for Amazon Bedrock (Preview)

Guardrails for Amazon Bedrock
- 責任あるAI を実現するためにガードレールを設定する機能。大事

かかと | kakato 5ヶ月前

AWS Chatbot now supports Amazon Q conversations in Microsoft Teams and Slack

Chatbot 経由で Slack や Teams から Amazon Q とおしゃべりできる

かかと | kakato 5ヶ月前に更新

Announcing the Amazon S3 Express One Zone storage class

OneZone にして耐久性下げる代わりにスピード(パフォーマンス)とコストを下げる
- 最大10x高速 / 50% コストを落とせるらしい
S3 Express One Zone 使いつつ Mountpoint for Amazon S3 使うのが共有ストレージの実現方法として割と現実的になりそう
- EKS でも Mountpoint 使えるらしいし
- https://aws.amazon.com/jp/blogs/news/mountpoint-for-amazon-s3-generally-available-and-ready-for-production-workloads/
- https://dev.classmethod.jp/articles/mountpoint-for-s3-csi-driver/

かかと | kakato 5ヶ月前

AWS announces Amazon Q (Preview)

社内 AI アシスタント簡単に作れそう

かかと | kakato 5ヶ月前に更新

AWS announces Amazon DynamoDB zero-ETL integration with Amazon OpenSearch Service

DynamoDB -> OpenSearch Service のデータ連携が秒でできる。胸熱
- OpenSearch は serverless でもいける
OpenSearch Ingestion をデータ同期に使用

DynamoDB export to Amazon S3 の機能で一旦バルクでデータロードしたのち、DynamoDB Streams を使ってデータをニアリアルタイムにレプリケートするらしい

かかと | kakato 5ヶ月前に更新

Amazon OpenSearch Service zero-ETL integration with Amazon S3 preview now available

S3 -> OpenSearch Service のデータ連携が秒でできる。胸熱 part2

With OpenSearch Service zero-ETL integration with Amazon S3, customers can access operational log data stored in Amazon S3 using OpenSearch Service, making it easier to perform complex queries and visualizations on their data without any data movement.

DynamoDB のとは違って without any data movement で使えるらしい
- Ingestion まとめたページがあった
- https://aws.amazon.com/opensearch-service/features/integration/
開発者ガイド: https://docs.aws.amazon.com/opensearch-service/latest/developerguide/direct-query-s3.html
- OpenSearch 2.11 以上必須
- Glue Data Catalog の Spark テーブルのみ対応
- CSV / Parquet / JSON のみ
コストは Amazon OpenSearch Service Direct Query pricing
- $0.299 per OCU per hour
- One OCU comprises 2vCPU and 8 GiB of RAM.
- 結構金額いきそうな気もするが果たして

かかと | kakato 5ヶ月前

AWS announces OR1 for Amazon OpenSearch Service

OpenSearch Optimized なインスタンスファミリー OR1
- indexing-heavyなワークロードでr系インスタンスよりパフォーマンスを発揮するらしい
- OpenSearch 2.11 以上必須
EBS に置かれたデータを S3 に同期的にコピー
- S3 はレプリカ作成やシャード移動後の EBS へのデータ読み込みに使われる
OR1 を選ぶとインスタンスファミリーが変更できなくなるらしい

かかと | kakato 5ヶ月前

Observe your applications with Amazon CloudWatch Application Signals (Preview)

重要メトリクスを収集してダッシュボード表示できる CloudWatch の新機能
- SLO を定義して監視することもできる
EKS だと Add-on 入れるだけで OK
その他プラットフォームだと CW Agent と AWS Distro for OpenTelemetry をインストールする必要あり
- Java アプリケーションにしか対応してないらしい。無念