Zenn
🍣

週刊AWSキャッチアップ（2024/11/11週)

2024/11/22に公開
AWS
tech

週刊AWSの内容を確認した際の学習メモです。週刊生成AI分は取り除いています。
知識が浅い分野に対しては浅い記述となっていることご了承ください。

週刊AWS – 2024/11/11週 | Amazon Web Services ブログ

Amazon OpenSearch Ingestion adds support for ingesting data from Amazon Kinesis Data Streams

Amazon OpenSearch Ingestion で、Amazon Kinesis Data Streams からのデータインジェストのサポートが追加 - AWS

  • OpenSearch Ingestionにて`Kinesis Data Streamsからのデータ取り込みをサポートしました
  • OpenSearch IngestionはOpenSearchドメインへのデータ抽出、変換、取り込み(いわゆるETLパイプライン)をサーバレスに行う機能
  • 今回のアップデートでKinesis DataStreams経由でストリームされるデータのリアルタイム分析などの用途で活用できそうです
    • 従来はDynamoDB、S3からの取り込みなどに対応していました。

関連リンク

Amazon OpenSearch Ingestion - Amazon OpenSearch サービス
Use Amazon Kinesis Data Streams to deliver real-time data to Amazon OpenSearch Service domains with Amazon OpenSearch Ingestion | AWS Big Data Blog
[アップデート] Amazon OpenSearch Ingestion が Amazon Kinesis Data Streams からのデータの取り込みをサポートしました | DevelopersIO

Get x-ray vision into AWS CloudFormation deployments with a timeline view

タイムラインビューを使用して AWS CloudFormation デプロイを X 線で視覚的に把握する - AWS

  • AWS CloudFormationでDeploy timeline viewが提供されるようになりました
    • CloudFormationがスタックで実行した一連のアクションを視覚化
    • リソースがプロビジョニングされた正確な順序、リソース間の依存関係、プロビジョニングにかかった時間などが表示可能

こちらは過去にAMIを作成した時の実行結果ですが、イメージ作成に時間がかかっていることが可視化されていました。
過去の実行結果

関連リンク

タイムラインビューで AWS CloudFormation のデプロイの内部を覗く | Amazon Web Services ブログ
[アップデート] AWS CloudFormaiton でイベントのタイムラインビューを使ってデプロイの様子を視覚的に把握出来るようになりました | DevelopersIO

Amazon Managed Service for Apache Flink now supports Amazon DynamoDB Streams as a source - AWS

  • Amazon Managed Service for Apache Flink(旧Kinesis Data Analytics)でDynamoDB用のApache Flinkコネクターが新しく利用可能になりました
  • Apache FlinkのソースとしてDynamoDB Streamsを指定、変更データを順次Flinkに流すといった実装がより簡単にできるようになります
  • Amazon Managed Service for Apache Flinkは、SQLやApache Flink(Javaなど)を使用してストリームデータに対してリアルタイム分析ができるマネージドサービス

関連リンク

DynamoDB Streams and Apache Flink - Amazon DynamoDB

Amazon EventBridge announces up to 94% improvement in end-to-end latency for Event Buses

Amazon EventBridge announces up to 94% improvement in end-to-end latency for Event Buses - AWS

  • EventBridgeで2023/1以降の改善によりEvent BusのEnd-to-Endのレイテンシが最大94%改善されました
    • 2023/1: 2235.23ms
    • 2024/8: 129.33ms
  • よりミッションクリティカルな領域でも利用できるようになったとのこと
  • Cloudwatch MetricsのIngestionToInvocationStartLatency/IngestionToInvocationSuccessLatencyで監視可能
  • EventBridgeにはRuleとEvent Busの2つがあります
    • Rule: EventBridgeが発行するイベントの設定。event-based/time-basedの2つがある
    • Event Bus: 実際にイベントを受信するルーターの役割、0個以上のターゲットにイベントを配信

関連リンク

【初心者向け】Amazon EventBridgeについてまとめてみた - サーバーワークスエンジニアブログ

Amazon EBS now supports detailed performance statistics on EBS volume health

Amazon EBS が EBS ボリュームの状態に関する詳細なパフォーマンス統計をサポート - AWS

関連リンク

Amazon EBS detailed performance statistics - Amazon EBS

Amazon OpenSearch Service now supports 4th generation Intel (C7i, M7i, R7i) instances

Amazon OpenSearch Service が第 4 世代インテル (C7i、M7i、R7i) インスタンスのサポートを開始 - AWS

オレゴンでの料金比較をしようと思いましたが、C6i/M6i/R6iのOpenSearchインスタンスがなかったため割愛します。

Introducing resource control policies (RCPs) to centrally restrict access to AWS resources

AWS リソースへのアクセスを一元的に制限するリソースコントロールポリシー (RCP) の導入 - AWS

  • AWS OrganizationsでResource Control Policy(RCP)が利用可能になりました
    • 組織内のAWSリソースに対して一元的にアクセス制御ができる
    • SCPはIAMアクションの使用を制限するものだったが、RCPはリソースに対するアクションを制限するものになる(文字通りSCPのリソースポリシー版)
  • 現時点ではS3、AWS STS、KMS、SQS、Secrets Managerに対応
    リソースコントロールポリシーはOrganizations > ポリシーから有効化できます。
    リソースコントロールポリシー
    コンソール画面

関連リンク

Resource control policies (RCPs) - AWS Organizations
[アップデート]Organizationsでの新たなる統制、Resource Control Policies (RCPs)がリリースされました！ | DevelopersIO
AWS Organizations の新しいタイプの認可ポリシーであるリソースコントロールポリシー (RCP) のご紹介 | Amazon Web Services ブログ

Amazon DynamoDB introduces warm throughput for tables and indexes

Amazon DynamoDB がテーブルとインデックスのウォームスループットを導入 - AWS

  • DynamoDBでwarm throughput値と、DynamoDBテーブルとインデックスをPre warmingさせる機能が追加されました
  • warm throughputはDescribeTableを通じて参照可能で、テーブルが処理できる読み取り/書き込みオペレーションの数が可視化されます
  • 公式ブログによると、想定しているユースケースは下記の3つとのこと
    • 高い初期トラフィック値を持ったオンデマンドのテーブルへwarm throughputをあらかじめ設定、スロットリングの発生を事前に防止する
    • 小売等で大規模なイベントに備えておく
    • DynamoDBへの移行時にETLジョブに備えて暖気をあらかじめとる
      warm throughputはCreateTableで設定可能です。
aws dynamodb create-table \
    --table-name FlashSaleTable \
    --attribute-definitions AttributeName=ProductID,AttributeType=S \
    --key-schema AttributeName=ProductID,KeyType=HASH \
    --billing-mode PAY_PER_REQUEST \
    --warm-throughput ReadUnitsPerSecond=50000,WriteUnitsPerSecond=100000
        ...
        "WarmThroughput": {
            "ReadUnitsPerSecond": 50000,
            "WriteUnitsPerSecond": 100000,
            "Status": "UPDATING"
        },
        ...

warm throughputの値はDescribeTableで確認できます。

aws dynamodb describe-table --table-name FlashSaleTable

     ...
     "WarmThroughput": {
            "ReadUnitsPerSecond": 50000,
            "WriteUnitsPerSecond": 100000,
            "Status": "ACTIVE"
        },
     ...

CloudFormationの場合は下記の通り設定できます。

AWSTemplateFormatVersion: 2010-09-09
Resources:
  TestTableTemplate:
    Type: 'AWS::DynamoDB::Table'
    Properties:
      TableName: FlashSaleTable
      BillingMode: PAY_PER_REQUEST
      AttributeDefinitions:
        - AttributeName: ProductID
          AttributeType: S
      KeySchema:
        - AttributeName: ProductID
          KeyType: HASH
      WarmThroughput:
        - ReadUnitsPerSecond: 50000
          WriteUnitsPerSecond: 100000

関連ブログ

Pre-warming Amazon DynamoDB tables with warm throughput | AWS Database Blog

AWS Backup now supports Amazon Neptune in three new Regions

AWS Backup now supports Amazon Neptune in three new Regions - AWS

  • 新たに大阪、ジャカルタ、ケープタウンでAWS BackupによるAmazon Neptuneのバックアップができるようになりました
  • AWS BackupのAmazon Neptuneサポート自体は2021年にリリースされた機能
  • Amazon Neptuneはマネージド型のグラフデータベースサービス

関連ブログ

AWS Backup が Amazon Neptune のサポートを追加
【Amazon Neptune】AWSの基礎を学ぼう 特別編
グラフデータベースってどんなもの？Amazon Neptune を使って グラフデータベースのクエリを体験しよう（Gremlin 編） | Amazon Web Services ブログ

Amazon DynamoDB reduces prices for on-demand throughput and global tables

Amazon DynamoDB reduces prices for on-demand throughput and global tables - AWS

  • Amazon DynamoDBの料金が改定されました(11/1より新料金が適用)
    • オンデマンドスループット: 最大50%割引
    • Global Table: 最大67%割引

関連ブログ

New – Amazon DynamoDB lowers pricing for on-demand throughput and global tables | AWS Database Blog

Amazon Keyspaces (for Apache Cassandra) reduces prices by up to 75%

Amazon Keyspaces (for Apache Cassandra) reduces prices by up to 75% - AWS

  • Amazon Keyspaces for Apache Cassandraの料金が改定されました
    • オンデマンドモード料金:
      • 単一リージョン: 最大56%
      • マルチリージョン: 最大65%
    • プロビジョニングモード料金:
      • 単一リージョン: 最大13%
      • マルチリージョン: 最大20%
    • 有効期限(TTL)の削除料金: 75%引き下げ
  • これまではスパイクがあるワークロードでオンデマンドモードの利用をしていましたが、オンデマンドモードが安くなったためより利用しやすくなっています
  • Apache CassandraはNoSQLの分散DBシステム

AWS Transit Gateway and AWS Cloud WAN enhance visibility metrics and Path MTU support

AWS Transit Gateway and AWS Cloud WAN enhance visibility metrics and Path MTU support - AWS

  • AWS Transit Gatewayと AWS Cloud WANでアベイラビリティーゾーン (AZ) 単位のメトリクスをCloudWatchに送信可能になりました
  • パス最大伝送ユニット検出（PMTUD）をサポートするようになりました
    • MTU: 1回の通信で転送可能なデータサイズのこと
  • CloudWANの用途は下記のブログが一番わかりやすい

関連ブログ

AWS Cloud WAN の紹介 (プレビュー) | Amazon Web Services ブログ
AWS Cloud WAN を使ってマルチリージョンの VPC 間で疎通確認する手順 - サーバーワークスエンジニアブログ

Amazon RDS for PostgreSQL now supports major version 17

Amazon RDS for PostgreSQL now supports major version 17 - AWS

  • Amazon RDS for PostgreSQLでPostgreSQL バージョン 17.1 が利用可能になりました
  • 合わせて最新マイナーバージョンである16.5、15.9、14.14、13.17、12.21の利用も可能になっています

Amazon S3 now supports up to 1 million buckets per AWS account

Amazon S3 now supports up to 1 million buckets per AWS account - AWS

  • AWSアカウントあたりのデフォルトバケット数のクォータ（上限値）を100から10,000 に引き上げました
    • また最大100万バケットまでクォータの増加をリクエストできるようになりました
  • 最初の2000バケットまでは無料で作成できますが、それ以降は少額の月額料金がかかる点は注意

関連ブログ

[アップデート] Amazon S3のバケット数デフォルト上限が10000に引き上げられました | DevelopersIO

Amazon RDS for Oracle now M7i and R7i instances types

Amazon RDS for Oracle now M7i and R7i instances types - AWS

  • Amazon RDS for PostgreSQLでPostgreSQL バージョン 17.1 が利用可能になりました
  • 合わせて最新マイナーバージョンである16.5、15.9、14.14、13.17、12.21の利用も可能になっています

Introducing Amazon Route 53 Resolver DNS Firewall Advanced

Introducing Amazon Route 53 Resolver DNS Firewall Advanced - AWS

  • Amazon Route 53 Resolver DNS Firewall Advancedがリリースされました
  • Route 53 DNS Firewallの新機能で疑わしいDNSトラフィックを監視/ブロックできます
  • 現時点で対応しているのは下記の2つ
    • DNSトンネリング: DNSクエリを使って不正なデータ転送を行う
    • DGA: 様々な文字列の組み合わせで予測しにくい無数のドメイン名を自動的に生成する手法
  • Route 53 DNS FirewallはRoute 53 Resolver(VPCのCIDRの.2にある仮想的なDNSサーバ)に対するクエリを精査、特定ドメインに関するクエリをブロックする機能のこと
    • 例えば既知マルウェア通信先ドメインへの通信をブロックするといった用途に使えます
    • Route 53 Resolverは別名Amazon Provided DNSとか.2 resolverともいうそう

関連リンク

Amazon Route 53 Resolver DNS Firewallを分かりやすく解説してみる - サーバーワークスエンジニアブログ
Introducing Amazon Route 53 Resolver DNS Firewall Advanced - AWS
DNS トンネリングとは| Akamai
ドメイン生成アルゴリズムとは| Akamai
[DNS入門] 基礎から分かる「DGA（ドメイン生成アルゴリズム）」とは｜Infoblox Japan公式
Route 53 Resolver DNS Firewall Advanced - Amazon Route 53

Amazon Data Firehose supports continuous replication of database changes to Apache Iceberg Tables in Amazon S3

Amazon Data Firehose supports continuous replication of database changes to Apache Iceberg Tables in Amazon S3 - AWS

  • Amazon Data FirehoseでRDS、Aurora、EC2で稼働するMySQL/PostgreSQLのトランザクションデータから更新データを読み取り、S3上のApache Icebergへ差分反映させる機能がPreviewになりました
    • サーバーレスのサービスでRDBからS3への差分レプリケートが可能になるとのこと
  • Apache Icebergは大規模データフォーマット向けに設計されたオープンソースのテーブルフォーマット
    • Athena、Glue、EMR等のAWSサービスの他にSnowflake、BigQueryでもサポートされています
    • S3などのデータレイクに対してSQLだけでCRUD処理ができるのが嬉しいポイントとのこと

関連ブログ

Replicate changes from databases to Apache Iceberg tables using Amazon Data Firehose (in preview) | AWS News Blog
Amazon Data Firehose データストリームを Apache Iceberg 形式のテーブル配信機能を試す！ | DevelopersIO

Centrally manage root access in AWS Identity and Access Management (IAM)

Centrally manage root access in AWS Identity and Access Management (IAM) - AWS

  • IAMにOrganizations管理下のAWSアカウントのルートアクセスを一元管理できる新機能がリリースされました
  • 新機能はルート認証情報の一元管理、ルートセッションの2つになります
    • ルート認証情報の一元管理
      • 長期ルート認証情報を削除: メンバーアカウントからルートユーザー認証情報をプログラムで削除
      • 認証情報のリカバリ防止: 認証情報のリカバリを防止する
      • セキュアバイデフォルトアカウントのプロビジョニング: 最初からルート認証情報なしのメンバーアカウントを作成する
      • コンプライアンス状態の維持をサポート: 全てのメンバーアカウントのルート認証情報のステータスを一元的に検出/モニタリングする
    • ルートセッション
      • タスク範囲に限定されたルートアクセス: 特権アクションが必要な時に手動ログインではなく、タスク範囲に限定されたルートアクセスが取得できる
      • 一元管理: 各メンバーアカウントに個別ログインではなく、中心アカウントから特権ルートアクションを実行できる
      • AWSベストプラクティスとの整合: 短期的な認証情報(15分有効)を利用する形態のため、ベストプラクティスとも整合性が取れる

関連ブログ

AWS Organizations を使用するお客様のためのルートアクセスの一元管理 | Amazon Web Services ブログ

Discussion