🔥

週刊AWSキャッチアップ(週刊AWS/週刊生成AI 2024/2/17週)

2025/02/27に公開

週刊AWS – 2025/2/17週 | Amazon Web Services ブログ

週刊生成AI with AWS – 2025/2/17週 | Amazon Web Services ブログ

知識の浅いサービスの場合、浅い解説となっていることご了承ください。

Amazon Aurora PostgreSQL zero-ETL integration with Amazon Redshift now available in 18 additional regions

  • Amazon Aurora PostgreSQL互換とAmazon RedshiftへのZero-ETL機能が大阪を含む18のリージョンで新たにサポートされました
    • Zero-ETL機能はGlue等でETLパイプラインを構築することなく、データソースからニアリアルタイムでデータ連携ができる機能
    • 今回追加されたリージョンは下記です。東京は2024/10の段階ですでに利用可能になっています。
      • West (N. California), Africa (Cape Town), Asia Pacific (Hyderabad), Asia Pacific (Jakarta), Asia Pacific (Melbourne), Asia Pacific (Osaka), Asia Pacific (Seoul), Canada (Central), Canada West (Calgary), Europe (London), Europe (Milan), Europe (Paris), Europe (Spain), Europe (Zurich), Israel (Tel Aviv), Middle East (Bahrain), Middle East (UAE), South America (São Paulo)

参考リンク

Amazon Aurora PostgreSQL および Amazon DynamoDB の Amazon Redshift とのゼロ ETL 統合の一般提供を開始 | Amazon Web Services ブログ

[新機能] Amazon Aurora PostgreSQL と Amazon Redshift の Zero-ETL 統合の試してみました | DevelopersIO

  • AWS Price List APIがPrivateLink経由の接続をサポートしました
    • PrivateLinkはVPCエンドポイントとPrivate IPアドレス経由で、プライベートネットワーク内からAPIを呼び出せる機能で、例えばオンプレミス環境やVPC内から呼び出しができます
    • 利用できるリージョンは、AWS Price List APIが利用できるバージニア北部、ムンバイ、フランクフルト、中国 (寧夏)の4つ

参考リンク

Access AWS Billing and Cost Management using an interface endpoint (AWS PrivateLink) - AWS Billing

AWS Price List APIでAWSの料金体系をAPIから確認する - chroju.dev

Dynamically update your running EMR cluster with reconfiguration for instance fleets

  • Amazon EMR on EC2でインスタンスフリートのアプリケーション設定をリアルタイムに更新できるようになりました
    • これまでは設定変更のためにクラスターの終了や再起動が必要でした
    • アップデート内容によると、Sparkのメモリ設定、YARNのリソース割り当て、HDFS設定などが動的に変更できるようになっています
    • ただしドキュメントを見ると制約事項がいくつか記載されているため、確認は必要です
    • Amazon EMR 5.21.0にて対応しています

参考: 制約事項

ドキュメントに記載されている制約事項は下記の通り。

- Non-YARN applications can fail during restart or cause cluster issues, especially if the applications aren't configured properly. Clusters approaching maximum memory and CPU usage may run into issues after the restart process. This is especially true for the primary instance fleet. Consult the Troubleshoot instance fleet reconfiguration section.

- Resizes and Reconfiguration operation do not happen in parallel. Reconfiguration requests will wait for an ongoing resize and vice versa.

- After reconfiguring an instance fleet, Amazon EMR restarts the applications to allow the new configurations to take effect. Job failure or other unexpected application behavior might occur if the applications are in use during reconfiguration.

- If a reconfiguration for any instance type config under an instance fleet fails, Amazon EMR reverses the configuration parameters to the previous working version for the entire instance fleet, along with emitting events and updating state details. If the reversion process fails too, you must submit a new ModifyInstanceFleet request to recover the instance fleet from the ARRESTED state. Reversion failures result in Instance fleet reconfiguration events and state change.

- Reconfiguration requests for Phoenix configuration classifications are only supported in Amazon EMR version 5.23.0 and later, and are not supported in Amazon EMR version 5.21.0 or 5.22.0.

- Reconfiguration requests for HBase configuration classifications are only supported in Amazon EMR version 5.30.0 and later, and are not supported in Amazon EMR versions 5.23.0 through 5.29.0.

- Reconfiguring hdfs-encryption-zones classification or any of the Hadoop KMS configuration classifications is not supported on an Amazon EMR cluster with multiple primary nodes.

- Amazon EMR currently doesn't support certain reconfiguration requests for the YARN capacity scheduler that require restarting the YARN ResourceManager. For example, you cannot completely remove a queue.

- When YARN needs to restart, all running YARN jobs are typically terminated and lost. This might cause data processing delays. To run YARN jobs during a YARN restart, you can either create an Amazon EMR cluster with multiple primary nodes or set yarn.resourcemanager.recovery.enabled to true in your yarn-site configuration classification. For more information about using multiple master nodes, see High availability YARN ResourceManager.

参考リンク

Reconfiguring instance fleets for your Amazon EMR cluster - Amazon EMR

Amplify Hosting announces support for IAM roles for server-side rendered (SSR) applications

  • AWS Amplify Hostingにて、Server-Side Rendering(SSR)を使用したアプリケーションからIAMロール経由でAWSリソースにアクセスできるようになりました
    • これまではAmplify HostingにてSSRを使ったアプリケーションを実装する場合に、IAMのアクセスキーを利用する必要がありましたが、その必要がなくなっています
    • AWS Blogにて紹介されていたユースケースは下記です
      • Next.js API ルートから AWS Secrets ManagerAWS Systems Manager Parameter Store を使用して、ランタイムで機密設定データにアクセスする
      • SSR アプリを Amazon RDSAmazon DynamoDB などの AWS データベースに直接接続
      • IAMポリシーを使用して細かく権限制御する
      • Server-Sideのコードから任意のAWSサービスへIAMアクセスキーを使用せずに呼び出す
    • SSRはServer-Side Renderingの略で、サーバー側でJavascriptの処理をして表示するHTMLを生成する仕組みです

参考リンク

Adding an SSR Compute role to allow access to AWS resources - AWS Amplify Hosting

AWS Amplify Hosting でサーバーサイドレンダリングのための IAM Compute Roles | Amazon Web Services ブログ

[アップデート] AWS Amplify で SSR コンピューティングサービスに IAM ロールを付与できるようになりました | DevelopersIO

Amazon Timestream for InfluxDB Adds Read Replica support

  • Amazon Timestream for InfluxDBにてリードレプリカをサポートしました
    • Influxdata社のブログによると、別のAZにプライマリインスタンスのコピーを作成するとのこと。下記の用途で最適とのことです。
      • クエリの分散: 複数のインスタンスにクエリが分散することで、レスポンスタイムの向上やプライマリインスタンスの読み込みを削減できる
      • ホットスタンバイのフェイルオーバー: 仮にシステムに障害が発生した場合でも、クエリ自体は使用可能なレプリカへルーティングされる。セカンダリインスタンスは、約1分で書き込み可能なインスタンスに昇格する
      • 書き込みスループットの向上: クエリをリードレプリカへオフロードさせることで、プライマリインスタンスの書き込み性能が低下することを防げる
  • Amazon Timestream for InfluxDBは、時系列データベースであるInfluxDBをマネージドで提供するサービス
    • Amazon Timestream for InfluxDBと既存の Timestream(LiveAnalyticsエンジンベース)がある
      • ほぼリアルタイムの時系列クエリまたは InfluxDB の特定の機能 (Flux クエリ等) が必要なユースケースの場合は、Amazon Timestream for InfluxDBが適しているとのこと

参考リンク

Scale Time Series Workloads on AWS: Introducing Amazon Timestream for InfluxDB Read Replicas | InfluxData

Amazon Timestream を使ったオープンソースの InfluxDB データベースの実行と管理 | Amazon Web Services ブログ

What is Timestream for InfluxDB? - Amazon Timestream

AWS WAF enhances Data Protection and logging experience

  • AWS WAFにてログの特定フィールドを暗号化/特定文字列に置き換えることができるようになりました
    • AWS WAFではコンソールやログに受信されたデータが出力されますが、今回のアップデートでログの特定フィールドが保護できるようになりました
      • ログデータから情報が参照できてしまう偶発的なデータ漏洩リスクを減らしたりできます
    • またこのアップデートに合わせて、ログ設定の管理コンソール画面が簡素化されています

参考リンク

Data protection - AWS WAF, AWS Firewall Manager, and AWS Shield Advanced

[アップデート] AWS WAF でログ上の特定データフィールドを保護できるオプションが追加されました | DevelopersIO

AWS Network Firewall introduces automated domain lists and insights

  • AWS Network Firewallで自動ドメインリストとインサイトの機能がサポートされました
    • 過去30日間のHTTPおよびHTTPSトラフィックログを分析、可視化できます
    • 利用する場合はNetwork Firewallを設定する際に、Traffic analysis modeを有効化させる必要があります

参考リンク

Reporting on network traffic in Network Firewall - AWS Network Firewall

Creating a firewall in AWS Network Firewall - AWS Network Firewall

Amazon ECS increases the CPU limit for ECS tasks to 192 vCPUs

  • ECS on EC2利用時のタスクに設定するCPUのlimitが、これまでの10vCPUから最大192vCPUへ大幅増加しました
    • Task SizeのCPUパラメータの役割として、①CPU使用量の上限を防いで他タスクへの影響を防ぐ、②タスクが必要とするCPUリソースをあらかじめ確保、確実にリソース割り当てを保証するの2つがあります
    • 例えば、1タスクで10vCPU以上利用するような大規模なECSタスクだと、これまではタスク同士でCPUのリソースを奪い合う(CPU Throtling)などが考えられました。今回のアップデートでこの部分が減り、安定して動作ができるようになったのがメリットだと思われます。

参考リンク

[アップデート]Amazon ECS on EC2のCPU使用制限が最大192vCPUまで指定できるようになりました | DevelopersIO

Amazon Bedrock now available in Asia Pacific (Hyderabad) and Asia Pacific (Osaka) regions

  • Amazon Bedrockが大阪およびハイデラバードの2つリージョンで新たに利用可能になりました
    • クロスリージョン推論(Cross-region inference)機能でClaude 3.5 Sonnetが利用できます
    • ただし、東京リージョンと使えるモデルや機能に差がある点に注意してほしいとのこと

AWS announces Backup Payment Methods for invoices

  • AWSの請求書払いに失敗した際のバックアップ方法を設定できるようになりました
    • これまでも手動での変更はできましたが、事前に設定可能になったことで支払い漏れ/遅延リスクが軽減できるとのこと
    • 詳しい設定方法はドキュメントをご確認ください

参考リンク

Using backup payment methods - AWS Billing

AWS CodePipeline adds native Amazon EKS deployment support

  • CodePipelineのActionとして、EKSへのデプロイが追加されました
    • 今回のアップデートで、EKSクラスター名/ソースレポジトリに配置しているマニフェストファイル名を指定することで自動的に接続し、簡単にデプロイが可能になります
    • Tutorialも用意されており、TutorialではHelmでのデプロイ方法が記載されています

参考: yamlファイルのサンプル(ドキュメントより)

Name: DeployEKS
ActionTypeId:
  Category: Deploy
  Owner: AWS
  Provider: EKS
  Version: '1'
RunOrder: 2
Configuration:
  ClusterName: my-eks-cluster
  ManifestFiles: ManifestFile.json
OutputArtifacts: []
InputArtifacts:
  - Name: SourceArtifact

参考リンク

Amazon Elastic Kubernetes Service EKSDeploy action reference - AWS CodePipeline

Tutorial: Deploy to Amazon EKS with CodePipeline - AWS CodePipeline

Amazon Elastic Beanstalk now supports Windows Server 2025 and Windows Server Core 2025 environments

  • AWS Elastic BeanstalkがWindows Server 2025とWindows Server Core 2025をサポートしました
    • 両環境とも.NET Framework 4.8.1、.NET 8.0があらかじめセットアップされています

参考リンク

[アップデート] AWS Elastic Beanstalk が Windows Server 2025 / Windows Server Core 2025 をサポートしました | DevelopersIO

Certificate-Based Authentication is now available on Amazon AppStream 2.0 multi-session fleets

  • Active Directoryに参加するWindows OSのマルチセッションフリートなAmazon AppStream 2.0にて、証明書ベースの認証(CBA)をサポートしました
    • 個別にパスワードを入力せずともクライアント証明書を利用してApp Stream 2.0にアクセスできるので、ユーザー体験を向上しつつ、コスト効率よくAppStream 2.0を利用できるのがメリットになります
      • 詳しくはMicrosoftのドキュメントにログインフローが掲載されており、想像しやすいと思います。
    • AppStream 2.0のマルチセッションフリートはインスタンスを最大50人の複数ユーザーでシェアして使う方法です

参考リンク

Microsoft Entra の証明書ベースの認証に関する技術的な詳細情報 - Microsoft Entra ID | Microsoft Learn

AWS CodePipeline adds native Amazon EC2 deployment support

  • AWS CodePipelineのActionとしてEC2が追加されました
    • これまではCodeDeployなどを使用してリリースする必要がありましたが、こちらが簡素化されています
    • 必須パラメータは下記の5つです。ぱっと見た感じ実行するスクリプトと実行先ディレクトリを設定して実行するイメージだと思っています
      • InstanceTagKey
      • InstanceTagValue
      • InstanceType: EC2 or SSM_MANAGED_NODEのどちらか
      • TargetDirectory
      • PostScript

参考: サンプルのyamlファイル

name: DeployEC2
actions:
- name: EC2
  actionTypeId:
    category: Deploy
    owner: AWS
    provider: EC2
    version: '1'
  runOrder: 1
  configuration:
    InstanceTagKey: Name
    InstanceTagValue: my-instances
    InstanceType: EC2
    PostScript: "test/script.sh",
    TargetDirectory: "/home/ec2-user/deploy"
  outputArtifacts: []
  inputArtifacts:
  - name: SourceArtifact
  region: us-east-1

参考リンク

Amazon EC2 action reference - AWS CodePipeline

Tutorial: Deploy to Amazon EC2 instances with CodePipeline - AWS CodePipeline

Troubleshooting CodePipeline - AWS CodePipeline

Amazon MSK adds support for Apache Kafka version 3.8

  • Amazon MSKがApache Kafka version 3.8をサポートしました
  • またMSK 3.7からKRaftモードを使用したクラスターも作成できます
    • 本家のApache Kafkaでは、3.3にてKRaftが登場し、将来的にはZooKeeperモードは廃止予定となっているのでご留意ください

参考リンク

downloads.apache.org/kafka/3.8.0/RELEASE_NOTES.html

Amazon MSK が Raft モードの Apache Kafka (KRaft) をサポートしました | Amazon Web Services ブログ

Discussion