😽

Amazon S3 Express One Zone[AWS re:Invent Breakout Session]

2023/12/18に公開

記事の内容

AWS re:Invent 2023で参加したセッションの内容の記録です。
「Deep dive on Amazon S3 Express One Zone storage class」という題目でS3 Express One Zoneに関する内容です。

リクエストが集中するアプリケーションではワークロードが高速化される
- 仕組みとしては、ジョブの実行時間が短縮できることにより、コンピューティング時間に掛かるコストを下げることができる
- Ansatz Capital社では、S3 Express One Zoneの低いリクエストレイテンシと高いパフォーマンスにより、ワークロード速度が全体で78%向上した。

高い耐久性を持っているものの、万が一、AWS アビリティゾーンの全部または一部が失われたり損傷したりした場合、1 つのソースストレージクラスのデータが失われる可能性がある。

Express One Zoneはこれまでのバケットとは異なる。

スケーリング方法
汎用バケットでは、毎秒のトランザクション数が非常に多くなる可能性があり、負荷がかかると段階的にスケーリングされます。ディレクトリバケットは、バケットは一斉に数十万のTPSにスケーリングされる。
セッションによる管理
Express One Zoneでは、S3 Create Session と呼ばれる新しいセッションベースのメカニズムを使用してリクエストを認証および承認します。
これはバケットへの低レイテンシーアクセスを可能にする一時的な認証情報を提供する。一時的な認証情報は、特定のS3ディレクトリバケットにスコープ設定され、読み取り専用モードと読み取り書き込みモードの 2 種類のバケットにスコープを設定できる。
セッションの管理はAWS　SDKを使うことで自動的に管理される。

CloudWatch, EMR, Athena, SageMaker, EC2, Lambdaなど様々なサービスがExpress One Zoneのメリットを享受することができる

Cloudera: 読み取りおよび書き込みのパフォーマンスが最大 40% 向上

ClickHouse: クエリのパフォーマンスが最大283%向上し、全体的なTCOを65%削減

CHAOS SEARCH: 60%高速化されたクエリによりインサイトを得る時間が短縮され、クエリコストの削減により大幅なコスト削減

Colorfront: 顧客はデジタルビデオ処理を最大70%高速化して、ストリーミングに対する需要を満たすことができた

StandardとExpress One Zoneを使った比較のデモを実演

Express One Zone・・・5.2秒
Standard・・・42秒

=> 非構造データを扱うアプリは劇的に速くなる

Express One Zone・・・12秒
Standard・・・16秒

=> ログバケットとして使用することもメリットになる

Pinterest
- 写真共有サービスを提供
- 8,000万件/秒　2PB/日のトラフィック
- MLデータ、　ads、 feedなどのデータを扱う
MemQというpub/subのストレージに採用
これにより、リアルタイム性求められるアプリのワークロードを改善した。
オンデマンド事業の拡大
- 新規および既存のユースケース向けのストレージと 10 の容量計画の必要性を排除
- プロビジョニング時間が最大 7 日→ 1 時間未満に短縮
- スケーリング時間が最大 12 時間→ 30 分未満に短縮
より多くのユースケースに対応する全体的な TCO の削減
- 低遅延のユースケースでインフラコストを 40% 以上削減
- クラウドの拡張性により、運用コストが 50% 以上削減