😃

S3(Amazon Simple Storage Service) まとめ

2024/09/18に公開

基本概念

  • オブジェクトストレージ
    • ファイルやデータを「オブジェクト」として保存するクラウドベースのストレージ方式
      • オブジェクトとは
        • データ: 画像や動画、ドキュメントなどのファイルデータ。
        • メタデータ: ファイルの作成日、アクセス権、ファイルの種類など、ファイルに関する情報
        • キー: オブジェクトを識別するための一意な名前
  • バケット
    • オブジェクト(ファイルデータ)を保存・管理するための「コンテナ」のような役割

特徴

  • スケーラビリティ
    • 事実上無制限の容量を提供している
      • バケットに保存できるオブジェクトの数に制限がない
      • 個々のオブジェクトサイズの上限は5TB
    • 1秒あたり数千から数万のリクエストを処理可能
      • 1秒間に何万ものPUT(データアップロード)、GET(データ取得)などのリクエストに対応できるため、トラフィックの急増にも耐えることができる
    • データ管理方法
      • ライフサイクルポリシー
        • 一定期間後にコスト効率の高いストレージクラスに自動で移行させたり、不要になったデータを削除するように設定することができる
          • 長期間にわたるストレージ管理の手間を軽減し、膨大なデータの効率的な管理が可能
      • インテリジェントティアリング
    • オートスケーリング
      • ユーザーが意識することなく、リクエスト量に応じてリソースを分散させる
    • グローバルアクセスとCDN連携
      • 地理的に分散したアクセス: 世界中のユーザーがS3に保存されたデータに高速でアクセスできるように、S3とCloudFrontの連携によりキャッシュとデータ配信が最適化されます。
      • トラフィックの負荷分散: 世界中から大量のリクエストが来ても、トラフィックを効率的に分散処理し、高いパフォーマンスを維持します。
  • 耐久性・可用性
    • 99.999999999%
      • 1兆個のオブジェクトをS3に保存しても、1年で失われるオブジェクトは平均して1個未満という水準
    • データの自動複製
      • アベイラビリティゾーンの冗長性: S3に保存されたデータは、選択したAWSリージョン内の少なくとも3つのアベイラビリティゾーンに複製されます。これにより、物理的な破損や災害、ハードウェア障害が発生してもデータが耐久性を持ち続けます。
      • 自動復元:万が一、1つのAZ内でデータの破損や障害が発生した場合、他のAZにあるコピーが自動的に使用され、問題が発生した部分はバックグラウンドで復元されます。
    • データ整合性の定期チェック
      • チェックサムによる検証: S3は、オブジェクトを保存する際にチェックサム(データの整合性を検証する値)を生成し、定期的にこれを確認することで、データの整合性が保持されているかをチェックします。
      • 自己修復機能: 破損が検出された場合、冗長的に保存されている他のコピーからデータを復元し、元の状態に戻します。このプロセスは完全に自動化されています。

主な機能

  • データ保存
  • データ取得
  • バージョニング
  • クロスリージョンレプリケーション

ストレージクラス

  • S3 Standard: 高い可用性と耐久性を持ち、頻繁にアクセスされるデータ向け。最も一般的に使用されるストレージクラスです。
  • S3 Intelligent-Tiering: アクセスパターンが不明なデータ向け。データのアクセスパターンに応じて自動的にコスト最適化されたティアに移動します。
  • S3 Standard-IA(Infrequent Access): 低頻度アクセスのデータ向け。アクセスが少ないが、すぐにアクセスできる必要があるデータに適しています。S3 Standardよりもコストが低いですが、アクセスするたびに追加料金が発生します。
  • S3 One Zone-IA: 一つのアベイラビリティゾーン内に保存される低頻度アクセスのデータ向け。耐久性は低いものの、コストがさらに抑えられます。
  • S3 Glacier: 長期アーカイブ用のストレージで、データアクセスに数分から数時間かかります。低コストで大容量データの保存に適しています。
  • S3 Glacier Deep Archive: さらに低コストで、アーカイブデータ向け。アクセス頻度が極めて低いデータに適しており、取り出しに12時間以上かかることがあります。

使用ケース

  • バックアップ
  • ディザスタリカバリ
  • ウェブサイトホスティング
  • ビッグデータ分析

Discussion