re:Invent 2025: Amazon DynamoDBの高度なデータモデリング手法とアンチパターン
はじめに
海外の様々な講演を日本語記事に書き起こすことで、隠れた良質な情報をもっと身近なものに。そんなコンセプトで進める本企画で今回取り上げるプレゼンテーションはこちら!
re:Invent 2025 の書き起こし記事については、こちらの Spreadsheet に情報をまとめています。合わせてご確認ください
📖 re:Invent 2025: AWS re:Invent 2025 - Advanced data modeling with Amazon DynamoDB (DAT414)
この動画では、Alex DebrieがAmazon DynamoDBのAdvanced Data Modelingについて解説しています。DynamoDBの3つの独自性(完全マネージド、消費量ベース課金、任意のスケールでの一貫したパフォーマンス)を説明し、パーティショニングとAPIの仕組みを詳述。2週間前にリリースされたマルチ属性複合キーの活用法、secondary indexesのコスト管理(sparse indexパターン、projection最適化)、スキーマ進化の3つのタイプ(データアクセスに影響しない変更、既存属性への新規インデックス、既存データの変更)を実例とともに紹介。kitchen sink item collectionや過度な正規化といったアンチパターンも指摘し、シンプルで効率的なモデリング手法を提示しています。
※ こちらは既存の講演の内容を最大限維持しつつ自動生成した記事になります。誤字脱字や誤った内容が記載される可能性がありますのでご留意下さい。
本編
セッション概要と講演者紹介 - Alex DeBrie による7年目の DynamoDB トーク
ご参加ありがとうございます。こちらは Amazon DynamoDB を使った Advanced Data Modeling についてのセッションです。私は Alex DeBrie です。水曜日の朝にお越しいただき、本当にありがとうございます。re:Invent でお話しするのは今年で7年目になります。
1時間では DynamoDB のすべてをカバーすることはできません。毎年異なるトピックをカバーするようにしていますが、過去の年のセッションについて知りたい場合は、これらはすべて YouTube にあります。ご確認ください。さらに、今年はデータモデリング、アーキテクチャなど、様々な分野から本当に素晴らしいトークがたくさんあります。Craig Howard による明日のセッションは、つい最近起きたサービス障害についてのものです。本当に素晴らしい内容がたくさんあります。既に終わってしまったものもあれば、入場できないものもあるかもしれませんが、これらも YouTube でご確認ください。どれも本当に素晴らしいスピーカーによるセッションです。
今日お話しする内容についてですが、まず背景知識とデータモデリングの目標とプロセスについて少しお話しして、その後 secondary indexes をうまく使うことについてのトピックに進んでいきます。2週間前にリリースされた本当に素晴らしい機能があります。DynamoDB のスキーマ進化についてお話しします。これについてはよく質問をもらうので。そして、最後に私が見かけるアンチパターンと、その代わりにどのように対処できるかについてのアンチパターンクリニックがあります。
私は次のように考えています。まず基本的な事実をいくつか設定して、みんなが同じページにいるようにして、おそらく高レベルの概念と、このモデリングをしている際に心に留めておくべきことをいくつか持って、その後、実際のアプリケーションとして、それをデータモデリングに適用します。私は Alex DeBrie で、AWS Data Hero です。私は話すのが速いです。スライドがたくさんあって、実は全部を終わらせられないんじゃないかと心配されています。ですから、ここで Q&A をする時間はおそらくないと思いますが、外でしたら Q&A をさせていただきます。また、今日の午後のほとんどの時間、expo hall の DynamoDB ブースにいます。質問を持ってきてください、友達も連れてきてください。DynamoDB について一緒に話しましょう。
DynamoDB のユニークな特性 - 完全マネージド、消費量ベース課金、一貫したパフォーマンス
では、始めましょう。背景についてお話しします。DynamoDB のユニークな特性についてお話ししたいと思います。DynamoDB はユニークなデータベースです。違います。ほとんどの人はリレーショナルデータベースを知っていますよね。DynamoDB でうまくモデリングしたいのであれば、異なることを学ぶ必要があります。やり方を変える必要があります。チームの多くの人に教える必要があります。そのことを考えると、DynamoDB を使いたいのであれば、その独自の強みと独自の特性の1つを望むべきだと思います。
私がいつも考えている3つのことは、まず1番目として、完全にマネージドされているということです。RDS や他のマネージドデータベースサービスとは異なる方法で、完全にマネージドされています。DynamoDB では、リージョン全体にわたるマルチテナント、マルチサービスの自己修復型の巨大なフリートがあり、ストレージノード、ロードバランサー、リクエストルーター、そしてあらゆる種類のインフラストラクチャがあります。DynamoDB をダウンさせることはできません。そんなことは起こりません。リレーショナルデータベースや OpenSearch や他のデータベースはオーバーロードすることができますが、DynamoDB はできません。ですから、本当に完全にマネージドされており、ほとんどの他のデータベースと比べて運用的には非常にハンズオフです。
それに加えて、消費量ベースの価格設定モデルがあり、私はこれが大好きです。インスタンスに対して支払うわけではありません。CPU、メモリ、IOPS、インスタンスのサイズに対して支払う従来のデータベースのように支払うわけではありません。実際には消費量に対して支払うのです。DynamoDB では、読み取り容量ユニットに対して支払います。つまり、実際にシステムからデータを読み取ることに対してです。読み取るデータ 4 キロバイトごとに、1 つの読み取り容量ユニットを消費します。書き込みも同じです。DynamoDB に書き込むデータ 1 キロバイトごとに、1 つの書き込み容量ユニットを消費します。そして、実際に保存しているデータに対しても支払うことになります。
これには独特な影響があります。私が気に入っている大きなものは、非常に予測可能な請求への影響です。既存のアプリケーションがあり、新しいセカンダリインデックスを追加したい場合、そのインデックスをバックフィルするのにどのくらいのコストがかかるか、そして書き込みパターンを知っていれば、今後どのくらいのコストがかかるかを、かなり簡単に計算できるはずです。また、DynamoDB のコストの多くは Excel で計算できると言います。実際にデータベースをスピンアップして、実際にどのくらい使用しているかを確認する必要はありません。Excel でこれを行うことができ、それは非常に良いことです。
また、本当に密接な関係があります。効率性、モデリング方法、効率性についての考え方と、請求額の間に。DynamoDB は、それをどのように使用すべきかについてのシグナルを与えるような方法で価格設定しています。そのシグナルを受け取り、それを使用することをお勧めします。そうすれば、請求額で多くのお金を節約できます。消費量ベースの価格設定モデルが大好きです。そしてパフォーマンスの観点からすると、人々が考えるのは、あらゆるスケールで一貫したパフォーマンスです。DynamoDB テーブルは小さいものもあります。メガバイトレベルのテーブルがたくさんありますが、テラバイトレベルのテーブルやペタバイトレベルのテーブルもたくさんあります。DynamoDB は、あらゆるスケールで一貫したパフォーマンスを提供し、どのサイズであっても関係ありません。
DynamoDB のアーキテクチャ基礎 - プライマリキーとパーティショニングの仕組み
これら3つのこと、つまり運用、経済性、パフォーマンスについて、少なくともこれらのうちの1つはあなたの目に留まるはずです。それが DynamoDB から私が欲しいものです。だから DynamoDB を学ぶつもりです。だから DynamoDB 内で機能するようにモデリング方法を変えるつもりです。あらゆるスケールで一貫したパフォーマンスという部分を理解するために、ちょうど十分なアーキテクチャを行いましょう。ここに例のデータセットがあります。これは私のアプリケーション内のいくつかのユーザーです。これらはテーブルと呼ばれるものに含まれることになります。DynamoDB テーブルを作成してレコードを保存します。各レコードはアイテムと呼ばれます。テーブルを作成するときは、テーブルのプライマリキーを指定する必要があります。そのプライマリキーはすべてのレコードに含まれている必要があり、テーブル内のすべてのレコードを一意に識別する必要があります。
それに加えて、DynamoDB にアイテムを書き込む際には、他の属性も含めることができます。これらの属性を事前に指定する必要はありません。DynamoDB 自体が管理するスキーマは、プライマリキー以外にはありません。スキーマはアプリケーションレイヤー内で管理されます。これらの属性は 文字列や整数などのシンプルなスカラー値にすることもできますし、リストやセット、マップなどの複雑な属性にすることもできます。
プライマリキーの概念は、DynamoDB がどのように機能するかにおいて非常に重要です。DynamoDB テーブルを作成する際には、2 つのタイプのプライマリキーがあります。 シンプルなプライマリキーがあり、これはパーティションキーだけを持っています。例えば、私たちのユーザーテーブルは、ユーザーテーブル内のすべてのレコードを一意に識別するそのユーザー名だけを持っています。しかし、私たちはまた、複合プライマリ キーも持っており、これはおそらくあなたのユースケースに応じてより一般的です。複合プライマリキーは、パーティションキーとソートキーの両方を持っています。ですから、私たちのアプリケーションでは、ユーザーが注文を行うことができるかもしれません。 その場合、私たちはこの複合プライマリキーを使用したいかもしれません。これは 2 つの異なる要素を持っています。ユーザー名のパーティションキーと注文 ID のソートキーです。
これらのそれぞれが異なるアイテムであることに注意してください。これらの一部は同じパーティションキーを共有していますが、重要な点は、そのパーティションキーとソートキーの組み合わせが一意である必要があるということです。そのプライマリキーを使用して、テーブルを作成する際にこのタイプ(シンプルまたは複合)を選択します。テーブルを作成した後は、キー名などを変更することはできません。シンプルであれ複合であれ、そのプライマリキーの組み合わせは、各アイテムに対して一意である必要があります。
ここで、そのプライマリキーを見ると、これらの両方の要素にはそのパーティションキー要素があり、これはおそらく DynamoDB について知る必要がある、より重要なことの 1 つです。DynamoDB テーブルを作成する際には、バックグラウンドで、データが複数の異なるパーティション全体に分散されます。2 つのパーティションで始まると言いましょう。書き込みリクエストが DynamoDB に来る場合、例えば新しいユーザーをテーブルに挿入したい場合、そのフロントエンドリクエストルーターはテーブルのメタデータを検索し、そのプライマリキーが何であるかを理解し、そのパーティションキーの値を見て、 その値をハッシュし、どのパーティションに行く必要があるかを判断します。この場合、そのアイテムはパーティション 1 に属しています。
これの素晴らしい点は、データが増えるにつれて、DynamoDB はバックグラウンドで 3 番目のパーティションを追加したり、さらに 6 つのパーティションを追加したり、さらに 1000 個のパーティションを追加したりできるということです。それは関係ありません。アイテムがどのパーティションに属しているかを判断する最初のステップは、定時間操作です。 ですから、10 テラバイトのテーブルの 1 つを持っていても、約 10 ギガバイトのデータまで下がるのは依然として定時間操作です。これらのパーティションはすべてあなたのために管理されています。新しいパーティションを追加する必要はありません。DynamoDB がバックグラウンドであなたのためにそれを行っています。 これが、あらゆるスケールで一貫したパフォーマンスが実現される場所です。
最も重要なのは、パーティショニングと DynamoDB API がそれをどのように公開するかの組み合わせです。 これらのアイテムはパーティションキーによってパーティション全体に分散され、そのパーティションキーと完全なプライマリキーを使用してアイテムを識別することになります。バックグラウンドにクエリプランナーを持つ SQL インターフェースを提供するのではなく、基本的に API を通じてこれらのアイテムへの直接アクセスが得られます。
DynamoDB API の理解 - シングルアイテムアクションとクエリ操作
DynamoDB には、いわゆるシングルアイテムアクションがあります。これは基本的な CRUD 操作すべてです。レコードを挿入したり、レコードを読み込んだり、レコードを更新したり、何をするにしても、シングルアイテムアクションで行うことになります。 この場合、完全なプライマリキーが必要です。操作したい正確なアイテムを指定する必要があります。すべての書き込み操作はこれらのシングルアイテムアクションで行われます。 何らかの述語が与えられた場合に複数のレコードを更新するような更新操作はありません。
では、そのコンポジットプライマリキーに戻って、パーティションキーがどのようにレコードを同じストレージパーティションに割り当てるために使用されるかを考えると、このコンポジットプライマリキーテーブルで同じパーティションキーを持つレコードはグループ化され、互いに隣同士に保存されることがわかります。 それらはソートキーに従って順序付けられます。これは本当に便利です。なぜなら、時々関連するレコードのセットを取得する必要があり、そこで DynamoDB は query 操作も提供しているからです。 コンポジットプライマリキーを持つテーブルがある場合、これを実行して、単一のリクエストで同じパーティションキーを持つ複数のレコードを取得できます。
これを行う場合、完全なパーティションキーが必要です。なぜなら、どのパーティションに行ってそれらのレコードを実際に取得するかを知る必要があるからです。 また、ソートキーに条件を付けることもできます。例えば、ソートキー値より前の値、またはソートキー値より後の値、またはそれらのソートキー値の間の値を指定できます。 最後に、リクエストごとに 1 メガバイトのデータしか取得できません。これが、あらゆるスケールで一貫したパフォーマンスを提供する方法です。ギガバイトのデータを引き戻すことは望まれていません。なぜなら、それはレスポンスタイムを変更するからです。
さらに、DynamoDB API には scan API があります。これは単に全部取得するというものです。エクスポートなどを除いて、これはかなりまばらに使用することになると言えます。 ですから、このパーティショニングと API を考えると、DynamoDB にリクエストを送信するときの私のメンタルモデルは、無制限のストレージ量から 1 つの連続したディスク操作を取得するというものです。 DynamoDB は単に無制限のストレージ量から 1 つの連続したディスク操作を提供しているだけです。
Dynamo は、必要に応じて拡張できる無限のストレージフリートを提供しています。ただし、アプリケーション内でそれをどのように設定するかについて、物理的に考える必要があります。必要な時に必要なものを取得できるようにするためです。 新しいレコードを挿入したい場合、プライマリキーを識別して、それがどこに行くのかを正確に決定する必要があります。 レコードを読む必要がある場合、プライマリキーが必要なので、簡単に見つけることができます。または、関連するレコードのセットを取得する必要がある場合、すべてのアイテムがグループ化され、必要に応じてソートされるように、クエリ操作で使用できるように配置する必要があります。そこで最大 1 メガバイトのデータを読むことができます。
ここでの重要なポイントは、すべての API リクエストが、無制限のストレージから 1 つの連続した操作を提供するということです。SQL の場合とは異なり、SQL ではクエリプランナーがディスク全体をホップして複数の読み取りを行います。 基本的に 1 つの連続した読み取りを取得するため、私は本当に DynamoDB API が好きです。パーティションキーでうまく機能していると思います。そしてそれを理解する必要があります。それを踏まえて、PartiQL API から始めないことをお勧めします。 PartiQL API があります。これは DynamoDB をクエリするために使用できる SQL のような API です。舞台裏では、基本的にこれらの操作の 1 つに変換しているだけです。単一アイテムアクション、クエリ、またはそのようなものです。ただし、アプリケーションで実際に考えるべきことの多くを隠していると思います。つまり、DynamoDB のメンタルモデルに合わせてデータをどのように配置したいのかということです。
セカンダリインデックスの概念と基本的な事実のまとめ
最後に説明する必要がある概念は、セカンダリインデックスです。 このテーブルでプライマリキーでレコードを取得できることを見てきました。Alex DeBrie レコードを取得したり、ユーザー名で Madeleine Olson を取得したりできます。 しかし、メールアドレスなど、別の属性で誰かを取得したい場合はどうでしょうか。 これがセカンダリインデックスの概念が登場する場所です。テーブルにセカンダリインデックスを作成できます。基本的には新しいプライマリキーを持つデータの完全に管理されたコピーです。 これにより、データを再分割して再編成することで、追加の読み取りベースのアクセスパターンが可能になり、より簡単に取得できるようになります。 メールアドレスにセカンダリインデックスを作成できます。これで、このメールインデックスがあり、特定のメールアドレスでレコードを取得できるようになります。
セカンダリインデックスには 2 つのタイプがあります。 最初のタイプはグローバルセカンダリインデックスで、ほぼすべての場合でこれを優先すべきです。2 番目のタイプはローカルセカンダリインデックスで、使用する前に本当に理解する必要があります。 ローカルセカンダリインデックスをいつ、どのような場合に使用すべきかについて、深く掘り下げるつもりでしたが、時間の都合上カットしました。ローカルセカンダリインデックスは一方通行のようなもので、いくつかの深刻な欠点があります。テーブルにローカルセカンダリインデックスを配置する前に、本当に理解していることを確認してください。
まとめて、基本的な事実について同じページにいるようにするために、パーティションキーを使用してアイテムをテーブル全体に分散させるパーティショニングの概念を理解してください。 DynamoDB API がどのように機能して、任意のスケールで一貫したパフォーマンスを提供し、そこでのプライマリキーの重要性を理解してください。次に、セカンダリインデックスがどのように追加の読み取りベースのアクセスパターンを可能にするか、および消費ベースの課金を理解してください。これは DynamoDB について独特で非常に興味深いと思います。 そこで予測可能で見える課金を取得します。データモデリングの目標とプロセスに関する高レベルの概念に進みましょう。
データモデリングの目標とプロセス - シンプルさの追求とアクセスパターンの重要性
まず最初に言いたいのは、できるだけシンプルに保つということです。 私が見てきた DynamoDB のデータモデルのエラーや問題の多くは、単に必要以上に複雑になっているだけなんです。実は私も長い間これに陥っていました。 最近 Twitter で見かけたのですが、初心者は多くの異なる領域でやりすぎるけれど、マスターは自分の意図を果たすために必要最小限の動きしかしないという話です。ですから、できるだけシンプルに保つようにしましょう。
データモデリングの目標が何かを考えることが大切だと思います。どのデータベースを使っているかに関わらずです。 データモデリングをするときに何をしているのかというと、まず第一に、保存するデータの整合性をどのように保つかを考える必要があります。結局のところ、データベースは世界のある状態をシリアライズして保存しているわけです。それが在庫、オフィス、人といった物理的なオブジェクトを表しているにせよ、ソーシャルメディアの「いいね」やコメントといったデジタルなものを表しているにせよです。データベースから読み出して表現するときに、自分が何を持っているのかをまだ理解できるように、整合性を保つ必要があります。 さらに、整合性を保つことに加えて、必要なときに適切なデータを操作しやすくする必要があります。もし大きなテーブルがあったら、実際に必要なレコードだけにどうやって絞り込むのか?
DynamoDB の文脈でこれを考えると、どのように適用するのでしょうか? 保存するデータの整合性を保つことを考えるときに、最初にしなければならないことは有効なスキーマを持つことです。 DynamoDB はリレーショナルデータベースのようにスキーマを保守してくれません。DynamoDB はスキーマレスのデータベースなので、どんな属性でも書き込むことができます。つまり、アプリケーションコードでそれを保守することになります。データベース管理スキーマではなく、アプリケーション管理スキーマなんです。 コード内のどこかに有効なスキーマを持つべきです。私は TypeScript と Zod を使っていますが、何を使ってもいいです。DynamoDB テーブルにレコードを書き込むときは、特に完全なレコードを挿入するときは、ほぼ常に、何を書き込んでいるのか、そしてそれが有効なデータなのかを検証すべきです。
データベースにゴミを入れたくないので、それを入れることができます。同じことが DynamoDB からデータを読み出すときにも当てはまります。それを解析して、形状が期待するものと一致することを確認すべきです。一致しなければ、ハードエラーを投げるべきです。 何とか対応するのではなく。予期しないものが返ってきていることを理解すべきです。その問題はどこで起きたのか? データを時間とともにどんどん悪くなるように破損させ続けたくはありません。
ですから、これが大事なポイントです。データ内のどこかに有効なスキーマを確実に持つことです。さらに、データの整合性を保つときは、アイテム間で制約を保つことが必要です。 何か一意性の要件がある場合、複数のユーザーが同じユーザー名を持つようなことは望みません。そのような方法で一意性を保つ必要があります。あるいは、アプリケーションで実装する必要がある何らかの制限があるかもしれません。どのようにしてそれをするのか? そこで DynamoDB の condition expressions が役に立つようになります。トランザクションもあるかもしれませんが、そうした制約について考えて、それらをモデリングするようにしましょう。
DynamoDB ではデータを重複させることもあります。少しデータの正規化を解除することもあります。ですから、そこで矛盾を避ける方法を考えてください。データを重複させるときは、そのデータが不変かどうかを考えてみてください。それは変わることがあるのでしょうか? 関数的に不変なデータを持つこともあります。誰かが注文を出して、その注文に使用した支払い方法を保存したい場合、後で支払い方法について何か変更しても、実際にはその注文を変更する必要はありません。その時点での支払い方法のスナップショットをキャプチャしているのです。
しかし、時には可変データを重複させることもあります。可変データがある場合、データが変わったときにどのようにデータを更新するのでしょうか? まず第一に、それは何回コピーされたのでしょうか?5回コピーされたのか、それとも 1000 回コピーされたのか?それがコピーされたアイテムをどのように識別して、変更されたこのデータのために異なるすべてのレコードを更新する必要があるのでしょうか?そしておそらく今最も難しい質問は、どのくらい早く更新する必要があるのかということです。同じリクエスト内で更新する必要があるのでしょうか。親レコードを更新していて、それが 5 つの異なるアイテムに広がっている場合、トランザクション内でそれを行って、すべてが同時に更新されることを確認する必要があるのでしょうか?それとも非同期でその更新を行うことができるのでしょうか?それ全体でデータの矛盾が生じるのでしょうか?それはユーザーやクライアントにとって何を意味するのでしょうか?
ですから、データを重複させるときはこれについて考えてください。 これが DynamoDB 内でデータの整合性を維持することについて考えることです。その後、必要なときに正しいデータを操作しやすくする方法についても考えたいと思います。 それはプライマリキーが登場するところです。書き込みをするときは、一意性を維持するための適切なプライマリキーと適切なコンテキストが何かを考えてください。常に利用可能な関連アイテムに対応するために使用できるレコードを正規的に識別するにはどうすればよいでしょうか?読み込みをするときは、プライマリキーの構造は何ですか?大幅に過剰に読み込んで後でフィルタリングするのではなく、効率的にフィルタリングするために必要なインデックスは何ですか?
これらはこれ全体を見ていく際に念頭に置いておくメタゴールです。データモデリングプロセスを簡単に説明します。DynamoDB のデータモデリングのほとんどはアプリケーションコードを書く前に行われると私は常に言っています。これについて考えて、それを書き留めておくべきです。そして実装の側面は実際にはかなり簡単です。最初にすべきことはドメインを知ることです。実際にモデル化しているドメイン内のエンティティは何ですか?それらはどのようになるのでしょうか?アプリケーションに制約があるのでしょうか?データの分布はどうなっていますか?一対多の関係がある場合、その関連する側面はどのくらい多くなる可能性がありますか?親あたり 10 個の関連アイテムなのか、それとも 1000 個、100 万個、または何か無制限なのか?
これらのレコードはどのくらい大きいのでしょうか。なぜなら、それはモデリングと私がそこで行っている選択肢のいくつかに影響を与えるからです。DynamoDB では、アクセスパターンを事前に知りたいのです。そしてプライマリキーを使用してアクセスパターンに特に対応するようにモデル化します。これについて非常に具体的であるべきだと私は常に言っています。実際に書き込みベースのアクセスパターンが何であるかをリストアップすべきです。そしてそれらを機械的に進めてください。読み込みベースのアクセスパターンについても同じことをしてください。 プライマリキーをモデル化するときは、これらのそれぞれを処理する方法を知っていることを確認してください。書き込み操作に条件がある場合、それが適切に設定されていますか?これらすべてのようなことです。ですからアクセスパターンを知ってください。そして最後のこと:DynamoDB の基本を知ってください。前に話したことです。プライマリキー API とセカンダリインデックスです。それがほとんどすべてを処理してくれます。
セカンダリインデックスの活用 - マルチ属性複合キーの革新的な機能
では、このあたりはシンプルに保つようにしてください。基本的なことで十分に先に進めると思います。単一アイテムアクションを書き込み操作と個別読み取りに使用し、範囲検索とリスト操作にはクエリを使用し、追加の読み取りベースのパターンが必要な場合は secondary indexes を適宜追加し、そして特定の操作に対しては transactions をまばらに使用する。よし、これで背景的な概念的な話は終わりです。では、これを実際に適用してみましょう。まず secondary indexes について話したいと思います。これについて話したい理由は、2週間前に DynamoDB が GSI に対してマルチ属性複合キーをサポートするようになったという大きなリリースがあったからです。これは本当に大きなリリースです。これで多くの人にとって物事が簡潔になると思います。ただし、これがなぜ有用なのかを説明するために、ここにある例のテーブルを見てみましょう。これはウェアハウス内の注文を追跡しているだけのものです。システム内のウェアハウスです。複数のウェアハウスがあり、それぞれのウェアハウス内に担当者がいて、その注文を処理し、ピッキングして、すべてが出荷準備できていることを確認する必要があります。
テーブルにはこれらのさまざまな属性があります。このウェアハウスについて、この担当者について、このステータスについて、彼らが何に取り組むべきかというアクセスパターンがあるかもしれません。
テーブルにこのような属性が見られるかもしれません。GSI 1 PK と GSI 1 SK で、これはテーブルに既にある他の属性で構成された合成キーです。これを見ると、ウェアハウス ID がそこに入っていて、ポンド記号があり、担当者 ID がそこに詰め込まれています。その後、ステータス、優先度、作成日時があります。これらすべてが GSI PK と SK のこれらの合成キーに構成されています。
これは、これらの合成キーを使用して手動でこれらの属性を組み合わせて、パーティション化し、グループ化し、必要に応じてソートする非常に一般的なパターンでした。このリリースが出るまで、これをどれだけ嫌っていたのか気づきませんでした。なぜなら、これには多くの欠点があるからです。1番目は単なるアイテムサイズの肥大化です。
テーブルにあるそのアイテムを見ると、そこにある意味のある属性は 100 から 101 バイトで、かなり小さいレコードです。他の属性を見ると、これらの合成キーは 92 バイトです。つまり、これはアイテムのほぼ半分です。アイテムの半分になるとは限りません。実際にはそこに他の属性がもっと大きくなるからです。ただし、GSI 1 PK、GSI 2 PK、および SK も含む 2 つのインデックスがある場合、200 バイトについて話しているかもしれません。これは、すべてのアイテムに保存している 200 バイトです。
ストレージに対して料金を払っているわけですね。200 バイトは WCU の 20 パーセントなので、WCU の上限を超えてしまう可能性が高いです。書き込みのたびに追加の WCU に対して料金を払うことになりますし、インデックスのレプリケーションにも同じことが言えます。これは非常に低い価値に対して多くのコストがかかっているということです。これらの属性はすでにテーブルに存在しているものです。
アイテムサイズの肥大化の問題があり、さらにアプリケーションのモデリングの複雑性もあります。すべてのアクセスパターンを考えて、これらのインデックスをセットアップするときに、これらすべてを一緒に考えて、正しくやっているのか、アプリケーションで正しく実装しているのかを確認する必要があります。これらの属性をすべて文字列に変換することに関する並べ替えの複雑性もあります。しかし、これらの属性の 1 つが整数の場合、その整数を文字列として並べ替える必要があるので、それが潜在的に最も長くなる可能性のある長さまでゼロパディングして、そのようなことを考える必要があります。
そして更新ロジックがあります。これはより複雑になります。誰かが来て「このオーダーのステータスを更新してほしい、もう pending ではなく prepared になった」と言ったとします。その場合、他のすべての値を知っておく必要があります。他のすべての値を知らず、更新を行うためにそれらの値を取得するためにそのレコードを読む必要がある場合、これらすべてのことをやるのは面倒です。
これが古いやり方です。しかし今、私たちはこれらのマルチ属性複合キーを持っています。これがどのように機能するかというと、セカンダリインデックスを作成するときに、パーティションキーとソートキーそれぞれに対して最大 4 つの属性をサポートできます。既存のテーブルがあり、このマルチ属性複合キーパターンを使用したい場合、パーティションキーを作成するときに、最初の要素をそのウェアハウス ID にしたい、2 番目の要素をそのアサイニー ID にしたい、3 番目の要素をステータスにしたいと言います。
ソートキーでも同じことです。最初の要素をそのプライオリティにしたい、2 番目の要素をそのクリエイテッド アットにしたいと言います。これでもう GSI 1 PK と GSI 1 SK の値は必要ありません。セカンダリインデックスを作成するときにそのインデックスをセットアップする方法を知るために、これらを再利用しているだけです。
では、これらの欠点を振り返ってみると、これは複数属性の複合キーでどのように機能するのでしょうか?もうアイテムサイズの肥大化はありません。なぜなら、実際にテーブル内の属性を再利用しているからです。テーブルに別の100バイトか200バイトを追加して肥大化させることはありません。理由としやすいです。なぜなら、アイテムを書き込んだり更新したりするときに、他にどの GSI の合成キーを更新する必要があるのか、ということを考える必要がないからです。
ソート複雑性はありません。パーティションキーまたはソートキー属性の1つが整数の場合、それは整数としてソートされます。文字列としてソートされないので、通常のソートを実行できます。そして、更新ロジックはずっと簡単になります。なぜなら、やはりテーブル内の実際の属性だけを更新しており、それらがすべての作業を処理してくれるからです。
動作方法という観点では、パーティションキーとソートキーのそれぞれに最大4つの属性を指定できます。必要に応じて各属性に1つだけ使用することもできますが、最大4つまで指定できます。クエリ操作を実行するときは、キー条件式ですべてのパーティションキー属性を含める必要があります。同じことなので、データがどこにあるのか、どのパーティションに行きたいのかを正確に知る必要があるため、すべてのパーティションキー属性がそこに含まれていることを確認する必要があります。
ソートキーに対して条件を指定することもできます。重要なのは、そのソートキーが順序付けされるということです。これらの属性の順序が重要で、SQL の複合インデックスのように考えるといいでしょう。基本的には左から右へ、スキップなし、最初の範囲で停止します。ソートキーに4つの値がある場合、4つすべてにマッチさせることができます。最初の3つにマッチさせて、4番目のものに対して範囲を指定することもできます。
しかし、できないことは、最初の属性に対して完全一致を行い、2番目の属性の値を指定せずに3番目の属性に対して完全一致を行うことです。そこで停止してスキャンするだけです。
ひとつ言っておきたいのは、これはおそらくあなたのオーバーロードされたインデックスの問題を解決しないということです。ですから、この場合、単一テーブル設計をしていて、1つのテーブルにユーザーエンティティがある場合、 組織エンティティもあります。ここで GSI 1 PK と GSI 1 SK の値があるのが見えますね。これはセカンダリインデックスです。
セカンダリインデックスを見ると、アイテムコレクションがあります。これは同じパーティションキーを持つレコードのセットです。異なる2つのエンティティタイプを含むアイテムコレクションがあります。組織とユーザーのエンティティを同じアイテムコレクション内に事前結合しています。 これらのマルチ属性複合キーではやるのが難しくなります。なぜなら、これらの異なるエンティティタイプ全体で同じ属性名を持つ可能性が低いからです。パーティションキーについては、両方とも組織名を持っているので、それをパーティションキーとして使用できます。しかし、ソートキーでは、ユーザーのユーザー名がそのユーザー名から来ているのが見えます。 組織はここにある静的な文字列に過ぎないので、これらのオーバーロードされたインデックスパターンをしている場合、これをやるのに少し手間がかかります。ですから、おそらくそれには役に立たないでしょう。しかし、他のすべてのケースでは、これはあなたにとって大きな勝利になるでしょう。
セカンダリインデックスについては、これらのマルチ属性複合キーを使用してください。これは大きなことです。オーバーロードされたインデックスを除いて、ほぼすべてのケースでこれを使用します。 正直なところ、既存のテーブルについても、アイテムサイズを節約するためにこれは意味があるかもしれません。このような新しいインデックスを作成して、それに切り替えて、古いインデックスを削除します。その合成キーの書き込みを停止できます。これはあなたのユースケースによっては実際にお金を節約できます。
セカンダリインデックスのコスト管理 - スパースインデックスとプロジェクション最適化
それに加えて、セカンダリインデックスでのコスト管理について話しましょう。これは過小評価されていると思います。セカンダリインデックスに書き込むたびに、 書き込みキャパシティユニットを消費します。セカンダリインデックスは読み取り時の最適化ですが、書き込みに対して支払います。しかし、書き込みは読み取りより高いですよね? 書き込みキャパシティユニットは読み取りキャパシティユニットの5倍のコストがかかりますが、最大サイズの4分の1に過ぎないので、アイテムのサイズによっては読み取りの5倍から20倍のコストがかかります。ですから、そこから価値を得ていることを確認してください。
セカンダリインデックスでのコスト管理のヒントをいくつか紹介します。最初のことは、実際にセカンダリインデックスが必要ですか? なぜなら、多くの場合、アクセスパターンを書いて、ベーステーブルのプライマリキーでその最初のアクセスパターンを解決して、その後、「よし、他のすべての 読み取りベースのアクセスパターンについては、別のセカンダリインデックスを追加するだけだ」と言うからです。しかし、この場合、3つのセカンダリインデックスがあります。アイテムを書き込むたびに、それぞれに複製する必要があります。書き込みコストは現在、そうでない場合の4倍になります。ですから、実際にすべてのインデックスが必要であることを確認してください。
時々、セカンダリインデックスを複数の異なるユースケースで再利用できることがあります。 私が通常見かけるのは、異なる読み取りパターン間に本当に高い相関や重複がある場合、時々それができるということです。最近、 DoorDash のようなオーダーデリバリーアプリについてのトークをしました。特定のレストランの注文をすべて時系列で表示したいシナリオを想像してください。彼らは「先月や先々月の注文は何だったのか?」と言いたいわけです。レストランでグループ化され、時間でソートされています。しかし同時に、そのレストランは「今、私が取り組むべきアクティブな注文は何か?」と言いたいのです。レストランの掲示板に貼り出して、みんなが取り組んでいることを確認したいのです。
ここで重要なのは、アクティブな注文はすべて最新の注文になるということです。2週間前の注文で、配達を忘れていて、今取り組む必要があるものは存在しません。最後の50件または100件の注文を見て、実際に完了したものをフィルタリングすれば、それがアクティブな注文です。そのためにセカンダリインデックスは必要ありません。
セカンダリインデックスを再利用できる2番目の場所は、全体的な検索スペースが かなり小さい場合です。すべてのユーザー内から管理者ユーザーを検索するようなケースです。SaaS アプリケーションがあり、組織がサインアップして、その中に多くの異なるユーザーがいるような場合、ユーザー管理ページの深いところで、アプリケーション内の管理者は誰かを調べたいとします。特定の組織内に最大100人、200人、または300人のユーザーしかいない場合、管理者ユーザーを表示するだけのために別のインデックスは必要ありません。すべてのユーザーをフェッチして、その後で管理者にフィルタリングすることができます。
ここでの大まかな経験則は、その全体的な検索ベース、この場合は特定の組織内のすべてのユーザーをフェッチすることが、1メガバイト未満、つまり1つの DynamoDB クエリページ未満の場合、通常はセカンダリインデックスは必要ないということです。もちろん、読み取りの頻度や他のさまざまな要因によって異なります。 では、最初のポイントはこれです。インデックスが本当に必要か?インデックスを避けることができるか?2番目のポイントは、インデックスが必要な場合、すべてのアイテムをインデックスに入れる必要があるかということです。ここで sparse index パターンが登場します。
セカンダリインデックスについて重要なのは、DynamoDB はインデックスキー属性をすべて持っているアイテムのみをセカンダリインデックスに書き込むということです。GSI 1 PK と GSI 1 SK を持っているか、これらのマルチ属性複合キーを使用している場合、セカンダリインデックスにレプリケートされるには、すべてのそれらの異なる要素を持っている必要があります。そしてこれを自分の利点に使うべきです。
では、戻ってみましょう。最初に見せた orders テーブルがありましたね。例えば、「特定の顧客でサポート対応があった注文をすべて検索する」というアクセスパターンがあったとしましょう。その場合、注文がサポート対応を受けたときに、そのサポート対応のタイムスタンプ属性をレコードに追加して、対応がいつ発生したかを示すようにするわけです。ただし、すべてのレコードがこの属性を持つわけではないことに注意してください。
そのサポート対応のタイムスタンプを使ってセカンダリインデックスをテーブルに設定し、username でパーティション化して、サポート対応のタイムスタンプでソートすると、order support index ができます。これは両方の属性を持つアイテムのサブセットだけを含むようになります。サポート対応を持たないすべてのレコードがフィルタリングされています。つまり、これをモデリングの観点からも活用してください。基本的に「support interaction が true である」というデータセット全体に対するグローバルフィルターのようなものです。primary key、partition key、sort key でフィルタリングを行いたいのですが、セカンダリインデックスでもこのスパースインデックスパターンを使ってフィルタリングを行うのが、データをフィルタリングするもう一つの良い方法です。
また、このインデックスから読み込まないアイテムをレプリケートするために料金を払う必要がなくなるため、コストも削減されます。あるいは、条件に合わないレコードを過剰に読み込んでフィルタリングする必要もありません。これが 2 番目のコスト管理のコツです。まず、「インデックスが必要か」。次に、「インデックスにすべてのアイテムが必要か」。最後は、「インデックスに完全なアイテムが必要か」で、アイテムのどの部分をインデックスに投影するかを選択できます。
昔は全部投影しろと言ってましたが、実は多くの場合、本当にコストがかかるんです。ユーザーレコードについて考えてみてください。ユーザーについての多くの情報を持つユーザー詳細ページがあるかもしれません。長い自己紹介セクション、設定、アクティビティログがあり、最近のアクションの一部を保存しているかもしれません。本当にいろいろなものがあります。しかし、「list users」というアクセスパターンがある場合、そのデータのほとんどは必要ありません。見てみると、user ID、名前、メールアドレス、ほんの少しのバイト情報だけが必要です。
つまり、組織内でユーザーのリストを作成するアクセスパターンがある場合、そのすべてのデータをレプリケートしたり、セカンダリインデックスに投影したりする必要はありません。インデックス投影では、セカンダリインデックスに投影する属性をよく考えてください。そうしないことで大きな節約ができます。それは 3 つの方法で実現されます。1 番目は、書き込みで消費される WCU を削減することです。5 キロバイトのユーザーレコードがあっても、そのうち 1 キロバイト未満をセカンダリインデックスに投影している場合、WCU を 5 から 1 に削減できます。これだけで 80% の節約です。しかし、さらに良いのは、一部の書き込みを完全に防ぐことができるということです。
ユーザーがバイオを更新しても、それをセカンダリインデックスにレプリケートしていなければ、セカンダリインデックス内のそのレコードは更新されません。つまり、そのライト操作を完全にスキップできるので、セカンダリインデックスのライトを100パーセント節約できるわけです。 さらに、読み取り側でも役に立ちます。なぜなら、すべてのユーザーを読み取るときに、そこにある各レコードに対して WCU を支払う必要がなくなり、はるかに小さいアイテムに対してだけ支払えばいいからです。読み取り時のページ数も減るので、このあたりのプロジェクションについては本当に慎重に考えてください。それからもう一つ言いたいのは、これは一方通行ではないということです。
セカンダリインデックスは後から作成することもできます。スキーマエボリューションのセクションで見ていきますが、必要に応じてプロジェクションを時間とともに変更する場合、より大きいまたはより小さいプロジェクションを持つ新しいセカンダリインデックスを作成してから、古いインデックスをドロップして新しいインデックスから読み取りを開始することができます。これがセカンダリインデックスです。ここでの重要なポイントは、可能な限りマルチ属性複合キーパターンを使用することです。これは本当に大きな追加機能で、コストを大幅に削減し、ロジックを大いにシンプルにしてくれます。
スキーマ進化の課題 - DynamoDB で難しいパターンの理解
テーブル全体のグローバルフィルタリング用にスパースインデックスを検討してください。そして、そのインデックスコストフローについて考えてください。そのインデックスが必要ですか?必要な場合、すべてのアイテムをインデックスにレプリケートする必要がありますか?そして最後に、完全なアイテムをそのインデックスにレプリケートする必要がありますか? では次に、スキーマエボリューションについて話しましょう。これはよく聞かれる質問で、DynamoDB ではアクセスパターンを知っておく必要があるという話をしましたが、それが多くの人に「DynamoDB はアプリケーションが変わらなければ素晴らしい」と言わせています。
でも、私はそうは思いません。私は多くの異なる DynamoDB アプリケーションに携わってきましたが、それらはすべて時間とともにさまざまな方法で進化してきました。だから、そうは思いません。本当のところは、特定のパターンは DynamoDB ではいつも難しくモデル化できるということで、時にはそれが後から出てきて、これは難しすぎると思ってイライラすることもあります。 では、スキーマエボリューション に実際に移る前に、DynamoDB ではいつも難しいパターンについて話しましょう。大きなものは、テーブルの周りに集計がある場合です。 DynamoDB にはネイティブな集計機能がありません。アプリケーションコードで書く必要があります。「このカスタマーは毎月何件のトランザクションを行ったか?」とか「カスタマー Y が行った最大の購入は何か?」といった質問がある場合、 DynamoDB では難しいです。自分たちでそのいくつかを管理する必要があります。
より一般的なものは、「DynamoDB は進化できない」と言っている人たちが出てくるときのものだと思います。 それは複雑なフィルタリングニーズです。つまり、2 つ以上のプロパティでフィルタリングまたはソートしていて、それらがすべてオプションである場合です。これは本当に難しいですよね?
では、テーブルビューにあるレコードのリストがあって、ユーザーに対して多くの異なる属性を表示したいとしましょう。ユーザーがどのフィールドでフィルタリングするかを選択できるようにしたいし、異なる方法でソートもしたいですよね。これって本当に難しいんですよ。もし「この会社のすべてのトリップで、Omaha空港から出発したもので、500マイル以上で、この時間範囲内のものを見つけてくれ」と言ったとしたら、これは DynamoDB でモデル化するのが本当に難しいパターンになるんです。たとえ初日からテーブルのコードを書く前にこれを知っていたとしてもです。これは難しいパターンなんですよ。
簡単にはできません。ここ数年、複雑なフィルタリングについてもっと話してきたので、それを見てもらえます。DynamoDB でそれを実現する方法もあります。時には OpenSearch や ClickHouse みたいな別のものを使いたい場合もあります。そして時には「ほら、これは別のデータベースの方がいいんじゃないか」って思うこともあります。でも複雑なフィルタリングは難しいんです。だから言えることは、特定のパターンは DynamoDB では常に難しいということで、もしそれが後から出てきたら、やっぱり難しいままなんです。でもそれは DynamoDB を進化させるのが難しいからじゃなくて、このパターンが DynamoDB では難しいからなんです。
スキーマ進化の実践 - 3つのタイプの変更とその対処法
だから、実際に見かけるより伝統的なスキーマ進化について話したいし、DynamoDB に実際に適合するアクセスパターンに対してそれをどう扱うかについても話したいんです。ここでは support ticket アプリケーションという例を使ってやります。顧客が support ticket を提出できて、異なるユーザーに割り当てられるんです。そして私たちはこんな感じのテーブルを持つことになります。partition key が tenant ID で。このテーブルに異なるチケットがすべて入っていて、それぞれ異なる属性を持っています。
さて、アプリケーションが進化していく中で、まず最初にあなたが実行している進化のタイプを理解したいと思います。アプリケーションで一般的に見かける進化のタイプは主に3つあると思うし、それらの扱い方はちょっと異なるんです。最初のものは データアクセスに影響しないスキーマ変更かもしれません。このスキーマ変更に基づいてフェッチしていないんです。
では support tickets に戻ってみましょう。左側ここに、顧客のティアに基づいてこれらの小さなバッジを追加したかもしれません。彼らは platinum 顧客かもしれないし、gold かもしれません。私たちがやっていることは、support エージェントがその顧客ティアが何かを理解するのを助けることだけです。でも見てわかるように、その顧客ティアでのフィルタリングとか何もないんです。純粋にそこに置いている小さなバッジなんです。この場合、新しいけれどインデックスされていない属性を追加しているんです。インデックスしていません。そしてこれは一般的に DynamoDB で扱うのが最も簡単なタイプの進化です。
DynamoDBがスキーマレスだという話をしましたね。つまり、新しいアイテムに対して新しい属性を好きなときにテーブルに書き込み始めることができるということです。ですから、この新しい customer tier 属性をアイテムに書き込み始めています。見てわかるように、アイテムによってはこれを持っていないものもあります。既存のアイテムはこの customer tier 属性を持っていないかもしれませんが、それで大丈夫なんです。これはちょうど SQL テーブルにデフォルト値を持つ新しいカラムを追加するのと同じようなものですが、今はそのデフォルト値は DynamoDB ではなく、アプリケーションコードに入ることになるということです。
これが最も簡単なタイプの進化です。やるべきことは、アプリケーションコード内でそのスキーマを更新することです。ほとんどの場合、ここで対応することになります。デフォルト値を追加して、それに対応するようにスキーマを変更します。前に話した有効なスキーマ、モデリングのメタゴールを持つことについてですが、ここに異なるチケットスキーマがあるとしましょう。下部にこの新しい customer tier 属性を追加するかもしれません。これは異なる値を持つことができます。その特定のレコードを持たないアイテムのためのデフォルト値があります。スキーマの変更がどのくらい複雑かによって、異なるスキーマのバージョン管理が必要になるかもしれません。最初にやることは、そのバージョンを検出することです。バージョンに基づいてチケットを異なる方法で解析する必要があるかもしれません。そして、それをある種のスキーマに正規化します。しかし、ほとんどの場合、これはアプリケーションコード内で対応できます。
とはいえ、これは完全にアプリケーションコード内で対応できます。しかし、実は既存のデータをすべてバックフィルしたいと判断するかもしれません。そのための理由がいくつかあります。1つ目は、時間とともにスキーマの肥大化が起こる可能性があることです。スキーマの20個の異なるバージョンを持つようになり、それについて考えるのが難しくなります。例えば、V2 のアイテムがあったら、それが V16 のアイテムになるにはどうなるのか、みたいなことですね。ですから、それを管理するよりも、むしろ簡単かもしれません。「よし、既存のレコードをバックフィルして対応しよう」と言うだけです。もう1つのことは、OpenSearch 検索用、ClickHouse、S3 と Athena 分析用など、外部システムにデータをエクスポートしているかもしれないということです。アプリケーションの OLTP 部分ではデフォルト値を処理できますが、今はそれらのシステムを保守している人たちにすべてのそれらの値を伝える必要があり、対応するのが難しくなる可能性があります。ですから、長期的なデータ衛生上の理由から、バックフィルして既存のアイテムにこの新しい値を更新しようと言うかもしれません。その場合、この最初のタイプの進化から抜け出ることになります。すぐに話す3番目のタイプに入ることになります。しかし、少なくとも、これを完全にアプリケーションコード内で対応できるのです。これはスキーマの変更、新しい属性の追加、属性の名前変更など、アクセスに影響しないものを処理することです。これはほぼ簡単なアプリケーションのみの変更です。
2番目のタイプは、既存の属性に対する新しいインデックスです。サポートチケットを見ると、最初はフィルタリングなしでフラットなリストで表示しているだけです。これは5つのチケットがあるときはうまく機能しますが、時間とともに5,000個のチケットや500,000個のチケット、または500万個のチケットを持つようになります。今は自分のチケットだけにフィルタリングする方法が必要です。私はサポートエージェントで、担当者でフィルタリングしたいので、自分が持っているチケットだけをくれと言うことができます。これはモデリングとモデリングのメタゴールに戻ります。必要なときに必要なデータを簡単に操作できるようにすることです。ですから、必要なのは既存の属性に対する新しいインデックスです。良いことに、グローバルセカンダリインデックスはいつでも追加できます。テーブルに新しいセカンダリインデックスを追加することができ、DynamoDB がそれを処理してくれます。戻ってみると、既にこの assignee 値を持っていることがわかります。これをパーティションキーとして設定できます。created at またはチケット ID をソートキーとして使用できます。DynamoDB がそれをバックフィルするための作業を行い、今はそれに応じてクエリできます。
このための一般的なプロセスは、1番目に、インフラストラクチャアズコードツールであろうと、AWS コンソールで直接行おうと、そのインデックスを追加することです。DynamoDB がバックフィルを開始し、基本的にテーブル内のすべての既存アイテムをスキャンして、セカンダリインデックスに書き込んでレプリケートします。そのバックフィルが完了したら、セカンダリインデックスのクエリを開始できます。その初期バックフィルが完了するまでクエリできないので、ここでアプリケーションアクセスパターンを追加して、そのインデックスから読み取りを開始します。これはかなり簡単で直感的な変更です。既存のデータに異なる方法でアクセスしたいということです。DynamoDB が新しいインデックスのバックフィルを行ってくれ、それは特に難しくありません。
3番目の進化のタイプは、既存のデータに対して何らかの 変更を加える必要がある場合です。以前バックフィルについて話したように、ここで挙げた例は、priority と status のようなものを持つレコードがたくさんあるけれど、緊急ボタンを追加して、最も緊急なチケットだけにフィルタリングして、そこで対応したいものを見つけたいというケースです。そのボタンをクリックすると、これらの緊急 チケットにフィルタリングされるので、何に対応したいのかが分かります。そのアクセスパターンが少し複雑で、ビジネスロジックを含んでいるとしましょう。緊急チケットとは何か。私たちが決めたのは、priority が P1 または P2 で、status が open または pending のいずれかで、そして created at でソートしたいというものです。テーブル内の既存のアイテムを見ると、 この条件に合致するアイテムがいくつかありますが、 これらの緊急アイテムだけにインデックスを張ってフィルタリングするために使える既存の属性は本当にはありません。そこで、テーブルにレコードを書き込むか更新するときに、ビジネスロジックに基づいてその条件に合致すれば、 is urgent true フラグもそれに追加します。これは単に、これが緊急チケットであることを示すためのものです。その後、そのパーティションキーを使ってセカンダリインデックスを作成でき、複数の ソートキーの値を持つことで、is urgent フラグを持つチケットだけが緊急チケット GSI にレプリケートされるようになります。これが、私たちが今話していたスパースインデックスアクセスパターンです。 ここには緊急レコードだけがあります。
これは既存のデータを変更する必要がある場合です。ここでの問題は、テーブルに緊急フラグを持たないチケットがたくさんあるけれど、本当に緊急なものについてはそれを追加する必要があるということです。これは主に、テーブルの新しい属性に対して新しいインデックスが必要な場合、または新しい属性をバックフィルしている場合に発生します。最初のタイプで話していたようなインデックスを使用していない場合でも、新しい属性で既存のアイテムをバックフィルする必要があります。このための一般的なプロセスは、まずアプリケーションコードを更新して、この新しい属性の書き込みを開始することです。やってはいけないことは、バックフィル全体を実行してから、バックフィルが完了した後に新しいアイテムがこの新しい属性を取得していないという状況です。ですから、 アプリケーションコードを更新して、今後新しいアイテムにこの新しい属性を書き込むようにしてください。その後、実際にバックフィルを開始します。これは、テーブル内のすべてのアイテムをスキャンして、 この新しい属性が必要なものを特定し、update item 操作を実行するということです。それが完了したら、新しいインデックスが必要な場合は、 アプリケーションコードを更新して、実際にそこで新しい属性を使用します。これは大変なプロセスに思えます。DynamoDB にインデックスをバックフィルしてもらうのと比べると、全然楽しくありません。これを簡単にするためのツールがあります。 これは素晴らしいことです。自分でスクリプトを書く必要はありません。AWS Glue があり、DynamoDB テーブルで直接操作してこのようなことができます。 S3 へのエクスポートを使用してテーブル全体を S3 にエクスポートし、Glue でそこで操作して DynamoDB に書き戻すこともできます。私の新しいお気に入りは、bulk executor があることです。 DynamoDB SA の Jason Hunter が、この新しい bulk executor ツールを作成しました。これは GitHub にあります。
彼は DynamoDB の dynamo です。このツールを使うと、このようなことができて、これらの種類のマイグレーションを実行するのが非常に簡単になります。AWS Step Functions を使う人も見かけたことがあります。Step Functions が得意なら、これでも動作します。私は他のものの方が好きですが、どれでも機能します。
最後のもの、既存のデータの変更は、おそらく最も難しいものです。バックフィルが必要だからです。 しかし、マルチ属性複合キーを持つようになった今、これはかなり一般的ではなくなったとも言えます。最初にこの例を作ったとき、2番目の例に適用するつもりでした。新しい assignee インデックスを追加している例です。合成キーを作成するのが非常に一般的だったと言っていました。パーティションキーが tenant ID と assignee のようなものである必要があるかもしれません。テナント全体で一意にするためです。 これで新しい tenant assignee 値が得られます。セカンダリインデックスのためにアイテムに追加する必要があるある種のプライマリキーです。 ですから、既存のテーブル内のすべてのアイテムに対して、この新しい tenant assignee インデックスを処理するために装飾を施す必要があります。 これらの合成キーでそれをするのは本当に面倒です。
しかし、マルチ属性複合キーを持つようになったので、パーティションキーについて、PK1 値を tenant ID にして、PK2 値を assignee ID にして、ソートキー値を ticket ID にすることができます。 これがすべてを処理してくれます。セカンダリインデックスのための合成キーのバックフィルをする必要がありません。 これはこれらのバックフィルを本当に防ぐのに役立つはずで、これでアプリケーションのみの変更、または DynamoDB にインデックスをバックフィルしてもらうというより簡単な世界に入ります。 これは本当に簡単です。
schema evolution のセクションから得られる主な要点は、DynamoDB にとって難しいことがいくつかあるということです。それはいつやるかに関わらず難しいということですね。 もしそのユースケースについて後で気づいたとしても、最初から知っていたかどうかは関係ありません。複雑なフィルタリングは DynamoDB では難しくなるので、おそらく最初から考えておくべきです。将来的に複雑なフィルタリングのようなユースケースが必要になるのか、そしてそれが必要になったときにどう対処するのか。 外部システムを使うのか、DynamoDB で自分でやるのか、それとも単に別のデータベースを選ぶべきなのか。
それ以外は、ほとんどのタイプの evolution は非常にシンプルで、その 3 つのバケットのいずれかに当てはまります。カバーしなかった難しいタイプもあります。 primary key を変更する必要がある場合、それは実は難しいものです。新しいテーブルを作成する必要があり、マイグレーションが必要で、しばらくの間 dual write をして、そのようなことを処理する必要があります。primary key を変更することは非常にまれだと言えます。なぜなら primary key は、レコードを識別して操作する正規の方法だからです。 通常、それが大きく変わることはないので、起こることもありますが、それほど一般的ではないと言えます。
アンチパターンクリニック - kitchen sink item collection と過度な正規化の回避
より一般的なのは、アイテムを結合または分割する必要がある場合です。例えば、何らかの denormalization をしている場合ですね。 それはマイグレーションよりも難しい場合がありますが、不可能ではなく、少し難しいです。テーブルが正規化されているほど、ある意味では denormalization は簡単になります。しかし同時に、正規化されているほど、このような変更を行うのも簡単になります。 よし、12 分あります。anti-pattern clinic をさっと進めましょう。これらは、人々が私にデータモデルを見てもらい、これらのことについて話し合うよう依頼するときのことです。これらは私がよく見かけることで、もっと良くできると思うことです。
最大のものは、私が kitchen sink item collection と呼ぶものです。単一の item collection に何もかも詰め込んでいるような状況ですね。 item collection は、与えられた partition key を共有するすべてのレコードです。誰かが私のところに来て、こう言います。ここが私のデータモデルです。この特定の partition key があり、これは特定のユーザーのためのものです。この item collection には、44 の異なるエンティティタイプがあります。そのユーザーのための支払い方法があり、実際のユーザーレコードがあり、彼らの注文があり、そのすべてのための注文アイテムがあります。 これをオーバーロードしても大丈夫な場合もありますが、やりたいことは、同じ item collection にアイテムを一緒に置き、同じ partition key を与えるのは、それらを一緒に取得する場合だけです。
その query 操作を使用して、その 1 つの連続した読み取りを行い、異なるアイテムタイプを単一のリクエストで取得する必要がある場合、それはそのときです。誰かがこれを見せてくれたら、私はこう言います。ユーザーレコード、すべての支払い方法、すべての注文、すべての注文アイテム、そのすべてを取得する必要があるアクセスパターンがありますか?そして彼らは言います。いいえ、いいえ、異なる時間にそのサブセットを取得するだけです。通常は一度に 1 つのアイテムタイプです。その場合、これらを分割することができます。 これは機能的には全く同じものですが、すべてを同じ item collection に入れることの複雑さがありません。支払い方法の item collection があり、すべてが一緒に保存されており、今はすべての支払い方法を非常に簡単にリストアップできます。そのユーザーレコードを直接取得できます。 注文と注文アイテムを組み合わせた item collection があり、単一のリクエストでそれらを簡単に取得できるようにしたい場合もあるかもしれません。しかし、すべてを 1 つの item collection に詰め込むのではなく、意図的かつ戦略的にそれをしています。ですから、繰り返しになりますが、一緒に取得されるアイテムだけを一緒に置いてください。異なるアイテムタイプをグループ化する大きな理由は、第 1 に、それらのアイテムが頻繁に一緒に取得されることです。基本的に、それらのレコードを事前に結合しているわけです。それは注文と注文アイテムです。
それを1つのリクエストで取得したいんです 。2つの別々のリクエストを作るのではなく。それは有効な理由になります。もう1つの理由は、ほぼ逆の理由なんですが、時々1つのエンティティを垂直にシャードして 、2つの異なるエンティティに分割することがあります。特にこれが起こるのは、非常に頻繁に更新される属性があるけれど、同時に大きなアイテムがたくさんある場合です。毎回そのアイテム全体を更新するコストを払いたくないので、2つの異なる属性に分割して、その後クエリを実行したり、全体を一緒に取得したりできますが、更新を行う際には、より小さくターゲットを絞った更新ができます。
最後の理由は、アイテムタイプ全体でのストリーム処理が必要で、ある種のパーティションキー内で順序付けが必要な場合です。LSI でこれを実現できます。これはかなり高度だと思います。本当に必要だと思ったら、いつか私に相談してください。これらが異なるアイテムタイプをグループ化する理由です。ですから、これが1つのアンチパターンだと思います。 それが1つのアンチパターンです。すべてを同じアイテムコレクションに詰め込むことです。それに関連する、またはその逆は、単に過度に正規化されたモデルを作成することです。「テーブル」という言葉を見て、「リレーショナルデータベースの世界からテーブルを知っている、DynamoDB のテーブルも知っている」と思います。リレーショナルデータベースから正確なモデルを DynamoDB に持ち込むべきではありません。DynamoDB スキーマのテーブル数は、リレーショナルデータベースよりも少なくなる可能性が高いです。
ここでやりたいことは、賢明な非正規化を使用することです。どこでデータを複製できますか? どこで埋め込みを使用できますか?その階層をどのようにフラット化して、そのクエリを処理するために4つの異なるテーブルを機能的に結合する必要がないようにできますか?それらの属性をすべて1つのアイテムまたは2、3のアイテムに一緒に配置するにはどうすればよいですか?ただし、1つのテーブルにすべてのアイテムを入れることが必ずしも正しいわけではないと言います。 以前に話した単一テーブルのものがたくさんあります。必ずしもそれをする必要はありません。多くの複雑さが追加されます。ブラスト半径の問題があります。ストリーム処理を行っている場合、異なるタイプのエンティティがある場合、これは難しくなる可能性があります。設定でさえ、TTL、バックアップ、課金モード、グローバルテーブル、すべてのそのようなものが1つのテーブル内で同じである必要があり、異なるエンティティタイプに対して異なるニーズがある可能性があります。
ですから、ここでの一般的なルールはこれです。 異なるエンティティを同じアイテムコレクションに一緒に配置するのは、それらを一緒に取得する少なくとも1つのアクセスパターンがある場合だけです。注文と注文アイテムは、注文に関するすべての情報を取得するためにそれらをすべて一緒に取得したいので、それらを同じアイテムコレクションに配置してください。それは問題ありませんが、支払い方法をそこに配置しないでください。 それを考えると、異なるエンティティを同じテーブルに配置するのは、それらが少なくとも1つのアイテムコレクションで一緒にある必要がある場合だけです。ですから、私たちの例に戻ると、支払い方法は別のテーブルに入れることができ、ユーザーは別のテーブルに入れることができ、注文と注文アイテムを同じテーブルに一緒に保つことができます。 DynamoDB が複数属性の複合キー、オンデマンド課金、適応容量、このようなすべてのもので簡素化した方法のすべての利点を得ることができます。単一のテーブルに関連のない属性をたくさん一緒に配置する必要はありません。少なくとも1つのアクセスパターンで実際にそれらを一緒に取得している場合にのみそれを行ってください。
その他のアンチパターンとまとめ - API の適切な使用とベストプラクティス
もう1つ私が多く見かけるのは、DynamoDB API を隠すときです。時々誰かが私に言うことがあります。「DynamoDB は任意のスケールで一貫したパフォーマンスを持っていると聞きました。クエリセットが大きくなり始めると、操作が遅くなっています。ここで何が起こっているのですか?」ほぼ常に、何らかの抽象的なクエリアイテムまたはクエリ DynamoDB アイテムのようなもので抽象化しようとしています。 そのクエリ操作では、パーティションキーとソートキーでフィルタリングできます。それらをパラメータとして取得しますが、その後フィルタと制限を追加して、基本的に DynamoDB の上に複雑な フィルタリングを提供しようとしていますが、舞台裏で何が起こっているかを隠しています。今何が起こっているかというと、非常に選別的なフィルタがあります。制限がどのように機能するかを理解していません。このリクエストを満たすためにすべてのそれをページネーションするようなものです。ですから、このようにクエリ API を隠したくないと思います。実際にデータ分布について考え、データをどのようにフィルタリングするか、ページネーションがどのようになるか、それをどのように管理するかについて考える必要があります。これは人々に問題をもたらす可能性があると思うからです。
DynamoDB API に関連して、DynamoDB API 全体を使わないという話ですね。 インクリメント操作がある場合、多くの人がまずアイテム全体を読み込んで、メモリ内である値をインクリメントして、その後アイテム全体を書き戻すというのを見かけます。 こうすると、レース条件が発生しないようにバージョン管理を行う必要があります。基本的にはオプティミスティック同時実行制御をやっているわけです。 これは色々と複雑になるんですが、実は UpdateItem を直接そのレコードに対して実行することができるんです。 このカウンターレコードに対してアトミックな更新ができます。そのカウントをインクリメントできます。そこに条件を付けて、それが存在することを確認したり、色々なことができます。 ですから、この種の更新を処理するために読み込んでから書き込むという必要はないんです。カウンターは本当に興味深い領域で、Jason と Chris による DynamoDB のリソースカウンターについての素晴らしいポストがあります。 カウンターは難しい問題の一つだと言えます。そのポストでは7つの異なる処理方法が示されています。また、DynamoDB でのべき等性について一般的に考えるのにも良い方法です。これらのパターンの多くは、どんなべき等性の要件があっても機能します。
ですから、ぜひそのポストをチェックしてください。私もそれについて話そうと思っていたんですが、これがそれをカバーしているので、私が話す必要はないと思います。では、これが私が見かける大きな2つのアンチパターンです。最後のいくつかは、 人によっては常に強い一貫性のある読み込みをデフォルトとして使用しているということです。DynamoDB では、デフォルトの結果整合性のある読み込みを選択すると、RCU 消費量で50%節約できます。ほとんどの場合、強い一貫性のある読み込みは必要ないと言えます。遅延はそこまで大きくなく、通常は問題にはなりません。結果整合性のある読み込みの割引を活用することをお勧めします。
もう一つは、本当に大きなアイテムを持っていて、アイテムサイズについて考えていない、またはそれがコストをどのように膨らませているかについて考えていないということです。 こういったことについて考えて、アイテムをスリムダウンして、それほど高くならないようにする方法を考えることが大切です。最後のものは TransactWriteItems の過度な使用です。transact API は 多くの点で本当に有用で価値がありますが、コストと遅延が追加されます。多くのトランザクションに関わるアイテムを扱っている場合、同時実行の問題と transact の競合の問題があります。ですから、私はいつも低ボリュームだが高価値の操作にトランザクションを使用することをお勧めします。すべての操作に使用したくはありませんが、銀行残高をインクリメントするなど、非常に高価値なものがある場合、またはそのようにトランザクションを処理する場合、それは低ボリュームで高価値です。しかし、すべてに使用しないでください。
では、到着しました。要約として、今日カバーしたことはこれです。 すべてのこれらの異なることです。これについていくつかの主な要点があります。最大のことは、DynamoDB API でのパーティショニングを本当に理解していることを確認することだと言えます。API を隠さないでください。particle のようなものを使わないで、 DynamoDB API で何をしているかを理解して、そのパフォーマンスプロファイルがどのようになるかについてより良い理解を持ってください。データモデリングのメタゴールを覚えておいてください。 キーは、書き込むデータが整合性を保ち、有効であり、後で使用でき、また迅速に対応でき、任意のスケールで一貫したパフォーマンスを得ることができるようにしています。
ドメインを知り、トレードオフを検討してください。ある意味では、クエリプランナーになる必要があります。データにどのようにアクセスするかを知る必要があり、 それらの異なることに対応するようにそれを配置する必要があります。最後に、シンプルに保ってください。複雑にしないでください。これらの新しいマルチ属性複合主キーを使用してください。 以上です。来てくれてありがとうございます。本当に感謝しています。繰り返しになりますが、何か質問があれば、DynamoDB ブースで会いましょう。でも、来てくれてありがとうございます。
※ こちらの記事は Amazon Bedrock を利用し、元動画の情報をできる限り維持しつつ自動で作成しています。




















































































































































































































Discussion