re:Invent 2024: QuickSightチームがAmazon Q統合とBI拡張を解説
はじめに
海外の様々な講演を日本語記事に書き起こすことで、隠れた良質な情報をもっと身近なものに。そんなコンセプトで進める本企画で今回取り上げるプレゼンテーションはこちら！
📖 AWS re:Invent 2024 - Scale BI to all your users with Amazon Q in QuickSight (BSI206)
この動画では、QuickSightのプロダクトマネジメントチームが、最新のBI機能とデプロイメントプラクティスについて解説しています。Amazon QとQuickSightの統合による自然言語でのビジュアライゼーション作成や、AIを活用したストーリーテリング機能など、最新の機能を詳しく紹介しています。また、Capital Oneの事例として、16,000人以上のアクティブユーザーが利用する大規模な統合環境の構築や、QuickSightの埋め込み機能を活用したRAPTORシステムの開発、環境クリーンアップによるSPICEコスト30%削減の実現など、具体的な活用方法と成果が共有されています。
※ 動画から自動生成した記事になります。誤字脱字や誤った内容が記載される可能性がありますので、正確な情報は動画本編をご覧ください。
※ 画像をクリックすると、動画中の該当シーンに遷移します。
re:Invent 2024関連の書き起こし記事については、こちらのSpreadsheet に情報をまとめています。合わせてご確認ください！
本編
Amazon QとQuickSightの概要：BIのスケーリングに向けて
始まりましたね。皆様、こんにちは。re:Inventの次の日が近づいてきていますね。BSI 206「Amazon QとQuickSightによるすべてのユーザーへのBIのスケーリング」にご参加いただき、ありがとうございます。私はSean Boonと申します。QuickSightのエンタープライズBIとレポーティングに焦点を当てたプロダクトマネジメントチームを率いています。本日は、General ManagerのTracy Daughertyと、長年QuickSightをご活用いただいている素晴らしいお客様であるCapital Oneにもご参加いただいており、後ほど彼らの事例をご紹介いただく予定です。
アジェンダについてご説明します。まず、Amazon QとQuickSightの紹介から始めます。次に、デプロイメントのプラクティスについて、特にアセットへのアクセス管理、機能の管理、クエリとデータの管理に焦点を当てて説明します。その後、QuickSightの最近のローンチについてご紹介します。約45分前に「What's new」ページを確認したところ、現時点でも更新が続いているのですが、10月以降に16件のQuickSightローンチがあり、そのうち8件は先週の発表で、本日発表されたものも含まれています。まだご確認されていない方は、プレゼンテーションの中でご紹介させていただきます。また、デプロイメントとBIオペレーションについても説明し、後半ではCapital Oneの事例をご紹介いただきます。
QuickSightの特徴と機能：データドリブンな意思決定を支援
本日は、QuickSightのGMであるTracy Daugherty、プロダクトチームの私Sean Boon、そしてCapital OneからTemesgenとPeterにご参加いただいています。 それでは、こんな質問から始めましょう：データドリブンな意思決定を妨げているものは何でしょうか？ もしデータが不足しているという答えを考えられた方がいらっしゃいましたら、申し訳ありませんが、それは違います。実際には、データスキルとスタッフの不足が問題であり、また、既存のデータの加工、新しい分析の構築、基本的な分析に多くの時間を費やしているのが現状です。さらに、ビジネスユーザーの75%が自身のデータスキルに十分な自信を持てていないのです。
QuickSightチームは、ビジネスユーザーやアナリストがデータを活用できるよう支援し、彼らのニーズに応えることを日々の使命としています。私たちのサービスは、お客様のアナリティクスの進捗状況に合わせて提供する必要があります。ダッシュボードを使いたいユーザーもいれば、ダッシュボードを構築したいユーザーもいます。組織内でアナリティクスを行うためには、それぞれのニーズに応え、協力して作業を進める必要があります。
QuickSightは、モダンなダッシュボード、ピクセルパーフェクトなレポート、組み込み分析を提供する統合BIサービスです。これらの機能は組織内で使用するだけでなく、埋め込んで利用することもできます。あらゆる規模で優れたパフォーマンスを発揮し、必要な分だけ支払う方式で、コストを抑えることができます。組織内での役割に応じて、異なるユーザー向けに様々な価格オプションをご用意しています。ポリシーベースのガバナンスとセキュリティを提供しており、現在10万以上のお客様にQuickSightをご利用いただいています。 画面には多くのお客様が表示されていますが、本日のゲストであるCapital Oneもその一つです。また、何千ものお客様がQuickSightをアプリケーションに組み込んでご利用いただいています。
組織内のユーザーの75%がスキルに自信がないという先ほどの指摘についてですが、QuickSightを導入したお客様では、BIの利用率が最大300%増加することがわかっています。
これは、以前の分析ソリューションと比べて、QuickSightでより多くのユーザーにリーチできていることを示しています。 QuickSightでできることについてですが、美しいインタラクティブなDashboardを作成することができます。これらのDashboardは豊富なインタラクティブ機能を備えており、どのデバイスからでも、非常に高速なナビゲーションでデータのドリルダウンやフィルタリングが可能です。最新情報へのデータ更新も可能で、QuickSight内でアセットを公開するための複数の方法を提供しています。
2つ目の機能は、クラウドでのPixel-perfect Reportingです。Dashboardとは異なり、Pixel-perfect Reportとは、銀行や金融機関からメールで受け取るような形式が整ったレポートのことです。私も毎月エネルギー会社からこのようなレポートを受け取っています。これらは完璧にフォーマットされたPDF形式のレポートです。何千行もあるテーブルを一度に画面に表示するのは非常に困難ですが、このような場合にPDFに出力すれば、保存や印刷時にすべての行を取得できます。
QuickSightでは、Pixel-perfect ReportとDashboardの作成を同じ環境で行うことができます。データ、チャート、データセット、計算など、Dashboardを構築するために使用するすべてのものを使って、そのDashboardのすぐ隣でPixel-perfect Reportを作成できます。さらに、インタラクティブなシートからワンクリックでPixel-perfect Reportシートを作成することも可能です。画面上の要素を自由に移動でき、サーバーレスなので需要に応じて自動的にスケールします。 Pixel-perfect Reportingについては、必要な量に応じて異なるオプションがあり、それに応じて料金をお支払いいただきます。
先ほど触れたように、QuickSightにはEmbedding機能もあり、お客様は何千ものアプリケーションをQuickSightで構築されています。 個々のVisualizationの埋め込みやDashboardの構築が可能で、アプリケーション内にオーサリング機能一式を埋め込んで顧客に提供しているお客様もいらっしゃいます。
Amazon QとQuickSightの統合：AIによる分析の革新
では、Amazon QとQuickSightについてお話ししたいと思います。 私たちは、すべてのユーザーの効率を高めながら、全体的な使い勝手を向上させることを目指しています。なぜなら、そうすることで、より多くの人々が分析に参加できるようになるからです。 QuickSightのAmazon Q機能を使用すると、画面に表示されているように、自然言語を使用してビジュアライゼーションを作成できます。データに対して質問を投げかけると、分析やPixel-perfectレポートに追加できるビジュアライゼーションが得られます。
また、自然言語を使って計算式を作成することもできます。計算式における括弧の位置や引数の順序を考えるのが好きではない人も多いですよね。 自然言語を使えば、必要な計算を指定するだけで、QuickSightが最適な計算式を作成してくれます。私自身、計算式の作成に多くの時間を費やしていますが、この機能のおかげで大幅な時間短縮が可能になりました。さらに、作成したビジュアルは作成環境内で微調整することができます。手作業や自然言語で作成したビジュアライゼーションに対して、「500を超える行をすべて赤で強調表示して」というような指示を出すと、条件付き書式のルールを自動的に作成してくれます。
ダッシュボードを閲覧するユーザー向けには、ダッシュボードの上部にエグゼクティブサマリーを追加する機能があります。 ビジネスの現在のデータに基づいて、何が変化しているのかを確認できます。これにより、ダッシュボードの上部で重要なインサイトやトレンドを把握することができます。また、比較的新しい機能として、マルチビジュアルQ&A機能があり、自然言語でデータに関する質問をすると、マルチビジュアルな回答が得られます。この機能を使用してみると、お客様の中には非常に具体的な質問をする方もいれば、さらなる探索を行う前にデータについてもう少し理解を深めたいという方もいることがわかりました。このマルチビジュアルQ&Aは、データに対する複数の視点を提供します。
本日、Amazon Q Business との統合を発表しました。これにより、Amazon Q Businessを通じてQuickSightで利用可能な非構造化データを取り込めるようになりました。これには、Amazon Q Businessで利用可能にしたすべてのドキュメントが含まれます。これらの情報はすべて、このマルチビジュアルQ&A機能の回答の一部として提供されます。会議のメモやPowerPointプレゼンテーションの要素なども、現在のQuickSightのQ&A機能の回答の一部として表示されるようになりました。
次の機能 は、AI支援によるストーリーテリングと呼ばれるものです。これはデータストーリーで、この機能を使う際は、データについて伝えたいナラティブを 説明するだけです。より多くの情報を入力すれば、それだけ良い結果が得られます。単に「売上」とだけ入力しても何かは生成されますが、ナラティブに含めたい内容についてガイダンスを与えると、主要なトレンドや次のステップを説明する完全なストーリーを生成します。本日の発表の一つ は、Amazon Q BusinessおよびUnstructuredデータとの統合についてでした。ストーリーを構築する際に この情報が活用されるようになり、Amazon QuickSightで作成するストーリーがより関連性の高いものになります。
さらに、ローカルのラップトップから独自のドキュメントを追加する 機能もサポートするようになりました。ローカルファイルの情報を取り込みたい場合は、ストーリー作成画面で 直接アップロードできます。これらのファイルはストーリーの作成中だけ保持され、実際に保存されるインデックスの一部にはなりません。ストーリーはこの情報にもアクセスできます。
これらすべては、アナリティクスに関するAmazon QuickSightの機能と、データに関するガバナンスの上に構築されており、 ユーザーは適切なアクセス権を持つデータにのみアクセスできます。Amazon Q and QuickSightは、より大きなAmazon Qスイートの機能の一部です。先ほど統合について説明したAmazon Q Business、Amazon Q Developer、Amazon Q in QuickSight、そしてConnectやAWS Supply Chainでも利用可能です。これらの機能をアプリケーション内に組み込むこともできます。 QuickSightのこれらの生成AIの機能をアプリケーション内で使用できるようになりました。
Capital Oneのデータ戦略：QuickSightの大規模採用
ここで、組織におけるアナリティクスの活動について手短にお話ししたいと思います。私はこれをチームスポーツのようなものだと考えています - チームの全員が目標に貢献します。この場合、それはデータ駆動型の意思決定とチームの個々のメンバーに関することです。
これらの個人は異なる機能を果たし、目標を達成するためには全員がそれぞれの役割で優れた働きをする必要があります。人材やプレイヤーに加えて、チームスポーツにスタジアムが必要なように、アーキテクチャも必要です。QuickSightでは、管理が容易で使用した分だけ支払うオートスケーリングサービスを提供しています。
QuickSightの様々な役割について見ていきましょう。まず、ストレージやユーザー、AWSリソースの管理を担当するAdministratorがいます。次に、組織内のクリエイターであるAuthorがいて、データセットの作成、分析の実施、ダッシュボードの公開、そしてそれらの分析やダッシュボードの共有を行います。最も大きなユーザー層がReaderで、ダッシュボードを操作してデータに関する質問を行います。現在、すべてのReaderはAmazon Qによる自然言語での質問応答機能を使用でき、特定のしきい値を超えた際のアラートを設定してメールを受け取ることができます。
Amazon QとQuickSightにより、新たにProユーザーと呼ばれる層が加わりました。このProユーザーには、Admin ProとAuthor Proの2種類があります。Author Proは、先ほど説明した機能に加えて、自然言語でのビジュアライゼーションの作成、計算の設定、ビジュアルの調整が可能です。Reader Proは、先ほどお見せした強力なQ&A機能に加えて、ダッシュボードのエグゼクティブサマリーやAIによるストーリーテリング機能にアクセスできます。
ここで話題を変えて、QuickSightのアセット、データ、そしてQuickSightの機能へのアクセス管理についてお話しします。QuickSightのコアとなるアセットには、データソース、データセット、分析テーマ、ダッシュボードなどがあります。ここに示されているもののうち、データチームが管理する企業データを除いて、これらすべてのアセットはQuickSightシステムの管理者が管理します。
まず最初に、データへの接続が必要です。QuickSightは、オンプレミスやクラウド上のソース、またはアプリケーションなど、多様なタイプのソースへの接続をサポートしています。Salesforce、Adobe Analytics、Jiraなどに接続できます。また、SQL Server、Redshift、MySQL、Google BigQueryなど、最新のデータベースにも接続可能です。最近、Google BigQueryへのダイレクトクエリのサポートを発表しました。
QuickSightの選択理由とCapital Oneでの統合
本日、Matt Garmanのキーノートで大きな発表がありました。それは、S3上で完全に管理されたApache IcebergテーブルであるS3 Tablesの導入です。QuickSightは、S3内に新しく導入されたこれらのテーブルに接続できます。新しく発表された機能は、ここで緑色で示されている部分です。基本的に、これらの新しいS3 TablesはIcebergメタデータと連携し、Athenaを使用して標準的なSQL SELECTステートメントでクエリを実行できます。S3とこのIceberg機能により、データの保存場所やParquetファイルが追跡され、データのクエリに使用できる論理テーブルとして提供されます。
Amazon S3のサイズとデータ保存量について考えてみると、エクサバイト規模のApache Parquetデータが保存されており、1秒あたり1,500万以上のリクエストがこのデータに対して発生しています。QuickSightを使用すると、S3に保存された表形式データだけでなく、非構造化データのメタデータに対しても分析を実行できます。S3テーブルバケットの発表と同時に、もう1つの発表がありました。それは、これらのテーブル内の非構造化データに対するメタデータのサポートです。最終的に、そのデータもApache Icebergフォーマットで表形式データ構造として表現されます。これらの機能を利用するには、S3 Icebergテーブルが AWS Analytics向けに有効化され、AWS Glue Data Catalogに登録された後、Amazon RedshiftとAmazon Athenaを介して接続する必要があります。この最後の部分は現在プレビュー段階です。
QuickSightでデータに接続すると、サポートされている2つの異なるクエリモードがあります。1つ目はSPICEです。QuickSightは、システム内のアクティブユーザー数に関係なく、パフォーマンスとスケールを提供するこの超高速計算エンジンによって動作しています。これはBI分析に特化したクエリエンジンで、SPICEと呼ばれるストレージも備えており、QuickSightのクエリの大部分はこのSPICEルートを使用しています。2つ目はダイレクトクエリです。サポートされている多くのデータソースに対して、データをSPICEに取り込むことなく、データソースに直接クエリを実行できます。これが可能なのは、データソースの上位に計算を定義するデータセットというアセットがあり、そこからダッシュボードやQuickSight内のData Q&A体験を提供するトピックを構築できるからです。
データアクセスを管理する方法には、いくつかの異なる方法があります。1つ目は、QuickSight内で直接データセキュリティルールを管理する方法です。これを行うには、QuickSight内のデータセット上で直接定義された行レベルセキュリティ（RLS）と列レベルセキュリティ（CLS）を使用します。QuickSightとそのアセットを管理するチームは、QuickSightデータセット自体にRLSとCLSルールを定義できます。これにより、RLSとCLSを備えたこれらのデータセットを展開し、異なるロールと異なるデータアクセス権を持つ複数のユーザーに対して単一のダッシュボードを作成できます。これらのRLSルールを定義するには、エンタイトルメントテーブルを使用するか、認証済みユーザーを定義するクエリを使用します。登録ユーザーを使用しない場合は、匿名ユーザー向けにRLSタグを使用できます。
QuickSightに関連するデータアクセス制御の2つ目の方法は、データを取得元のソースシステムでセキュリティ情報を定義する方法です。QuickSightからこれらのシステムに接続するユーザーに対して、ソースシステム内で定義されたルールが尊重されます。IAM Identity Centerからの信頼できるアイデンティティ伝播と組み合わせた場合、特に2種類のデータソース（Amazon Redshift SpectrumとAmazon Redshiftデータテーブル）に対して独自の機能があります。また、SageMaker Lake House機能に関する3つ目の新しい発表もありました。
AWS IAM Identity Centerのトラステッド・アイデンティティ・プロパゲーションは、複数のAWSアカウントやビジネスアプリケーションへのアクセスを一元管理することを非常に簡単にする機能です。ここに示すように、IAM Identity Centerをサポートする様々なアプリケーションがあります。アイデンティティソースをIAM Identity Centerに登録すると、それらの異なるアイデンティティソースすべてがトラステッド・アイデンティティ・プロパゲーションと連携します。ユーザーが信頼されたアイデンティティプロバイダーで認証を行うと、AWS IAM Identity Centerは、ユーザーのアイデンティティと権限を接続されたAWSアカウントとアプリケーション全体に伝播することができます。
この図は、そのプロセスの実際の動作を示しています。データオーナーは、AWS Lake FormationやAmazon Redshiftなどのシステムにおいて、行レベルおよび列レベルのセキュリティを定義する責任があります。ユーザーがダッシュボードレベルで認証されると、そのアイデンティティがソースシステムまで伝播され、ソースで定義されたルールに従ってそのユーザーの権限が適用されます。これにより、QuickSightでこのトラステッド・アイデンティティ・プロパゲーション機能を使用したダイレクトクエリダッシュボードを構築できます。Redshift SpectrumとLake Formationのサポートも引き続き提供されています。これにより、発生するすべてのデータアクセスイベントに対するCloudTrailでの監査も可能になります。また、CloudFormationのサポートも提供しており、組織全体のIAM Identity Centerインスタンスがない場合のために、アカウントレベルのAWS IAM Identity Centerインスタンスも用意されています。
Capital OneにおけるQuickSightの実践的活用事例
QuickSightの機能へのアクセスは、ユーザーやロールに対するカスタム権限によってカスタマイズできます。画面に表示されているように、データセットの作成や更新、ダッシュボードや分析での異常検知の実行、共有フォルダーの作成やフォルダーの名前変更など、制御可能な様々な権限と機能があります。これらの機能は、ユーザー自身またはReader、Authorなどのロールに適用できます。
よく見られるパターンの一つが、QuickSightでフォルダーを使用してコンテンツを整理し共有することです。この図は、特定のフォルダーのOwnerが持つアクセス権、誰と共有できるか、そして作成されたサブフォルダーに基づいて権限が継承されるかどうかを示しています。ここには3種類のユーザーが存在します。フォルダーOwnerは、フォルダー、分析、ダッシュボード、データセットのすべてを所有します。フォルダー内のアセットの作成、編集、削除が可能で、フォルダーとそのアセットの権限を変更できます。Contributorは、Ownerと同様にフォルダー内のアセットの作成、編集、削除が可能ですが、フォルダーの削除やフォルダーまたはアセットの権限変更はできません。Viewerは、フォルダー内のアセットを閲覧することしかできません。
Restricted Folderによるガバナンス付きアセット共有について説明します。QuickSightのRestricted Shared Folderは特別なタイプのフォルダです。ここで重要なポイントが2つあります。まず、これらはAPIを通じて作成します。Restricted Shared Folderを作成する主なメリットは、コンテンツがフォルダの境界を超えて外部に出ることがないという点です。ユーザーとコンテンツを配置できる場所であり、コンテンツは常にそのフォルダ内に留まることが保証されています。また、現在はサブフォルダもサポートしています。
ゲストをお迎えする前に、いくつかの新機能についてご紹介させていただきます。 チームで作業する方々にとって非常に重要な機能として、ビジュアルのインポート機能が追加されました。作成者は、アクセス権のある任意のDashboardやAnalysisを検索し、それらの他のアセットからビジュアルを現在作業中のAnalysisにインポートすることができます。同じチャートを複数のDashboardで使用したいというケースを想像してみてください。今では簡単にインポートでき、その際にはデータセット、フィルター、そのビジュアライゼーションの表示に必要なものすべてが一緒に取り込まれます。これにより、チームメンバーが異なるビジュアライゼーションセットを作業し、最終的なAnalysisですべてを統合できるようになりました。
QuickSight内でのカスタムチャートタイプの統合について、私たちは非常に興奮しています。 実際、HighchartsのコアビジュアライゼーションライブラリをQuickSight内に統合しています。 デモサイトに追加したHighchartsビジュアルでできることの例をいくつかご覧いただけます。 これらのチャートはQuickSightネイティブのチャートの機能を超えて、ピクトリアルチャートやラジアルバーチャートなどを作成することができます。 組織でさまざまなユースケースやシナリオに遭遇するにつれて、 ネットワーク図、リッチテキストビジュアル、サンバーストチャートなど、一般的ではない種類のビジュアライゼーションが必要になることがあります。 文字通り何百もの異なるバリエーションを構築することができます。これらの実際の構築方法は、製品に含まれているJSON editorを使用し、QuickSightのデータをビジュアライゼーションにバインドできるQuickSight関数のセットと組み合わせて行います。
レポーティングのためのPrompted Reportsを導入しました。これにより、レポートの閲覧者が希望するプロンプトを設定できるようになりました。 その一環として、ユーザーは自分用にレポートをスケジュールすることができます。すべてのフィルターを設定し、すべてのプロンプトを設定し、そしてコンテンツを配信してほしいタイミングを指定できます。 QuickSightを自社の内部アプリケーションや外部アプリケーション、あるいは自社のブランディングのように見せたいというお客様がいらっしゃいます。ブランドカスタマイズ機能により、 アプリケーションとQuickSight内のコンテンツのルック＆フィールをカスタマイズすることができます。ロゴやカラーテーマを変更でき、 Identity and User ManagementのAPIサポートも提供しています。最近の追加機能として、IAM Identity Centerユーザー向けのカスタムパーミッションの機能があります。IAM Identity Centerへの移行を検討していたお客様の中には、現在の機能とIdentity Centerの機能の間にギャップがあり、その1つがカスタムパーミッションのサポートでしたが、これを最近追加しました。
デプロイメントについて、もう少しポイントを手短にご説明させていただきます。 QuickSightには、ユーザー、ダッシュボード、テーマ、データ、その他のアセットをデプロイ・管理するためのAPIが用意されています。アセットバンドルやコードとしてのアセットなどの機能があり、最近追加されたアセットバンドルの新機能では、フォルダのサポートも含まれるようになりました。フォルダやサブフォルダをお使いの場合、それらもアセットバンドルで利用できるようになっています。 また、EventBridgeとの連携も可能で、QuickSightのイベントを使って運用を自動化し、バックアップやデプロイメントを行うことができます。ダッシュボード、分析、データセットに変更があった場合、それらすべてのイベントがEventBridgeで発生し、そこからデプロイメント、バックアップ、変更などを開始することができます。
監査とロギングについては、 AWS CloudTrailを活用しています。CloudTrailを使用することで、「このダッシュボードを何人のユーザーが閲覧したか」「このユーザーはどのダッシュボードを閲覧したか」「誰が新しいデータセットを作成したか」といった質問に答えることができます。これらのイベントはすべてCloudTrailに記録され、そこから情報を取得することができます。
この部分は最後に説明する予定なので、スキップさせていただきます。ここで、 Capital OneのTemesgenとPeterに交代したいと思います。お二人には、QuickSightチームとの長年のパートナーシップを通じたCapital Oneの取り組みについてお話しいただきます。では、お二人にバトンタッチします。
Capital OneのQuickSight活用：課題と解決策
ありがとうございます、Sean。QuickSightの分野では、本当にエキサイティングな進展が数多くあります。私たちはAWSとパートナーシップを組んで、QuickSightに関する私たちの取り組みを共有できることを大変嬉しく思います。Capital Oneでは、「データは私たちが呼吸する空気のようなもの」と言っています。私たちは、あらゆる機会を通じて、何千人もの社員や1億人のお客様がデータにアクセスし、データに基づいた意思決定ができるよう、より速く、より簡単に、そしてより安全にすることを心がけています。本日は、Amazon QuickSightを活用してそれをどのように実現したかをご紹介させていただきます。私はTemesgen Meheretと申しまして、Capital OneのData Storage and Consumption groupのDirector of Engineeringを務めています。そして、一緒に登壇するのは同僚のPeter Tysonで、QuickSightを含むEnterprise BIのEngineering Leadを務めています。
これから数分間で、まず当社の背景について少しお話しさせていただき、その後、私たちのQuickSightの journey - どこからスタートし、現在どうなっているのか、そして将来どのような展開を考えているのか - についてお話しさせていただきます。Peterからは、皆様の参考になるような興味深いユースケースもご紹介させていただきます。このプレゼンテーションを通じて、皆様の職場で活用できるヒントを見つけていただければと思います。
プレゼンテーションの冒頭でお話ししたように、Capital Oneにおいてデータは基盤であり、1994年のクレジットカードサービスプロバイダーとしての創業以来、そのように位置づけられてきました。 この高品質なデータと優れたデータ基盤の上に、Capital Oneは素晴らしいテクノロジーを構築してきました。私たちは本質的に、銀行業務を良い方向に変革するというミッションを持つテクノロジーファーストの企業です。この10年間、私たちは大規模な技術変革を進めてきました。2013年頃から、Microservicesを採用し、オープンソースの考え方を取り入れ、技術スタックとインフラの再構築を開始しました。そして2016年頃、データエコシステムを含めてクラウドに全面的に移行するという戦略的な決断を下しました。クラウドがもたらすすべてのメリットに加えて、エンジニアの時間をインフラ管理ではなく、高品質な製品、ソフトウェア、モデルの構築に費やせるようにしたいと考えました。そのため、私たちはServerlessの採用においても先駆者となっています。2019年頃には、クラウドネイティブなエンタープライズBIソリューションが必要となり、そこでQuickSightの検討を始めました。プラットフォーム思考を取り入れ、異なる事業部門を標準的なエンタープライズプラットフォームに統合することも、この10年間に実行した重要な戦略の一つでした。現在では、この10年以上にわたるデータエコシステムとソフトウェア技術の近代化への投資と基盤構築により、何百万人ものお客様のためにAIとMLを活用する最前線に立っています。この投資により、QuickSightを含む私たちが選択した技術の大規模な採用が実現しました。
現在、QuickSightはCapital Oneで非常に大規模に採用されています。すべての事業部門で使用されており、16,000人以上のアクティブユーザーが日々アクセスしています。毎月120,000以上のユニークなレポートが実行され、2,600のユニークなダッシュボードがあります。私たちはアクティブなダッシュボードのみを維持することに長けており、Data Lakeや他のエコシステムと完全に統合されています。
QuickSightが全体的なデータエコシステムの一部としてどのように適合しているかについて説明すると、私たちはAmazon S3オブジェクトストアをストレージとして活用した非常に堅牢なData Lake Houseを構築しています。その上に、ファイル形式とテーブル形式の両方でLakeが使用するオープン標準と互換性のある様々なコンピュートエンジンを配置しています。QuickSightとエンタープライズBIツールはそのすべての上に位置し、ビジネスアナリストやデータアナリストがLakeのデータに簡単にアクセスして可視化、レポート、ダッシュボードを作成できるようにしています。
Seanが、QuickSightを活用してデータ駆動型の意思決定を強化するための柱の一つとして統一環境について話していたのをお聞きになったかもしれませんが、まさに私たちはそれを実践しています。各事業部門向けに複数のAWSアカウントでQuickSightを構築することも可能でしたが、私たちはエンタープライズが管理する単一のAWSアカウントで実施することを選択しました。これにより、データソース接続やデータ共有のほとんどを事前に設定できるため、ユーザーやユースケースのオンボーディングを迅速化できるという利点があると考えています。金融サービス企業として、私たちは多くのコンプライアンス規則を遵守する必要がありますが、Capital Oneには「ツールを構築する前にルールを強制しない」という理念があります。そのため、Peterのチームのように、私たちのチームも、単一のAWSアカウントとの統合が容易なこれらのコンプライアンス基準を強制するための多くの自動化を構築してきました。この展開により、QuickSightの管理と運用の一元化がより効率的になっています。
ここで、なぜQuickSightを選択したのかについて少し背景をお話しするのがよいでしょう。 私たちの目的はとてもシンプルです。ビジネスアソシエイト、つまりCapital Oneの社内従業員が、データにアクセスしてデータ駆動型の意思決定を行うことを、迅速かつ容易にすることです。この目的を念頭に置いて、クラウドネイティブなエンタープライズBIツールを探す際に必要とした重要な原則がいくつかありました。まず第一に、ユーザーにシームレスな体験を提供したいため、選択するものは私たちの環境に十分に統合されている必要がありました。この統合は、既存の運用アプリケーションとの統合かデータエコシステムとの統合かもしれませんが、統合可能であることは優れたBIソフトウェアに求める重要な原則でした。
金融サービス企業にとって意外ではありませんが、2番目のポイントは、セキュリティとデータガバナンスが私たちの日々の業務の基盤だということです。QuickSightを通じてアクセスされるデータを容易に保護し、管理できる機能を持つことは、私たちが重視してきた重要な柱の一つです。ガバナンスについて言及する際、コストの管理も含まれます。これは消費ベースのツールなので、使用量とコストを管理できることが重要でした。Capital Oneは大規模な企業であり、私たちが選択するものは Capital Oneのスケールで運用できる必要があります。そして、私たちは継続的に成長しています。需要の増加に合わせてスケーラブルである必要があります。Capital One内のエンタープライズチームとして、各事業部門との間に非常に厳格なSLAを持っているため、選択するツールは高可用性を含む信頼性が必要で、お客様に対して迅速に対応できる優れたサポートが必要です。選択するものは、投資が継続されているベンダーツールである必要があります。
これらが私たちが検討した重要なポイントで、完璧ではありませんでしたが、Amazon QuickSightは重要な要件のほとんどを満たしていました。そのため、2019年に私たちの journey が始まりました。素晴らしいことに、この5年間で、QuickSightは私たちが特定したほとんどのギャップを埋めてきました。また、製品へのフィードバックを提供してから、それが製品ロードマップに反映されるまでのスピードにも非常に満足しています。
APIは、私たちが求めているコスト効率の重要な側面を可能にし、AWSで実行されることで、AWS上の他のサービスとの統合が非常に容易になっています。イノベーションの速さに関する最後のポイントについて、私たちの認識を客観的な指標で検証したいと考え、AWSのパートナーに連絡して、過去数年間の製品リリースの状況を確認しました。ご覧の通り、過去2年間だけでも、QuickSightは1クリック埋め込みやPixel-perfectレポートなど、150以上の機能をリリースしています。これらはすべて、私たちが社内で各事業部門に価値を提供できる機能です。
過去の実績を振り返ってみると、このAI時代に今後登場する機能に本当にワクワクします。金融サービス機関として、新しい機能の承認を得るためにデューデリジェンスを行い、AIガバナンスを経る必要がありますが、これまでのパートナーシップを基に、近い将来、AIベースのエクスペリエンスを導入し、Capital Oneの顧客とユーザーにとってGenerative BIを実現できると確信しています。
ここで、QuickSightを使用して解決した興味深いビジネスケースを共有するために、同僚のPeterに引き継ぎたいと思います。ありがとう、Tammy。私たちはCapital Oneで行ってきた多くのアーキテクチャの選択について説明してきました。私たちは大規模な統合された単一環境を展開しています。今日は、エンドユーザーの開発者エクスペリエンスを向上させるために、QuickSightの上に構築したビジネスケースとツールについてお話ししたいと思います。Capital OneでのBIの採用は爆発的に増加しています。2022年12月以降、QuickSightを含むBIツールの使用が400%増加しました。これは、Capital Oneのデータ量の増加といった一般的な企業トレンドに起因する部分もありますが、大規模な埋め込みユースケースにおいて、QuickSightがリーダーとして台頭してきているのも見てきました。
QuickSightを選択するか、自社で構築するかという判断において、いくつかの理由は明白です。QuickSightを使用した方が市場投入までの時間が短く、セキュリティやチャートライブラリ、エンタープライズデータソースへの接続などはすべてQuickSightの一部として提供されています。チームがQuickSightの使用を検討する際、アプリケーションのダッシュボード部分をキャパシティプランニングで考慮する必要がありません - すべてが対応済みで、私たちのエンタープライズAPIゲートウェイと統合されているのです。
このコンテキストにおいて、APIゲートウェイとは、 Capital One内のすべてのAPIのためのエンタープライズソリューションです。QuickSightに関して具体的には、外部アプリケーションにQuickSightを埋め込むために必要なインフラストラクチャをすべて整備しています。外部アプリケーションにQuickSightを埋め込むためには：
QuickSightの埋め込みについてご存知の方なら、IAMが必要であることをご理解いただけるでしょう。IAMロール、IAMポリシーを設定し、外部アプリケーションとQuickSightアプリケーション間の信頼関係を確立する必要があります。私たちの場合、2つのチームが関与する必要があるため時間がかかります。非常に手作業のプロセスなので、インフラストラクチャの整備によって、エンドユーザーや開発チームの市場投入までの時間が大幅に短縮されました。以前は数日から数週間かかっていたプロセスが、この埋め込みポータルによって完全にセルフサービス化され、数分で完了できるようになりました。
ダッシュボードツールとしてQuickSightを選択した主要な全社的ユースケースの1つを紹介したいと思います。RAPTORは、レジリエンシーと災害復旧のための記録システムで、Capital One内で捕捉される基本的なメトリクスです。すべてのアプリケーションは災害復旧テストを実施する必要があり、QuickSightは経営陣とエンジニアの両方に向けて、災害復旧の失敗、成功、復旧時間などのメトリクスを追跡するツールとして使用されています。これらはすべてこのRAPTORツール内に埋め込まれています。特に強調したいのは、RAPTORチームがエンジニアリングリソースを製品開発に集中させ、データアナリストがダッシュボード作成に取り組めるという理由でQuickSightが選ばれたということです。親アプリケーションに影響を与えることなく、簡単にスケールアップやダウンができ、変更も容易です。RAPTORチームにとって、これは25%の工数削減につながったと報告されています。
QuickSightの大規模な統一環境の利点について多く語ってきましたが、私たちが直面した大きな課題についてもお話ししたいと思います。私たちは2019年にQuickSightの導入を開始し、5年間の大規模展開を経て、QuickSight環境内に大量の古いレポートが存在することに気付きました。これにはいくつかの問題があります。古いデータに基づく意思決定のリスクがあります。つまり、誰かが偶然そのレポートを見つけて、誤って情報源として使用してしまう可能性があるのです。また、誰かが私たちのQuickSightアカウントにアクセスした場合、古いレポートを含むレポートのフットプリントが大きくなるリスクも常にあります。さらに、このような大量の古いレポートのフットプリントにより、SPICEのコストが増加しています。私たちが発見したのは、QuickSightアカウントの自動クリーンアップのためのエンタープライズソリューションがまだ存在しなかったということで、そこでAWSチームと協力してそのようなソリューションの実装に取り組み始めました。
QuickSightの自動クリーンアップの設計とアーキテクチャを考える際、私たちはいくつかの基本原則を掲げました。まず、クリーンアップ対象となるインベントリに対して、エンドユーザーがセルフサービスでアクセスできるようにすることで、すべてのユーザーが常にインベントリの状況を完全に把握できるようにしたいと考えました。また、重要な年次報告や四半期報告のために、臨時または恒久的にクリーンアップから除外できる簡単な方法を提供したいと考えました。さらに、エンドユーザーがアクセスしているデータに基づいて直接クリーンアップを実行し、クリーンアップされるダッシュボードを必要に応じて簡単に取り出せるようにアーカイブする方法も必要でした。
これが私たちが考案したソリューションです。この設計のコンポーネントを詳しく説明すると、クリーンアップの基盤となるのはメタデータで、メタデータのプロセスとその仕組みについては別途議論できるほど深い話題です。今回の文脈では、CloudTrailとQuickSight APIを組み合わせて、すべてのQuickSightレポートのインベントリと使用状況に関するメトリクスを収集しています。ダッシュボーディングについては言うまでもなく、QuickSightをダッシュボーディングツールとして使用しており、すべてのQuickSightユーザーがこのQuickSightダッシュボードにアクセスできるようになっています。
ダッシュボード内では、レポートがクリーンアップ警告の対象となるまでの期間やアーカイブ期間などのメトリクスに関するフィルターを明確に表示しています。また、クリーンアップサービスから恒久的に除外するレポートのための追加フィルターも適用しました。私たちのワークフローに最適なAWS Batchを選択し、定期的に実行するようにしました。アーカイブには、QuickSight APIの機能の一部である「assets as bundle」機能を使用し、最終的にライフサイクルポリシーが適用されたAmazon S3に保存されます。クリーンアップ対象となるインベントリをユーザーに通知するために、QuickSightダッシュボードのダウンロードコピーを含むシンプルなメール通知を使用し、ユーザーはクリーンアップ予定の自分が所有するレポートの完全なインベントリをすぐに確認できます。クリーンアップから除外したい場合は、ダッシュボードにアクセスするだけで、そのダッシュボードはアーカイブリストから外れます。
このクリーンアッププロセスには、短期的にも長期的にもメリットがありました。当初、SPICEコストを30%削減し、ダッシュボードのインベントリを35%削減することができました。現在も改善は続いており、アクティブなレポートのインベントリを85%に維持しています。つまり、QuickSight内のレポートの85%が過去30日以内にアクセスされているということです。また、Data LakeやSnowflakeなど、同様のクリーンアッププポリシーを持つ他のエンタープライズツールとも足並みを揃えることができました。
QuickSightに関する次の短期的な目標として、私たちが検討していることは何でしょうか？まず、AWS Identity Centerの実装に注力しており、これによってユーザーは他のアプリケーションと同様のシングルサインオンとMFAのシームレスな体験を得ることができます。また、QuickSight内の追加のGenerative AI機能の探索も検討しています。さらに、Restricted Foldersを有効にすることで、私たちのような大規模な環境でエンドユーザーにとってより整理された環境を提供できるようになります。
QuickSightの今後の展望とコミュニティの重要性
QuickSightのGeneral Managerを務めるTracy Daughertyです。この仕事の中で私が最も好きな部分は、素晴らしいチームや顧客の皆様と一緒に働き、お客様とお話しして、ビジネスの進め方を変革するお手伝いができることです。時間が限られていますので、いくつかのスライドを手短にご紹介させていただきます。 もしまだQuickSight Communityのメンバーでない方は、ぜひご参加いただくことをお勧めします。QuickSightに携わる専門家の仲間から多くの回答が得られる場所で、AWSの中で最も急成長しているコミュニティです。
コミュニティの専門家の方々についてご紹介したいと思います。こちらは、そのコミュニティのチャンピオンの皆様です。私たちのスタッフも含まれていますが、大半はQuickSightを使用されているお客様で、バランスの取れたアプローチを取っています。 明日のSwamiの基調講演は、ぜひとも参加していただきたいイベントです。QuickSightに関する重要な発表がございます。少しだけヒントを申し上げますと、生成AIを活用した新しいデータ分析の手法についてです。その後、詳細な説明セッションも予定されています。他のセッションと合わせて、必ず価値のある時間となるはずです。
センターハブの裏側にある私たちのブースにもお立ち寄りください。常に専門スタッフが待機しており、どんなご質問にもお答えいたします。私も時々顔を出しますし、Seanたちのチームも常駐しています。最高の人材が揃っており、お客様とのやり取りを心から楽しんでいますので、ぜひお時間を作ってお越しください。私たちのチームは、より良いデータ駆動型の意思決定を実現することに情熱を注いでいます。そのために、Pixel-perfectなレポート、ダッシュボード、NLQを通じたQ&A、Data Stories、埋め込み機能などを提供しています。私たちの目標は、ユーザーが望む場所でデータを最大限活用できるようにすることです。アーキテクチャから価格設定まで、すべてがこのモデルに基づいて構築されています。
※ こちらの記事は Amazon Bedrock を利用することで全て自動で作成しています。
※ 生成AI記事によるインターネット汚染の懸念を踏まえ、本記事ではセッション動画を情報量をほぼ変化させずに文字と画像に変換することで、できるだけオリジナルコンテンツそのものの価値を維持しつつ、多言語でのAccessibilityやGooglabilityを高められればと考えています。
Discussion