Azure DatabricksがAzure機密コンピューティングをサポートするパブリックプレビューを発表
機密データのデータ、アナリティクス、AIのユースケースを可能にする
このたび、Azure Databricksが Azureコンフィデンシャル・コンピューティング（ACC）をサポートすることを発表いたします！この発表により、お客様はAzure DatabricksワークロードをAzureコンフィデンシャル仮想マシン（VM）上で実行できるようになります。ACCのサポートにより、お客様は使用中のデータを暗号化することで、機密性とプライバシーを高めたエンドツーエンドのデータプラットフォームをDatabricks Lakehouse上に構築することができます。これは、静止時のデータを暗号化するCMK（Customer-Managed Key）のサポートに基づいています。
このブログポストでは、機密コンピューティングとそのユースケース、Azure DatabricksをAzure機密コンピューティング（ACC）で使用するセキュリティ上のメリット、およびマイクロソフトとのパートナーシップについて説明します。
コンフィデンシャル・コンピューティングとはどのようなものですか？
コンフィデンシャル・コンピューティングは、コンフィデンシャル・コンピューティング・コンソーシアム（CCC）によって定義された業界用語です。CCC はLinux Foundationのコミュニティで、機密コンピューティングの定義と普及に取り組んでいます。CCCは機密コンピューティングを次のように定義しています：ハードウェアベースで認証された信頼できる実行環境（Trusted Execution Environment：TEE）で計算を実行することにより、使用中のデータを保護すること。
機密コンピューティングを必要とする組織は、通常、厳しいプライバシー法や規制要件の対象となる非常に機密性の高いデータを扱い、生産する規制業界の企業です。コンフィデンシャル・コンピューティングはまた、秘密にしておきたい極めて貴重な知的財産を持つ組織にも魅力的です。
機密コンピューティングの高度なセキュリティを活用することで、顧客は最も機密性の高いデータもクラウドで処理することができ、AIの可能性を最大限に引き出すことができます。今回の発表により、Databricks Lakehouseプラットフォームは、データ、アナリティクス、AIのニーズに対する包括的なソリューションを顧客に提供することになります。機密コンピューティングを必要とする典型的なユースケースには、以下のようなものがあります：
- マネーロンダリング対策: デジタルバンキングへの急速な移行により、機密性の高い銀行取引は膨大な量に上り、拡大するマネーロンダリングに対抗するため、機密コンピューティングのようなデータ保護対策の強化が急務となっています。Databricks Lakehouseプラットフォームは、データレイクとデータウェアハウスを組み合わせることで、AMLプロセスの効率的な管理とコラボレーションを促進し、スケーラブルなアンチマネーロンダリング（AML）ソリューションの導入を支援します。
- 不正行為の防止: 機密データを保護し、不正検出プロセス中のセキュリティを強化し、不正アクセスや改ざんを防止して信頼を醸成するため、機密コンピューティングは不正防止にとって極めて重要です。Databricks Lakehouseを使用することで、金融機関は機械学習による不正検知データパイプラインを作成し、大規模なデータセットからモジュール化されたフィーチャを構築するフレームワークを活用してリアルタイムでデータを可視化することができます。
- 有害事象の検出: 有害薬物の検出データには機密性の高いコンピューティングが不可欠です。これにより、機密性の高い患者情報の安全な処理と分析が保証され、プライバシーが保護され、潜在的な副作用の正確な特定が容易になります。Databricks Lakehouseは、医療機関がこの検出を効果的に行うために、科学的に厳密でほぼリアルタイムの洞察を提供できる最新のスケーラブルなデータおよびAIプラットフォームを提供します。
機密性の高いデータセットのデータおよびAI戦略を構築し、機密コンピューティングによるセキュリティを強化
お客様は、Databricks Lakehouseプラットフォームを最も機密性の高い規制対象データに使用する権限を得ることができます。Azure Databricks on Azure機密コンピューティングは、次のようなセキュリティとプライバシーのメリットを提供します：
- 使用中のデータを保護します： データを処理する前に、基盤となるクラウド環境を検証するインメモリ暗号化により、データを保護します。この種のデータ保護は、静止状態のデータには顧客管理鍵、転送中のデータにはTLSやHTTPSなどのセキュアなプロトコルを介したプライベート・リンクなど、既存のセキュリティ管理を補完するものです。
-
Databricksのその他のセキュリティ、コンプライアンス、プライバシー強化製品を活用する：
- Unity Catalogは、あらゆるクラウド上のレイクハウスにあるファイル、テーブル、ダッシュボード、機械学習モデルなど、すべてのデータ、アナリティクス、AI資産に統一されたガバナンスを提供します。アクセス許可と監査制御を管理するための単一ペインを作成し、データのマッピング、セキュリティ保護、監査を行います。
- デルタシェアリングは、レイクハウスからあらゆるコンピューティングプラットフォームへライブデータを安全に共有するオープンソリューションを提供します。セキュリティとコンプライアンスのニーズを満たしながら、サプライヤーやパートナーとデータ資産を自信を持って共有し、ビジネスをより良く調整することができます。
- 強化されたセキュリティとコンプライアンス（「ESC」）はこの夏、Azureで利用可能になり、最も機密性の高いデータを保護し、クラウド対応のHIPAA、PCI-DSS、FedRAMP Moderateワークロードを実行する手段を提供するために特別に設計された、Databricks環境の強化されたハードニングを提供します。
コンフィデンシャル・コンピューティングにおける強力なコラボレーション
「Databricksとマイクロソフトは、顧客のLakehouseワークロードを可能にするために協力してきました。我々は、DatabricksのユーザーがAMD SEV-SNP機密VM上でクラスタを実行することで、クラウド上で最も機密性の高いデータを分析できるようにする最初のクラウドプロバイダーとなり、データをメモリ上で使用しながら保護できることを嬉しく思います。
- マイクロソフト、Azure Databricksゼネラルマネージャー、リンゼイ・アレン氏
私たちは、Azure DatabricksをAzureコンフィデンシャル・コンピューティングに導入するために、マイクロソフトと協力できることをうれしく思います。マイクロソフトは、機密コンピューティングの分野において、長い間オピニオンリーダーでした。Azureがクラウドに「コンフィデンシャル・コンピューティング」を導入したとき、クラウドプロバイダーとして初めてコンフィデンシャル・コンピューティングの仮想マシンとKubernetesのコンフィデンシャル・コンテナサポートを提供し、顧客が最も機密性の高いワークロードをTrusted Execution Environments（TEE）内で実行できるようにしました。
DatabricksとAzureは、機密コンピューティングのための堅牢でセキュアなデータプラットフォームを提供します。ACCで使用される機密VMは、AMDSEV-SNPテクノロジーによるメモリ暗号化でデータを保護しながら、高性能コンピューティングを含むさまざまなワークロードを実行できるように設計されたAMD EPYCTMプロセッサーを搭載しています。これらのプロセッサーは、コンフィデンシャル・コンピューティング上で、機械学習やAIの幅広いワークロードを強力かつコスト効率よく提供します。
Azureの機密コンピューティングでAzure Databricksを始める
これらのVMは、数日中にAzure Databricksユーザー向けにロールアウトされ、利用可能になる予定です。ドキュメントをご覧になるか、以下のデモをご覧になって、ワークロードに適したACC VMを選択するだけで、いかに簡単に素早く稼働できるかをご確認ください。
Databricks無料トライアル
Discussion