Microsoft Fabricの新機能、ミラーリングを試してみる
ミラーリングとは
先月(2024年3月)にプレビュー版として登場した機能です。
Cosmos DB含むAzure上のデータベースからリアルタイムなデータを取得することができます。
よりリアルタイムな分析を実現し、Fabric上のアーキテクチャも簡素化され、パイプラインを使う必要がなくなりました。
まだプレビュー版なので実際の運用環境で使うのはもう少し待ったほうがいいと思います。
前提条件
1. Fabricリソース
ミラーリングがサポートされているリージョンで作成してください。
2. ミラーリングの有効
Fabricの管理ポータルで有効化する必要があります。
デフォルトが無効になっているかもなので、「有効化」してください。
※権限で「ファブリック管理者」ロールが必要です。
Azure Cosmos DBの作成
1. リソース作成
Azure Potal上で、「Cosmos DB」を検索
アカウント名は適当で大丈夫です。
容量モードは「Serverless」、リージョンは「Japan East」、APIは「SQL」にします。
2. コンテナとDBを作成
「データエクスプローラー」に移動して、「New Container」を選択
Database idとContainer id、Partition keyを設定します。
自分は既に作成ずみのDatabase内に新しいコンテナを作るので、「Use existing」を選んでますが、まだDatabaseがない人は「Create new」を選択してください。
※AutoGenでのユーザーとエージェント間のやり取りを保存する予定なので、「AutoGenList」という名前にしています。
全て入力したらエンターキーを押すことで作成がされると思います。
(「作成」というボタンがないから、どうやったら作成されるのか初めわかりませんでした。。。UX改善してほしい)
こんな感じで表示されたらOK
3. データを追加
ミラーリングした時にデータが取得できていることを確認するために、データを予めつっこんでおきます。
作成したDatabaseのコンテナ内にある「Items」を選択して、「New Items」をクリックし、適当にいくつかデータを追加してください。
4. バックアップポリシーを変更
元々バックアップポリシーを「Periodic」にしてましたが、それだとFabric上での接続時にエラーになってしまいます。
継続的バックアップは必須のようですので、「Periodic」から「Continuous (7 days)」に変更します。
Fabricの設定
1. 機能の新規作成
Fabricの「作成」画面から、「ミラー化されたAzure Cosmos DB(プレビュー)」を選択
※Fabricのミラーリングを有効化した直後は表示されないかもしれないので、少し待つか一度サインインし直すことをお勧めします。
適当に名前をつけて作成。
2. 接続設定
作成が完了すると以下の画面になるので、「新しい接続」を選択
接続情報を入力します。
Azure Cosmos DBリソースにアクセスして、キー画面にある情報をいれます。
Cosmos DB Endpointは「URI」を、Account Keyは「Primary Key」を入れてください。
接続がうまくいくと、次はデータベースを選択します。
リアルタイムで取得したいデータベースを選んで右下の「接続」を選択
今回は全てのデータ更新をミラー化します。
成功すると、状態が「実行中」になってreplicationがスタートします。
2,3分待つとデータが取得できるようになると思います。
実際にミラーリングされるか検証
Azure Cosmos DBリソース上で、データを新しく追加
...Fabric上にも速攻反映されました、すげえ
Discussion