やること
上記の続き
FabricのData Factoryを定期実行し、データを取り込む
手順
- Microsoft Fabric(https://app.fabric.microsoft.com/home)にアクセス
- 「Data Factory」をクリック
- 「マイワークスペース」をクリック
- 以前作成したデータパイプラインを選択
- 「＋新規」をクリック
- blobの情報を入力し、「作成」をクリック
- 下記のパラメータを入力
- 下記のパラメータを入力
- 「実行」をクリック
- 成功したことを確認
- Lakehouseを確認
- 「スケジュール」をクリック
- 下記のようにスケージュールを設定し、「適用」をクリック
- PCでスクリプトを実行
- 少々待ってみる
- Data Factoryの実行履歴を確認
- コンテナーにファイルが作成されていることを確認
- Lakehouseにもデータがコピーされていることを確認
やってわかったこと
Blobのデータを毎回すべてコピーしている状態.
差分だけコピーできるかを検証する.
Discussion