Microsoft FabricのData Factoryを使ってみた-③

やること

SQLDBにある2つのテーブルをData Factoryを使い、2つのテーブルデータを1つに統合する
結合したテーブルをLakehouseにコピーをする

構成

前提

1. SQL Serverを構築する
2. SQLDBを構築する
3. 下記のコマンドを実行し、テーブルを作成する

CREATE TABLE Customers (
    CustomerID int,
    CustomerName varchar(255),
    ContactName varchar(255),
    Country varchar(255),
    PRIMARY KEY (CustomerID)
);

CREATE TABLE Orders (
    OrderID int,
    CustomerID int,
    OrderDate date,
    PRIMARY KEY (OrderID),
    FOREIGN KEY (CustomerID) REFERENCES Customers(CustomerID)
);

4. 下記のコマンドを実行し、テーブルに値を入れる

INSERT INTO Customers (CustomerID, CustomerName, ContactName, Country) VALUES
(1, 'Customer1', 'Contact1', 'Country1'),
(2, 'Customer2', 'Contact2', 'Country2'),
(3, 'Customer3', 'Contact3', 'Country3'),
(4, 'Customer4', 'Contact4', 'Country4'),
(5, 'Customer5', 'Contact5', 'Country5'),
(6, 'Customer6', 'Contact6', 'Country6'),
(7, 'Customer7', 'Contact7', 'Country7'),
(8, 'Customer8', 'Contact8', 'Country8'),
(9, 'Customer9', 'Contact9', 'Country9'),
(10, 'Customer10', 'Contact10', 'Country10');

INSERT INTO Orders (OrderID, CustomerID, OrderDate) VALUES
(1, 1, '2022-01-01'),
(2, 2, '2022-01-02'),
(3, 3, '2022-01-03'),
(4, 4, '2022-01-04'),
(5, 5, '2022-01-05'),
(6, 6, '2022-01-06'),
(7, 7, '2022-01-07'),
(8, 8, '2022-01-08'),
(9, 9, '2022-01-09'),
(10, 10, '2022-01-10');

手順

1. Microsoft Fabric(https://app.fabric.microsoft.com/home)にアクセス
   
2. 「Data Factory」をクリック
   
3. 「データフロー（Gen２）」をクリック
   
4. 「SQL Serverからインポート」をクリック
   
5. 必要なパラメータを入力後、「次へ」をクリック
   
6. 先程作成したテーブルを選択し、「作成」をクリック
   
7. 作成されたことを確認
8. importしたテーブルを2つ選択し状態で、「結合」をクリック
   
9. 「クエリのマージ」をクリック
   
10. 下記のように入力し、「CustomerID」を選択した状態で「OK」をクリック
    
11. テーブルが結合作成されたことを確認
    
12. 「CustmerID.1」を選択し、「列の削除」をクリック
    
13. CustomerID.1が削除されたことを確認
    
14. 「＋」をクリック
    
15. 「レイクハウス」をクリック
    
16. 同期したいレイクハウスを選択し、テーブル名を入力する
17. 「次へ」をクリック
    
18. 「設定の保存」をクリック
    
19. 「公開」をクリック
    
20. 「Data Factory」をクリック
    
21. 「データパイプライン」をクリック
    
22. 名前を入力し、「作成」をクリック
    
23. 「コピーアクティビティの追加」をクリック
    
24. 「データフロー」をクリック
    
25. 「ワークスペース」と「データフロー」を選択する
26. 「実行」をクリック
    
27. 成功通知を確認
    
28. 該当のレイクハウスを開く
29. 結合されたテーブルがLakehouseにあることを確認