今回の想定読者
今回のネタは、Microsoft Fabricについてです。本記事を読んでいただけると、Microsoft Fabricでどんなことができるか、知ることができます。
以下の様な方が想定読者です。
- Microsoft Fabricに興味があるけど、使ったことはないので外観を把握したい
- データ基盤でAWSを使っているがAzureやMicrosoftはノータッチ
ログビーの勉強会について
ログビー（Logbii）では、月一回オンラインの社内勉強会をしています。直近のものと、2025年以降のアーカイブを順次公開していきます。
ざっくりと、以下のルールで運用をしています。
- 月イチで、ランチタイムにオンライン開催（1時間）
- テーマ自由
- 持ち回りで開催
- ランチ代支給（2000円まで）、飲食可
- 業務時間扱い（業務時間を削る形）でOK
今回の勉強会について
今回は、2025年5月の勉強会アーカイブです。
データ基盤エンジニアのSakataさんが発表しました！
それでは、以下本編です。
Microsoft Fabricについて
オープニング
データ分析基盤に興味ある人？？？
🖐️Zoomで手を挙げてみてください🖐️
分析基盤はAIブームもあり、非常に注目されている分野です。
Excel、SQL、PowerBI・Tableauといった分析からレポートを作るまでを全てこのFabric内で完結できます。
現在開発支援している企業では、大体Excel, SQL, PowerBIまで使ってなんとかKPIとなる分析を作っていて、毎回Excel職人の力に頼る必要があって経営のスピード感に問題がある課題を抱えています。他の企業でも同じような悩みは大手さんの間ではあるみたいです。
そこで分散されているツールを統合してくれるのが、Microsoft Fabricというデータ分析基盤です！！
どんなツールか動画も一緒に見ましょう。
将来的に機械学習など考えている会社ですでにMS製品を多用している場合は、必ず選択肢に入ってくるようなシステムです。
各機能やセキュリティなどGUIから設定できるようになってきているので、非エンジニアでも結構ゴリゴリ使えるものです。
Microsoft Fabric を一言で言うと、データオールインワン基盤です。
面白そうって思ってもらいましたか？？？？？？？☺️（にやり）
MS Fabric って何？？？
Microsoft Fabricは、データの収集・加工・分析・可視化を一つのプラットフォームでできる、クラウド型データ分析基盤です。
主なサービス
- Data Factory（データ連携・加工 → ETL）
- Fabricデータウェアハウス・Fabricレイクハウス（データ保管）
- Power BI（可視化）
- OneLake（共通ストレージ）→ ここに各種サービスが展開される
- 機械学習やリアルタイム分析ようのサービスなどもある
DataFactory
-
Data Pipeline
- ETLの流れをアクテビティごとで連携して可視化することができる。要するに、連携処理の可視化。
https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
-
データフロー
- ノーコードで処理を作ることができる。非エンジニア向き。複雑な処理に向かない。
https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Fabric Warehosue
構造化データを格納するデータベース。
T-SQLを利用してデータ加工や分析する。
Fabric Lakehouse
非構造化データと構造化データを格納できるデータベース。
Notebookを使い、PySpark, SQL でデータ加工をする。
SQLエンドポイントを利用すると読み取りでT-SQLで集計分析できる。
Notebook
Sparkを利用する場合、こちらを利用する。
PowerBI
レポート作成。Dax式を利用して、さらに分析をカスタマイズできる。
Dax式を利用できるエンジニアが少ないので、お客さんの要件次第で作り方が変わってきます。
どんな場面で使えそう？？
分析をしたいことにはなんでも利用できるイメージです。
例えば、
- 営業：地域別の売上を調べたい！！会社ごとの販売実績を分析したい！！などなど
- 経理：毎月の経費を分析したい！
- 人事：従業員の勤怠状況を分析、レポート化したい！
- システム部門：需要予測と販売実績の適合率を計算したい！レポートまで一気に作成できるデータパイプラインが欲しい！
要望例：3ヶ月・1ヶ月適合率計算
使うテーブル
売上テーブル、バックオーダーテーブル、単価テーブル
※ バックオーダー：在庫ないけど、注文だけ先に受けてる
処理の流れ
3つのファイルがtsvでシステムから出力されてくる。
この3つのファイルデータを以下の形でメダリオンアーキテクチャーに沿ってデータ加工・集計・レポート作成したい。
使う技術
- 簡単な加工（列の追加、フィルタリングなど）であれば、データフロー
- 複雑な集計や他のテーブルへの関連を探るなどの複雑化する場合はNotebookを利用。ただし、実装コストを鑑みて、あまり使わないようにすることを検討すること。
- コードは、PySpark or SQLを利用
メダリオンアーキテクチャ
面白くなってきましたね〜
ちょい余談
生成AIとシステムツールとの関係性がより強くなっている…！！
Copilot
Fabric NotebookでPythonコードを書きながら、MS Copilotを利用することで、スムーズに実装ができるようになっています。
開発速度が上がっているし、自分がPython得意でもお客さんがSQLの方がいい時もあるので、得意な方で実装をし、Copilotに変換を手伝ってもらうことが可能です。
（まだ使ったことはないが、Databricksのプロジェクトで使った）
（Create reports in the Power BI service with Copilot より）
データの民主化が起きていることが実感できる！！
自分が主体で実装を進めていますが、実際に分析するのは各部門の一般人なので、会議で見かける人がエンジニア数人と分析したい部署メンバーが多いです。
GUIで操作が十分にできるので、どのようにこのFabricデータ基盤を使うと分析ができるのかを丁寧に説明するような仕事の進め方をしています。
分析チームでなく、一般の部署の人たちも分析基盤を使えるようになると言うのは、会社の意思決定スピードの影響を与えるよなと期待が膨らんでいます。
ちょいディスカッションコーナー
- データ基盤挑戦してみたいですか〜？
- データ基盤を作って、やってみたいことありますか〜？
- 社会でデータ基盤があると良くなりそうなことありますか〜？
最後に
いかがでしたか？データ分析基盤という言葉だけだと難しいし、そんなことできないかも…なんて思ってしまうかもしれませんが、今までバックエンドやってきた人ならある程度すぐにキャッチアップできるツールになっているかなと思います。
ぜひ皆さんも一度データエンジニアリングに触れてみてください👍
Discussion