Snowflake OpenFlowでSharePointをRAG化する
はじめに
こんにちは。Snowflake で Solutions Engineer をしている Marizo です。
前回の記事を書いてからもう1ヶ月も経ってしまいました。
前回、MMAの構造化データをDBに集めてきたのですが、今回は、ルールブックなどの非構造化データもSnowflakeに取り込んでみようと思います。
ルールブックを取り込むことで、
- 「団体によってルールは違うの?」
- 「肘打ちって反則?」
など、資料から欲しい情報を検索する仕組みを構築することができます。
今回は、ルールブックをSharePointに集めてきて、SnowflakeでRAGを作ってみようと思います。
今回使うのはOpenFlowです。OpenFlowにはSharePoint Connectorがあるので、これを使ってSnowflakeにデータを取り込んでみます。
こんな方におすすめです:
- 社内のSharePointをRAGのナレッジベースにしたい
- ファイル実体は持ち込めないがメタデータだけ管理したい
技術的な前提
-
OpenFlow
- OpenFlow Runtime が作成済みで、Canvas にアクセスできること
-
Cortex Search
- Cortex Search Service が利用可能なアカウントであること
-
SharePoint / Microsoft 365
- 対象の SharePoint サイトが存在すること
- Azure Entra IDでアプリ登録ができる権限があること
この記事で学べること
この記事では、以下のことを学べます。
- Snowflake OpenFlow の基本的な使い方(UI の見方、プロセスグループ、パラメータ設定)
- SharePoint Connector を使った PDF ドキュメントの取り込み
- Cortex Search 連携 - OpenFlow が PDF を自動でチャンク分割し、RAG 用の検索サービスを構築
- メタデータ専用フロー - ファイル実体を取り込まず、存在だけを管理する応用パターン
- (おまけ)Snowflake Intelligence で作った RAG に質問してみる
今回作るもの
┌──────────────┐ ┌──────────────┐ ┌──────────────┐
│ SharePoint │ ───▶ │ Snowflake │ ───▶ │ Intelligence │
│ MMA_Rules/ │ │ DOCS_CHUNKS │ │ 質問応答 │
│ (PDF群) │ │ CortexSearch │ │ │
└──────────────┘ └──────────────┘ └──────────────┘
OpenFlow + Graph API Cortex Agent
SharePointに格闘技のルールブックを集めて、OpenFlowでSnowflakeに取り込み、Cortex Searchで検索できるようにします。最後にSnowflake Intelligenceで対話型検索ができるところまで作ります。
Snowflake OpenFlow とは?
Snowflake OpenFlowは、Snowpark Container Services上で動作する、Apache NiFiをベースにしたマネージドのデータオーケストレーション環境です。
特徴
| 特徴 | 説明 |
|---|---|
| GUI ベース | コードを書かずにデータパイプラインを構築 |
| マネージド | インフラ管理不要、Snowflakeが運用 |
| コネクタ豊富 | SharePoint, Salesforce, Google Drive 等に対応 |
| Cortex連携 | PDFを自動でチャンク分割、Cortex Searchに登録 |
今回使うコネクタ

SharePointコネクタは4種類あります。
| コネクタ | 用途 |
|---|---|
| Microsoft SharePoint (Cortex Search, document ACLs) | SharePointのドキュメントACLをCortex Searchに同期し、元の権限を尊重して検索させたい場合 |
| Microsoft SharePoint (Cortex Search, no document ACLs) | ドキュメントACLは同期せず、組織内でフラットに検索させたい場合(今回使用) |
| Microsoft SharePoint (Simple Ingest, document ACLs) | Cortex Searchとは連携せず、ステージやテーブルへのロードのみを行う(ACL同期あり) |
| Microsoft SharePoint (Simple Ingest, no document ACLs) | Cortex Searchとは連携せず、ステージやテーブルへのロードのみを行う(ACL同期なし) |
OpenFlow Runtime UI の見方
OpenFlow RuntimeのUIは開くととてもさっぱりしています。まずは並んでいるアイコンについて簡単に解説です。
Canvas(キャンバス)

Canvasはフローを定義する場所です。この白い方眼紙みたいなところにコンポーネントを置いていきます。
上部ツールバー(Components Toolbar)
Canvas上部に並ぶ7個の大きなアイコン。これらはすべてデータフロー上のコンポーネントを表しています。
| # | 名前 | 説明 |
|---|---|---|
| 1 | Processor | FlowFileを実際に処理する「作業ノード」。読み込み・変換・書き込みなど、あらゆる処理はこれが担当 |
| 2 | Input Port | Process Group内にFlowFileを入れる「入口」。親PGから子PGへデータを渡すときに使う |
| 3 | Output Port | Process Groupの外へFlowFileを送り出す「出口」。子PGから親PGへデータを渡すときに使う |
| 4 | Process Group | Processor や Port をまとめる「コンテナ」。コネクタはこれとして追加される |
| 5 | Funnel | 複数のConnectionを1本にまとめる「合流ポイント」。フローを整理するためのもの |
| 6 | Import from Registry | カタログに保存されたフロー(Process Group)をCanvasに読み込む |
| 7 | Label | Canvas上に説明テキストを置くためのもの。データフローには影響しない |
参考リンク(Apache NiFi 公式ドキュメント)
OpenFlowのCanvasはApache NiFiベースなので、NiFiの公式ドキュメントが参考になります。
- 用語の定義: Apache NiFi User Guide – Terminology
- 各コンポーネントの説明: Apache NiFi Getting Started(ページ中盤の「Other Components」)
- 図付きでわかりやすい補足: TutorialsPoint - Apache NiFi User Interface
- Registry連携(Import from registry): User Guide – Versioning a DataFlow
下部ステータスバー(Status Bar)
Canvas下部に並ぶ小さなアイコン群。フロー全体の状態をリアルタイムで表示しています。
| # | 項目 | 説明 |
|---|---|---|
| 1 | クラスタノード数 |
1 / 1 など。接続中ノード数 / 構成ノード総数 |
| 2 | Active Threads | 現在アクティブなスレッド数(動作中のタスク数) |
| 3 | Total queued data | 全Connectionのキュー中FlowFile数 / データサイズ |
| 4 | ▶ Running | 実行中のコンポーネント数 |
| 5 | ■ Stopped | 停止状態のコンポーネント数 |
| 6 | ⚠️ Invalid | 設定不備などでInvalid状態のコンポーネント数 |
| 7 | Disabled | 明示的に無効化されたコンポーネント数 |
| 8-12 | Versioned PG状態 | Up to date / Locally modified / Stale / Locally modified & Stale / Sync failure |
| 13 | Last refresh | ステータス情報の最終更新時刻 |
詳細は Apache NiFi User Guide – Status Bar を参照してください。
SharePoint コネクタの設定
コネクタの追加
ここまでで空のCanvasの見方がわかったので、実際にコネクタを追加してみます。
- Openflow を開き、Overview(概要)画面を表示
- 「View more connectors」をクリックしてコネクタ一覧を開く
- 検索ボックスで「SharePoint」と入力し、Microsoft SharePoint (Cortex Search, no document ACLs) を選択
- 「Add to runtime」をクリック
- 対象の Runtime を選択して Add
インストールが完了すると、対象RuntimeのCanvasが開き、SharePointコネクタのProcess Groupが自動配置されます。
「Import from Registry」との違い
Canvas上部の「Import from Registry」は、NiFi Flow Registryからバージョン管理済みフローやカスタムフローをインポートするための機能です。コネクタの初回追加には使いません。
Process Group

コネクタを追加すると、Process Group(青い箱)として表示されます。これがデータパイプラインの実体です。
Process Group メニュー

Process Groupを右クリックすると、操作メニューが表示されます。今回よく使うものをピックアップ:
| メニュー | 説明 |
|---|---|
| Configure | Process Group名、コメント、Parameter Contextの割り当てなどを設定 |
| Controller services | JDBCプール、SSL コンテキストなどのController Serviceを作成・編集・有効化/無効化 |
| Parameters | 接続情報やテーブル名など、環境ごとに変わる値をパラメータとして管理 |
| Enter group | Process Groupの中に入る(ダブルクリックと同じ) |
| Start / Stop | Process Group内のコンポーネントをまとめて起動/停止 |
| Enable/Disable all controller services | Controller Serviceを一括有効化/無効化 |
| Empty all queues | 全Connectionキューを空にする(本番環境で誤って実行するとデータが失われるため、開発・検証環境での使用を推奨) |
その他のメニュー項目
| メニュー | 説明 |
|---|---|
| Version ▶ | NiFi Registryとの連携(バージョン管理開始、変更の確認・反映など) |
| Enable / Disable | 配下のコンポーネントの有効・無効を一括切り替え |
| View status history | スループット、キュー数などの統計情報履歴グラフを表示 |
| Center in view | Canvasをスクロールして、選択したProcess Groupを画面中央に表示 |
| Group | 選択中のコンポーネントをまとめて新しいProcess Groupに入れる |
| Download flow definition ▶ | フロー定義をJSONファイルとしてダウンロード |
| Copy | Process Groupをクリップボードにコピー |
| Delete | Process Groupを削除(事前にStop済み・キュー空が必要) |
詳細は Apache NiFi User Guide – Process Groups を参照してください。
パラメータ設定

コネクタを動かす前に、SharePoint側とSnowflake側で以下の情報を準備しておく必要があります。
SharePoint側で準備するもの
Azure Entra IDでアプリ登録を行い、以下を取得します:
| パラメータ | 説明 | 例 |
|---|---|---|
| SharePoint Site URL | 対象サイトのURL | https://xxxxx.sharepoint.com/sites/my-site |
| SharePoint Document Library Name | ドキュメントライブラリ名 |
ドキュメント(日本語OK) |
| SharePoint Source Folder | 取り込み対象フォルダ | /MMA_Rules |
| SharePoint Tenant ID | Azure ADのテナントID | 886209cd-xxxx-xxxx-xxxx-xxxxxxxxxxxx |
| SharePoint Client ID | アプリ登録のクライアントID | 5a8ba379-xxxx-xxxx-xxxx-xxxxxxxxxxxx |
| SharePoint Client Secret | アプリのクライアントシークレット | Ivc8Q~xxxxxxxxxxxxxx |
Snowflake側で準備するもの
| パラメータ | 説明 | 例 |
|---|---|---|
| Destination Database | 書き込み先データベース | OCTAGON_INGEST |
| Destination Schema | 書き込み先スキーマ | MMA_RAG |
| Snowflake Role | OpenFlow実行ロール | OCTAGON_INGEST_ROLE |
| Snowflake Warehouse | 使用するWarehouse | SHAREPOINT_WH |
| Snowflake Cortex Search Service User Role | 検索サービス用ロール | OCTAGON_RAG_READER_ROLE |
Process Group 内部フロー

Process Groupをダブルクリックすると、内部のフローが見えます。箱の中にさらに箱がある、マトリョーシカ的な作りになっています。
- Init - 初期化(テーブル・ステージ・Cortex Search Service作成)
- Capture SharePoint Changes - SharePointの変更を検知
- Process SharePoint Metadata - メタデータを処理
- Check If Duplicate Content - 重複チェック
- Snowflake Stage And Parse PDF - PDFをステージに格納し、Cortexでテキスト抽出
- Update Snowflake Cortex - DOCS_CHUNKSテーブルに書き込み
セットアップ時の注意点
公式ドキュメント(アプリ登録・資格情報)
Snowflake公式
- Set up the Openflow Connector for SharePoint - セットアップ手順・必要な Graph 権限一覧
- Get the credentials - Azure Entra ID側でのアプリ登録と資格情報
Microsoft公式(Entra ID アプリ登録)
Process Group を Start して RAG 構築
アップロードしたPDF

SharePointの MMA_Rules フォルダに、ルール関連のPDFを集めました。
計8ファイルをアップロードし、2,166チャンクとして取り込まれました。
フロー起動後の結果

Process Groupを起動すると、PDFが自動的に:
- SharePointから取得
- Snowflakeステージにアップロード
- Cortexによるテキスト抽出(PDF解析)
- チャンク分割してDOCS_CHUNKSに格納
- Cortex Search Serviceに登録
RAG検索テスト
Cortex Searchが正常に動作しているか、SEARCH_PREVIEW 関数でテストしました。
「12-6 elbowとは何か?なぜ違反なのか?」と検索すると...
"10. Downward pointing elbow strike (12 to 6): The use of a linear "straight up straight down" elbow strike is prohibited."
ルールブックから回答が得られました。
ちなみに12-6エルボーとは、時計の12時から6時の方向に振り下ろす肘打ちのことです。
補足:このルールは2024年に改正されました
2024年にABC(全米ボクシング・コミッション協会)がルール改正を行い、12-6エルボーはファウルリストから削除されました。採用したコミッションでは現在は合法です。
RAGはドキュメントの鮮度に依存するので、最新ルールを反映させるにはPDFの更新が必要ですね。
SEARCH_PREVIEW 関数について
SNOWFLAKE.CORTEX.SEARCH_PREVIEW は、Cortex Search Service の結果を SQL から簡易プレビューするための関数です。
今回実行したSQL
SELECT PARSE_JSON(
SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
'OCTAGON_INGEST.MMA_RAG.CORTEX_SEARCH_SERVICE',
'{
"query": "What is 12-6 elbow and why is it illegal?",
"columns": ["CHUNK"],
"limit": 3
}'
)
)['results'] AS results;
結果を行に展開する場合
WITH s AS (
SELECT SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
'OCTAGON_INGEST.MMA_RAG.CORTEX_SEARCH_SERVICE',
'{"query": "What is 12-6 elbow?", "columns": ["DOC_ID", "CHUNK"], "limit": 5}'
)::VARIANT AS res
)
SELECT
t.value:score::FLOAT AS score,
t.value:DOC_ID::STRING AS doc_id,
t.value:CHUNK::STRING AS chunk
FROM s, LATERAL FLATTEN(input => res:results) t;
注意点
- テーブル関数ではないので
TABLE(...)でラップしない - 約300KBのレスポンスサイズ制限があり、開発・デバッグ用途向け
公式ドキュメント
(おまけ)Snowflake Intelligence で検索してみる

Cortex Search ServiceをSnowflake Intelligence(Cortex Agent)のナレッジツールとして登録し、チャット形式で格闘技ルールについて質問できる「格闘技ルールの専門家エージェント」 を作りました。日本語で質問すると、取り込んだルールブックを参照して日本語で回答してくれます。
応用編:ファイルを取り込まずメタデータだけ取り込む
要件
社内ポリシーや契約上、Snowflake側にファイル実体を複製できないケースがあります。
でも、誰がいつファイルを更新したかなどのメタデータだけは管理したい、ファイルは見せられないけど、存在だけは知っておきたい。という場合に、OpenFlowでSharePoint上のファイルのメタデータだけをテーブルに取り込むパターンもやってみます。
構築方針
事前にSnowflake側でメタデータ取り込み用のテーブル(FILE_METADATA)を作成しておきます。
既存のProcess Groupをコピーし、以下のように構成しました:
- SharePointからの変更検知はそのまま活用
- コンテンツ取り込み系プロセッサを無効化
- メタデータ書き込み用の
ExecuteSQLStatementを追加
要するに、ファイルの中身を見ないで、外側だけ記録するイメージです。
無効化したプロセッサ

以下のプロセッサをDisabledに設定:
-
Check If Duplicate Content(重複チェック) -
Snowflake Stage And Parse PDF(PDF解析) -
Update Snowflake Cortex(Cortex更新)
Process Group内に入ると、無効化されたプロセッサには ⚡ に斜線が入ったアイコンが表示されます。
追加したプロセッサ
上部ツールバーの「Processor」アイコンをCanvasにドラッグします。

「Add Processor」ダイアログで ExecuteSQLStatement を検索して選択します。

Canvasに ExecuteSQLStatement が追加されました。

プロパティを設定します。FlowFileの属性(${source.identifier}, ${source.filename} など)を使って、MERGE文でメタデータをUpsertします。

使用したMERGE文
MERGE INTO OCTAGON_INGEST.MMA_RAG.FILE_METADATA t
USING (
SELECT
'${source.identifier}' AS DOC_ID,
'${source.change.type}' AS ACTION,
'${source.fullname}' AS FULL_NAME,
'${source.filename}' AS FILE_NAME,
TRY_TO_NUMBER('${source.size}') AS FILE_SIZE,
'${mime.type}' AS FILE_MIMETYPE,
'${source.url}' AS WEB_URL,
TO_TIMESTAMP_LTZ(TRY_TO_NUMBER('${source.change.time}')/1000) AS LAST_MODIFIED,
'${sharepoint.drive.id}' AS DRIVE_ID,
'${sharepoint.item.id}' AS DRIVE_ITEM_ID,
'${sharepoint.site.id}' AS SITE_ID,
'${sharepoint.drive.name}' AS LIBRARY_NAME
) s
ON t.DOC_ID = s.DOC_ID
WHEN MATCHED THEN UPDATE SET
ACTION = s.ACTION,
FULL_NAME = s.FULL_NAME,
FILE_NAME = s.FILE_NAME,
FILE_SIZE = s.FILE_SIZE,
FILE_MIMETYPE = s.FILE_MIMETYPE,
WEB_URL = s.WEB_URL,
LAST_MODIFIED = s.LAST_MODIFIED,
DRIVE_ID = s.DRIVE_ID,
DRIVE_ITEM_ID = s.DRIVE_ITEM_ID,
SITE_ID = s.SITE_ID,
LIBRARY_NAME = s.LIBRARY_NAME,
INGESTED_AT = CURRENT_TIMESTAMP()
WHEN NOT MATCHED THEN INSERT (
DOC_ID, ACTION, FULL_NAME, FILE_NAME, FILE_SIZE, FILE_MIMETYPE, WEB_URL,
LAST_MODIFIED, DRIVE_ID, DRIVE_ITEM_ID, SITE_ID, LIBRARY_NAME
) VALUES (
s.DOC_ID, s.ACTION, s.FULL_NAME, s.FILE_NAME, s.FILE_SIZE, s.FILE_MIMETYPE, s.WEB_URL,
s.LAST_MODIFIED, s.DRIVE_ID, s.DRIVE_ITEM_ID, s.SITE_ID, s.LIBRARY_NAME
);
最後に、Process SharePoint MetadataからExecuteSQLStatementへ接続し、Check If Duplicate Contentへの接続を削除します。
完成したフロー

検証結果

| DOC_ID | ACTION | FILE_NAME | FILE_SIZE |
|---|---|---|---|
| 01P5C...AUT2S | Created | kanto2024-kidsjr-agreement.pdf | 585,263 |
| 01P5C...RTAZ | Deleted | - | null |
| 01P5C...2JJ77 | Created | Liability-Waiver-Form.pdf | 69,901 |
✅ ファイル実体はSnowflakeに保存されず、メタデータのみが記録されました
✅ 削除イベントも検知 - SharePointでのファイル削除が ACTION = 'Deleted' として記録
※ SharePoint側でファイルが削除されても、Snowflake側のレコードは消えず、ACTIONが「Deleted」に更新されます。
ファイルの存在だけを見守るフロー、完成です。
おわりに
今回は、OpenFlowを使って格闘技のルールブックをSnowflakeに取り込み、RAGを構築しました。
SharePointコネクタを使うと、ファイルの取り込みからチャンク化、Cortex Search Serviceの作成まで自動で行えます。また、OpenFlowはGUIでフローを自由に加工できるため、プロセッサの有効化/無効化やカスタムSQL追加で、組織のセキュリティ要件に合わせたデータパイプラインを柔軟に構築できます。
最後まで読んでいただき、ありがとうございました。
参考リンク
- About Openflow - Snowflake Deployments
- Set up the Openflow Connector for SharePoint
- Cortex Search overview
コストについて
課金が発生するポイント(高レベル):
- OpenFlow Runtime - Snowpark Container Services上のコンテナ実行
- Cortex Search Service - ストレージとクエリ
- 通常のSnowflakeコンピュート - ステージング/テーブルへのロード
詳細は公式ドキュメントを参照してください:
Discussion