🥊

Snowflake OpenFlowでSharePointをRAG化する

に公開
2026/05/24

はじめに

こんにちは。Snowflake で Solutions Engineer をしている Marizo です。

前回の記事を書いてからもう1ヶ月も経ってしまいました。
前回、MMAの構造化データをDBに集めてきたのですが、今回は、ルールブックなどの非構造化データもSnowflakeに取り込んでみようと思います。

ルールブックを取り込むことで、

  • 「団体によってルールは違うの?」
  • 「肘打ちって反則?」

など、資料から欲しい情報を検索する仕組みを構築することができます。
今回は、ルールブックをSharePointに集めてきて、SnowflakeでRAGを作ってみようと思います。

今回使うのはOpenFlowです。OpenFlowにはSharePoint Connectorがあるので、これを使ってSnowflakeにデータを取り込んでみます。

こんな方におすすめです:

  • 社内のSharePointをRAGのナレッジベースにしたい
  • ファイル実体は持ち込めないがメタデータだけ管理したい

技術的な前提

  • OpenFlow
    • OpenFlow Runtime が作成済みで、Canvas にアクセスできること
  • Cortex Search
    • Cortex Search Service が利用可能なアカウントであること
  • SharePoint / Microsoft 365
    • 対象の SharePoint サイトが存在すること
    • Azure Entra IDでアプリ登録ができる権限があること

この記事で学べること

この記事では、以下のことを学べます。

  • Snowflake OpenFlow の基本的な使い方(UI の見方、プロセスグループ、パラメータ設定)
  • SharePoint Connector を使った PDF ドキュメントの取り込み
  • Cortex Search 連携 - OpenFlow が PDF を自動でチャンク分割し、RAG 用の検索サービスを構築
  • メタデータ専用フロー - ファイル実体を取り込まず、存在だけを管理する応用パターン
  • (おまけ)Snowflake Intelligence で作った RAG に質問してみる

今回作るもの

┌──────────────┐      ┌──────────────┐      ┌──────────────┐
│  SharePoint  │ ───▶ │   Snowflake  │ ───▶ │ Intelligence │
│  MMA_Rules/  │      │  DOCS_CHUNKS │      │   質問応答    │
│  (PDF群)     │      │ CortexSearch │      │              │
└──────────────┘      └──────────────┘      └──────────────┘
         OpenFlow + Graph API                 Cortex Agent

SharePointに格闘技のルールブックを集めて、OpenFlowでSnowflakeに取り込み、Cortex Searchで検索できるようにします。最後にSnowflake Intelligenceで対話型検索ができるところまで作ります。


Snowflake OpenFlow とは?

Snowflake OpenFlowは、Snowpark Container Services上で動作する、Apache NiFiをベースにしたマネージドのデータオーケストレーション環境です。

特徴

特徴 説明
GUI ベース コードを書かずにデータパイプラインを構築
マネージド インフラ管理不要、Snowflakeが運用
コネクタ豊富 SharePoint, Salesforce, Google Drive 等に対応
Cortex連携 PDFを自動でチャンク分割、Cortex Searchに登録

今回使うコネクタ

SharePoint コネクタ一覧

SharePointコネクタは4種類あります。

コネクタ 用途
Microsoft SharePoint (Cortex Search, document ACLs) SharePointのドキュメントACLをCortex Searchに同期し、元の権限を尊重して検索させたい場合
Microsoft SharePoint (Cortex Search, no document ACLs) ドキュメントACLは同期せず、組織内でフラットに検索させたい場合(今回使用)
Microsoft SharePoint (Simple Ingest, document ACLs) Cortex Searchとは連携せず、ステージやテーブルへのロードのみを行う(ACL同期あり)
Microsoft SharePoint (Simple Ingest, no document ACLs) Cortex Searchとは連携せず、ステージやテーブルへのロードのみを行う(ACL同期なし)

OpenFlow Runtime UI の見方

OpenFlow RuntimeのUIは開くととてもさっぱりしています。まずは並んでいるアイコンについて簡単に解説です。

Canvas(キャンバス)

OpenFlow Canvas

Canvasはフローを定義する場所です。この白い方眼紙みたいなところにコンポーネントを置いていきます。

上部ツールバー(Components Toolbar)

Canvas上部に並ぶ7個の大きなアイコン。これらはすべてデータフロー上のコンポーネントを表しています。

# 名前 説明
1 Processor FlowFileを実際に処理する「作業ノード」。読み込み・変換・書き込みなど、あらゆる処理はこれが担当
2 Input Port Process Group内にFlowFileを入れる「入口」。親PGから子PGへデータを渡すときに使う
3 Output Port Process Groupの外へFlowFileを送り出す「出口」。子PGから親PGへデータを渡すときに使う
4 Process Group Processor や Port をまとめる「コンテナ」。コネクタはこれとして追加される
5 Funnel 複数のConnectionを1本にまとめる「合流ポイント」。フローを整理するためのもの
6 Import from Registry カタログに保存されたフロー(Process Group)をCanvasに読み込む
7 Label Canvas上に説明テキストを置くためのもの。データフローには影響しない
参考リンク(Apache NiFi 公式ドキュメント)

OpenFlowのCanvasはApache NiFiベースなので、NiFiの公式ドキュメントが参考になります。

下部ステータスバー(Status Bar)

Canvas下部に並ぶ小さなアイコン群。フロー全体の状態をリアルタイムで表示しています。

# 項目 説明
1 クラスタノード数 1 / 1 など。接続中ノード数 / 構成ノード総数
2 Active Threads 現在アクティブなスレッド数(動作中のタスク数)
3 Total queued data 全Connectionのキュー中FlowFile数 / データサイズ
4 ▶ Running 実行中のコンポーネント数
5 ■ Stopped 停止状態のコンポーネント数
6 ⚠️ Invalid 設定不備などでInvalid状態のコンポーネント数
7 Disabled 明示的に無効化されたコンポーネント数
8-12 Versioned PG状態 Up to date / Locally modified / Stale / Locally modified & Stale / Sync failure
13 Last refresh ステータス情報の最終更新時刻

詳細は Apache NiFi User Guide – Status Bar を参照してください。


SharePoint コネクタの設定

コネクタの追加

ここまでで空のCanvasの見方がわかったので、実際にコネクタを追加してみます。

  1. Openflow を開き、Overview(概要)画面を表示
  2. 「View more connectors」をクリックしてコネクタ一覧を開く
  3. 検索ボックスで「SharePoint」と入力し、Microsoft SharePoint (Cortex Search, no document ACLs) を選択
  4. 「Add to runtime」をクリック
  5. 対象の Runtime を選択して Add

インストールが完了すると、対象RuntimeのCanvasが開き、SharePointコネクタのProcess Groupが自動配置されます。

「Import from Registry」との違い

Canvas上部の「Import from Registry」は、NiFi Flow Registryからバージョン管理済みフローやカスタムフローをインポートするための機能です。コネクタの初回追加には使いません。

Process Group

SharePoint コネクタ追加後

コネクタを追加すると、Process Group(青い箱)として表示されます。これがデータパイプラインの実体です。

Process Group メニュー

Process Group メニュー

Process Groupを右クリックすると、操作メニューが表示されます。今回よく使うものをピックアップ:

メニュー 説明
Configure Process Group名、コメント、Parameter Contextの割り当てなどを設定
Controller services JDBCプール、SSL コンテキストなどのController Serviceを作成・編集・有効化/無効化
Parameters 接続情報やテーブル名など、環境ごとに変わる値をパラメータとして管理
Enter group Process Groupの中に入る(ダブルクリックと同じ)
Start / Stop Process Group内のコンポーネントをまとめて起動/停止
Enable/Disable all controller services Controller Serviceを一括有効化/無効化
Empty all queues 全Connectionキューを空にする(本番環境で誤って実行するとデータが失われるため、開発・検証環境での使用を推奨)
その他のメニュー項目
メニュー 説明
Version ▶ NiFi Registryとの連携(バージョン管理開始、変更の確認・反映など)
Enable / Disable 配下のコンポーネントの有効・無効を一括切り替え
View status history スループット、キュー数などの統計情報履歴グラフを表示
Center in view Canvasをスクロールして、選択したProcess Groupを画面中央に表示
Group 選択中のコンポーネントをまとめて新しいProcess Groupに入れる
Download flow definition ▶ フロー定義をJSONファイルとしてダウンロード
Copy Process Groupをクリップボードにコピー
Delete Process Groupを削除(事前にStop済み・キュー空が必要)

詳細は Apache NiFi User Guide – Process Groups を参照してください。

パラメータ設定

パラメータ設定

コネクタを動かす前に、SharePoint側とSnowflake側で以下の情報を準備しておく必要があります。

SharePoint側で準備するもの

Azure Entra IDでアプリ登録を行い、以下を取得します:

パラメータ 説明 例
SharePoint Site URL 対象サイトのURL https://xxxxx.sharepoint.com/sites/my-site
SharePoint Document Library Name ドキュメントライブラリ名 ドキュメント(日本語OK)
SharePoint Source Folder 取り込み対象フォルダ /MMA_Rules
SharePoint Tenant ID Azure ADのテナントID 886209cd-xxxx-xxxx-xxxx-xxxxxxxxxxxx
SharePoint Client ID アプリ登録のクライアントID 5a8ba379-xxxx-xxxx-xxxx-xxxxxxxxxxxx
SharePoint Client Secret アプリのクライアントシークレット Ivc8Q~xxxxxxxxxxxxxx

Snowflake側で準備するもの

パラメータ 説明 例
Destination Database 書き込み先データベース OCTAGON_INGEST
Destination Schema 書き込み先スキーマ MMA_RAG
Snowflake Role OpenFlow実行ロール OCTAGON_INGEST_ROLE
Snowflake Warehouse 使用するWarehouse SHAREPOINT_WH
Snowflake Cortex Search Service User Role 検索サービス用ロール OCTAGON_RAG_READER_ROLE

Process Group 内部フロー

Process Group 内部

Process Groupをダブルクリックすると、内部のフローが見えます。箱の中にさらに箱がある、マトリョーシカ的な作りになっています。

  1. Init - 初期化(テーブル・ステージ・Cortex Search Service作成)
  2. Capture SharePoint Changes - SharePointの変更を検知
  3. Process SharePoint Metadata - メタデータを処理
  4. Check If Duplicate Content - 重複チェック
  5. Snowflake Stage And Parse PDF - PDFをステージに格納し、Cortexでテキスト抽出
  6. Update Snowflake Cortex - DOCS_CHUNKSテーブルに書き込み

セットアップ時の注意点

公式ドキュメント(アプリ登録・資格情報)

Snowflake公式

Microsoft公式(Entra ID アプリ登録)


Process Group を Start して RAG 構築

アップロードしたPDF

SharePoint フォルダ

SharePointの MMA_Rules フォルダに、ルール関連のPDFを集めました。
計8ファイルをアップロードし、2,166チャンクとして取り込まれました。

フロー起動後の結果

DOCS_CHUNKS テーブル

Process Groupを起動すると、PDFが自動的に:

  1. SharePointから取得
  2. Snowflakeステージにアップロード
  3. Cortexによるテキスト抽出(PDF解析)
  4. チャンク分割してDOCS_CHUNKSに格納
  5. Cortex Search Serviceに登録

RAG検索テスト

Cortex Searchが正常に動作しているか、SEARCH_PREVIEW 関数でテストしました。

「12-6 elbowとは何か?なぜ違反なのか?」と検索すると...

"10. Downward pointing elbow strike (12 to 6): The use of a linear "straight up straight down" elbow strike is prohibited."

ルールブックから回答が得られました。

ちなみに12-6エルボーとは、時計の12時から6時の方向に振り下ろす肘打ちのことです。

補足:このルールは2024年に改正されました

2024年にABC(全米ボクシング・コミッション協会)がルール改正を行い、12-6エルボーはファウルリストから削除されました。採用したコミッションでは現在は合法です。

RAGはドキュメントの鮮度に依存するので、最新ルールを反映させるにはPDFの更新が必要ですね。

SEARCH_PREVIEW 関数について

SNOWFLAKE.CORTEX.SEARCH_PREVIEW は、Cortex Search Service の結果を SQL から簡易プレビューするための関数です。

今回実行したSQL

SELECT PARSE_JSON(
  SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
    'OCTAGON_INGEST.MMA_RAG.CORTEX_SEARCH_SERVICE',
    '{
      "query": "What is 12-6 elbow and why is it illegal?",
      "columns": ["CHUNK"],
      "limit": 3
    }'
  )
)['results'] AS results;

結果を行に展開する場合

WITH s AS (
  SELECT SNOWFLAKE.CORTEX.SEARCH_PREVIEW(
    'OCTAGON_INGEST.MMA_RAG.CORTEX_SEARCH_SERVICE',
    '{"query": "What is 12-6 elbow?", "columns": ["DOC_ID", "CHUNK"], "limit": 5}'
  )::VARIANT AS res
)
SELECT
  t.value:score::FLOAT    AS score,
  t.value:DOC_ID::STRING  AS doc_id,
  t.value:CHUNK::STRING   AS chunk
FROM s, LATERAL FLATTEN(input => res:results) t;

注意点

  • テーブル関数ではないので TABLE(...) でラップしない
  • 約300KBのレスポンスサイズ制限があり、開発・デバッグ用途向け

公式ドキュメント


(おまけ)Snowflake Intelligence で検索してみる

SnowflakeIntelligence

Cortex Search ServiceをSnowflake Intelligence(Cortex Agent)のナレッジツールとして登録し、チャット形式で格闘技ルールについて質問できる「格闘技ルールの専門家エージェント」 を作りました。日本語で質問すると、取り込んだルールブックを参照して日本語で回答してくれます。


応用編:ファイルを取り込まずメタデータだけ取り込む

要件

社内ポリシーや契約上、Snowflake側にファイル実体を複製できないケースがあります。
でも、誰がいつファイルを更新したかなどのメタデータだけは管理したい、ファイルは見せられないけど、存在だけは知っておきたい。という場合に、OpenFlowでSharePoint上のファイルのメタデータだけをテーブルに取り込むパターンもやってみます。

構築方針

事前にSnowflake側でメタデータ取り込み用のテーブル(FILE_METADATA)を作成しておきます。

既存のProcess Groupをコピーし、以下のように構成しました:

  1. SharePointからの変更検知はそのまま活用
  2. コンテンツ取り込み系プロセッサを無効化
  3. メタデータ書き込み用のExecuteSQLStatementを追加

要するに、ファイルの中身を見ないで、外側だけ記録するイメージです。

無効化したプロセッサ

無効化したプロセッサ

以下のプロセッサをDisabledに設定:

  • Check If Duplicate Content(重複チェック)
  • Snowflake Stage And Parse PDF(PDF解析)
  • Update Snowflake Cortex(Cortex更新)

Process Group内に入ると、無効化されたプロセッサには ⚡ に斜線が入ったアイコンが表示されます。

追加したプロセッサ

上部ツールバーの「Processor」アイコンをCanvasにドラッグします。

プロセッサ追加開始

「Add Processor」ダイアログで ExecuteSQLStatement を検索して選択します。

ExecuteSQLStatement選択

Canvasに ExecuteSQLStatement が追加されました。

Canvas上のExecuteSQLStatement

プロパティを設定します。FlowFileの属性(${source.identifier}, ${source.filename} など)を使って、MERGE文でメタデータをUpsertします。

ExecuteSQLStatementプロパティ

使用したMERGE文
MERGE INTO OCTAGON_INGEST.MMA_RAG.FILE_METADATA t
USING (
  SELECT
    '${source.identifier}' AS DOC_ID,
    '${source.change.type}' AS ACTION,
    '${source.fullname}' AS FULL_NAME,
    '${source.filename}' AS FILE_NAME,
    TRY_TO_NUMBER('${source.size}') AS FILE_SIZE,
    '${mime.type}' AS FILE_MIMETYPE,
    '${source.url}' AS WEB_URL,
    TO_TIMESTAMP_LTZ(TRY_TO_NUMBER('${source.change.time}')/1000) AS LAST_MODIFIED,
    '${sharepoint.drive.id}' AS DRIVE_ID,
    '${sharepoint.item.id}' AS DRIVE_ITEM_ID,
    '${sharepoint.site.id}' AS SITE_ID,
    '${sharepoint.drive.name}' AS LIBRARY_NAME
) s
ON t.DOC_ID = s.DOC_ID
WHEN MATCHED THEN UPDATE SET
  ACTION = s.ACTION,
  FULL_NAME = s.FULL_NAME,
  FILE_NAME = s.FILE_NAME,
  FILE_SIZE = s.FILE_SIZE,
  FILE_MIMETYPE = s.FILE_MIMETYPE,
  WEB_URL = s.WEB_URL,
  LAST_MODIFIED = s.LAST_MODIFIED,
  DRIVE_ID = s.DRIVE_ID,
  DRIVE_ITEM_ID = s.DRIVE_ITEM_ID,
  SITE_ID = s.SITE_ID,
  LIBRARY_NAME = s.LIBRARY_NAME,
  INGESTED_AT = CURRENT_TIMESTAMP()
WHEN NOT MATCHED THEN INSERT (
  DOC_ID, ACTION, FULL_NAME, FILE_NAME, FILE_SIZE, FILE_MIMETYPE, WEB_URL,
  LAST_MODIFIED, DRIVE_ID, DRIVE_ITEM_ID, SITE_ID, LIBRARY_NAME
) VALUES (
  s.DOC_ID, s.ACTION, s.FULL_NAME, s.FILE_NAME, s.FILE_SIZE, s.FILE_MIMETYPE, s.WEB_URL,
  s.LAST_MODIFIED, s.DRIVE_ID, s.DRIVE_ITEM_ID, s.SITE_ID, s.LIBRARY_NAME
);

最後に、Process SharePoint MetadataからExecuteSQLStatementへ接続し、Check If Duplicate Contentへの接続を削除します。

完成したフロー

メタデータ専用フロー

検証結果

FILE_METADATA 結果

DOC_ID ACTION FILE_NAME FILE_SIZE
01P5C...AUT2S Created kanto2024-kidsjr-agreement.pdf 585,263
01P5C...RTAZ Deleted - null
01P5C...2JJ77 Created Liability-Waiver-Form.pdf 69,901

✅ ファイル実体はSnowflakeに保存されず、メタデータのみが記録されました
✅ 削除イベントも検知 - SharePointでのファイル削除が ACTION = 'Deleted' として記録

※ SharePoint側でファイルが削除されても、Snowflake側のレコードは消えず、ACTIONが「Deleted」に更新されます。

ファイルの存在だけを見守るフロー、完成です。


おわりに

今回は、OpenFlowを使って格闘技のルールブックをSnowflakeに取り込み、RAGを構築しました。

SharePointコネクタを使うと、ファイルの取り込みからチャンク化、Cortex Search Serviceの作成まで自動で行えます。また、OpenFlowはGUIでフローを自由に加工できるため、プロセッサの有効化/無効化やカスタムSQL追加で、組織のセキュリティ要件に合わせたデータパイプラインを柔軟に構築できます。

最後まで読んでいただき、ありがとうございました。


参考リンク

コストについて

課金が発生するポイント(高レベル):

  • OpenFlow Runtime - Snowpark Container Services上のコンテナ実行
  • Cortex Search Service - ストレージとクエリ
  • 通常のSnowflakeコンピュート - ステージング/テーブルへのロード

詳細は公式ドキュメントを参照してください:

Snowflake Japan

Discussion