Azure Synapse Serverless SQL PoolからADLS上のデータにクエリを打つ
MS Learnの以下をやる
基本の中で設定するリソースグループ名は理解できる。
マネージドリソースグループなるものも必要らしい
管理対象リソース グループは、ワークスペースの Azure Synapse Analytics によって作成された補助的なリソースを保持するコンテナーです。
Synapse Analytics ワークスペースには、Azure サブスクリプションに 2 つのリソース グループが必要です。1 つは明示的に作成したリソース用で、もう 1 つはサービスによって使用される管理対象リソース用です
データコピーツールとしては組み込みコピータスクとメタデータ関連のコピータスクの2種類があるっぽい。後者はデータカタログとか作成するにあたって使う感じ
その後HTTPのコネクタ作成することになるけど、名前欄は日本語使えないのでここは注意。
こんな感じで作った
作成したコネクタは自動で選択される&それ以外はそのまま
行区切り記号だけ変更してそれ以外はそのまま
コピーターゲットのデータストアはWorkspace作成時に一緒に作成したADLSを指定して、ファイルシステムも同様。そのほかはLearnの内容に従って設定。
ちなみにコピー動作が複数あるっぽい。具体的には以下
-
Flatten hierarchy
-
Preserve hierarchy
-
Merge files
ちなみに使い分けというか解説は以下のStackOverflowに記載してあった
https://stackoverflow.com/questions/76380251/azure-copy-behaviors-best-cases-for-each
ターゲットの構成とはLearnの通り行区切り記号だけ変更
最後の設定については複数設定ありそう
-
ステージング
https://learn.microsoft.com/ja-jp/azure/data-factory/copy-activity-performance-features#staged-copy
ステージングに関してはある程度Snowflake使ってると見慣れてるかもしれない
ターゲットに指定したデータストアであるADLSの指定のファイルシステム内に入ってること確認