❄️
AWS上のSnowflakeからAzure/GCSのサンプルデータセットにアクセスしてみる
MicrosoftはSynapseの、GoogleはBigQueryのチュートリアル用のデータをそれぞれAzure blob storage, Google Could Storageで公開しているので、試しにAWSリージョン内のSnowflakeからこれらのデータにアクセスしてみました。
認証のことなど何も考えていないのでとても単純です。
Azure
-- https://learn.microsoft.com/ja-jp/azure/synapse-analytics/sql-data-warehouse/load-data-from-azure-blob-storage-using-copy
create or replace stage azure_sample_stage
URL = 'azure://nytaxiblob.blob.core.windows.net/2013';
-- 確認
list @azure_sample_stage;
select $1, $2, $3 from @azure_sample_stage/Date;
GCS
-- https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-csv?hl=ja
create or replace storage integration gcs_sample_storage_integration
TYPE = EXTERNAL_STAGE
STORAGE_PROVIDER = 'GCS'
ENABLED = TRUE
STORAGE_ALLOWED_LOCATIONS = ('gcs://cloud-samples-data/bigquery/');
create or replace stage gcs_sample_stage
URL = 'gcs://cloud-samples-data/bigquery/'
STORAGE_INTEGRATION = gcs_sample_storage_integration;
-- 確認
list @gcs_sample_stage;
select $1, $2, $3 from @gcs_sample_stage/census/data;
Discussion