❄️

AWS上のSnowflakeからAzure/GCSのサンプルデータセットにアクセスしてみる

2023/02/20に公開

MicrosoftはSynapseの、GoogleはBigQueryのチュートリアル用のデータをそれぞれAzure blob storage, Google Could Storageで公開しているので、試しにAWSリージョン内のSnowflakeからこれらのデータにアクセスしてみました。
認証のことなど何も考えていないのでとても単純です。

Azure

-- https://learn.microsoft.com/ja-jp/azure/synapse-analytics/sql-data-warehouse/load-data-from-azure-blob-storage-using-copy
create or replace stage azure_sample_stage 
    URL = 'azure://nytaxiblob.blob.core.windows.net/2013';
-- 確認
list @azure_sample_stage;
select $1, $2, $3 from @azure_sample_stage/Date;


GCS

-- https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-csv?hl=ja
create or replace storage integration gcs_sample_storage_integration 
    TYPE = EXTERNAL_STAGE 
    STORAGE_PROVIDER = 'GCS' 
    ENABLED = TRUE 
    STORAGE_ALLOWED_LOCATIONS = ('gcs://cloud-samples-data/bigquery/');
create or replace stage gcs_sample_stage
    URL = 'gcs://cloud-samples-data/bigquery/' 
    STORAGE_INTEGRATION = gcs_sample_storage_integration;
-- 確認
list @gcs_sample_stage;
select $1, $2, $3 from @gcs_sample_stage/census/data;


Discussion