🐷
[備忘録] NodeJS で BigQuery に GCS 上のファイルをワイルドカード指定で取り込む
背景
Node.js から BigQuery に GCS 上のファイルをワイルドカード指定で取り込む際、公式のドキュメントを見ても具体的な例がなく、少し苦戦しました。
結論
BigQuery.createJob
を利用して、load
ジョブを作成することで実現できます。
例
const gcsUri = "gs://some_bucket/hoge/*.csv";
const [job] = await bigQueryClient.createJob({
configuration: {
load: {
destinationTable: {
projectId,
datasetId,
tableId,
},
sourceUris: [gcsUri],
sourceFormat: 'CSV',
},
},
projectId,
});
await job.promise();
Discussion