🐷

[備忘録] NodeJS で BigQuery に GCS 上のファイルをワイルドカード指定で取り込む

2025/02/28に公開

背景

Node.js から BigQuery に GCS 上のファイルをワイルドカード指定で取り込む際、公式のドキュメントを見ても具体的な例がなく、少し苦戦しました。

結論

BigQuery.createJob を利用して、load ジョブを作成することで実現できます。

const gcsUri = "gs://some_bucket/hoge/*.csv";

const [job] = await bigQueryClient.createJob({
  configuration: {
    load: {
      destinationTable: {
        projectId,
        datasetId,
        tableId,
      },
      sourceUris: [gcsUri],
      sourceFormat: 'CSV',
    },
  },
  projectId,
});

await job.promise();

Discussion