😱
Embulk v0.9.25でembulk-output-biggueryがインストールできない
※ 一時的な解決策です。将来的には悪手なので注意してください。
embulk-output-bigqueryがインストールできない
ERROR: Error installing embulk-output-bigquery:
zeitwerk requires Ruby version >= 2.5.
embulkに含まれているgemがrubyのバージョンとあっていないらしい
# 関連ライブラリをバージョンを下げてインストール
embulk gem install jwt:2.3.0 public_suffix:4.0.7 multipart-post:2.1.1 jruby-openssl:0.10.7 mini_mime:1.1.2
# embulk-output-bigqueryはv0.6.9にする
embulk gem install embulk-output-bigquery:0.6.9
その他エラー
Error: org.jruby.exceptions.RaiseException: (Error) failed to get dataset test:test_embulk, response:{:status_code=>403, :message=>"accessDenied: Access Denied: Dataset test:test_embulk: Permission bigquery.datasets.get denied on dataset test:test_embulk (or it may not exist).", :error_class=>Google::Apis::ClientError}
- サービスアカウントに権限を付与しなければならない
https://pzgleaner.com/archives/mysql-to-bigquery-via-embulk#:~:text=てください。-,サービスアカウントに権限を付与する,-サービスアカウントが
参考サイト
Discussion
embulk-output-bigquery 0.7.0から、embulk v0.11に対応してこの問題は解消されておりますのでぜひそちらもお試しいただければと思います。
Embulk 0.11.xはJRuby等の設定が必要です。
0.9.xシリーズでもgem installができないという事象があるので、その場合こちらをご参照ください。