embulk→bigqueryのメモ

ピン留めされたアイテム

Rubygems API V1の突然の終了で一部のgemパッケージが取得しにくくなった。
Gemfileでキャッシュすることでなんとか取ってこれるようだ。

なお0.9.25

Gemfile

source "https://rubygems.org"

ruby "2.3.3"

gem "jwt", "= 2.3.0"
gem "public_suffix", "= 4.0.7"
gem "multipart-post", "= 2.1.1"
gem "jruby-openssl", "= 0.10.7"
gem "embulk-output-bigquery", "= 0.6.9"

$ embulk bundle cache && embulk bundle install

fagai

Rubyのバージョン指定がきつくなるにつれて困るやつ

昔の秘伝のタレ

embulk gem install jwt:2.3.0 public_suffix:4.0.7 multipart-post:2.1.1 jruby-openssl:0.10.7
embulk gem install embulk-output-bigquery

fagai

#16 10.54 ERROR: Error installing embulk-output-bigquery:
#16 10.54 jwt requires Ruby version >= 2.5.

jwtを2.3.0にロックする必要がある

embulk gem install jwt:2.3.0

fagai

#7 3.495 ERROR:  Error installing embulk-output-bigquery:
#7 3.495 	public_suffix requires Ruby version >= 2.6.

public_suffixをロックする必要がある

embulk gem install public_suffix:4.0.7

fagai

ERROR:  Error installing embulk-output-bigquery:
multipart-post requires Ruby version >= 2.6.0.

multipart-postをロックする必要がある

embulk gem install multipart-post:2.1.1

fagai

何故かたまにbigqueryで失敗してしまう
なんかjarのエラーが出ているとき

jruby-opensslのバージョンを固定すると何故か失敗しなくなる

embulk gem install jruby-openssl:0.10.7