BigQueryの最近の進化（2020/10記載）
目的
BigQuery のアップデートスピードが早く、定期的にしっかりアップデートを理解したいので、定期的に記事に残そうと思いました。
今回のアップデートについて
【Talks by DevRel Vol. 3】データ分析を参考に記載します。
この動画がよくまとまっているので、基本的には動画をみて貰えば十分なのですが、自ら調べたいなーとも思ったので記載します。
感想
Google Cloud Next '20: OnAir 後にパーテションの機能拡張などもあったりして、
BigQuery の進化はすごいなーとあらためて思いました。
ただ、Google は BigQuery を利用している企業のフィードバックをベースに改善をしているため、
進化に追いつかないと BigQuery を利用しているだけになってしまうなと思いました。
使うからには使いこないしたいです。
アップデートだけをみてもなぜその機能が必要なのかと思ってしまうこともあるので、
機能がリリースしたり改善されたら積極的に利用して、頭と身体で理解することが重要ですね。
早く新しい UI を使いたいです。
管理パネルUIによるモニタリング
今は BigQuery の INFORMATION_SCHEMA を利用して、
BQ の利用状況をデータポータルで可視化していました。
もしかしたら、こちらを利用すればデータポータルの可視化する手間を省けるかなと感じました。
現在は複数のプロジェクトの BQ の利用状況をデータポータルで可視化しています。
今回追加されたモニタリングだと BQ が所属しているプロジェクトだけのモニタリングのため、
今回の追加だけでは代わりにはならないかなとは思いつつも。
各プロジェクトで利用状況を確認できるのは嬉しいなと思いました。
BigQuery UIの刷新
新しい UI いいですね。
カラム量が多くなるとクエリが書きにくくなっていたので、
タブでの利用や分割ができるだけで格段に利用しやすくなります。早く使いたい！
Data QnA
こちらの詳細は【Talks by DevRel Vol. 3】データ分析をご覧ください。デモがあります。
DWH や DM をきれいに作っていくことで、例えば非エンジニアの方(ビジネス側)でも簡単にデータを集計できる（分析ができる）しかも Google スプレッドシートで！ 革新的だなと思いました。
ビジネス側と話をしたり、他社の方と話をしてもやっぱり Excel を使って自らデータを見たい（分析したい、集計したい）ニーズはあるため、これ！ と言った BI を画一的に提供することは難しいなと思っていました。そのため、Excel ライクなツールで簡単にデータを分析できるツールがあれば試したいなと思っていたので、ぜひ日本語対応を待っています。
BigQuery ML
こんなに増えたんですね。っていうのが正直な感想です。
私たが BigQuery MLを知ったときには k-means と数個くらいしかできなかったのに。
一番ここで印象に残ったのは、下記の言葉でした。
だからこそ、Google では BigQuery 側でイテレーションを回せるようにしているらしいのです。
現場からの声を聞いた結果この形になってきているので、データ分析に BigQuery をやっぱり使いたいなとあらためて思いました。
ただ、BigQuery をデータサイエンティストに使ってもらうためには、
この Google の考えや BigQuery の機能などをチームに丁寧に説明する必要があるなと思いました。
私自身はデータエンジニアで機械学習などをメインでやっていないため、
BigQuery MLと AutoML Tables と AI Platform などの違いが理解できていないです。
別記事を使って棲み分けの理解をしてみたいなと思いました。
BigQuery Omni
Anthos(k8s)とオブジェクトストレージとかあれば確かにできそうだが…データ基盤をマルチクラウドでしかも BigQuery の UI を利用できる点はさすが Google だなと思いました。
他社の事例でもサービスは AWS にあって、GCP にデータを転送しているプロジェクトはたくさん見るので、
開発や運用コストなどが高くなければこれは流行るのでないかなと思っています。
だって BigQuery が本当にすごいので。
Discussion