BigQueryの最近の進化(2020/10記載)

2 min読了の目安(約2600字TECH技術記事

目的

BigQueryのアップデートスピードが早く、定期的にしっかりアップデートを理解したいので、定期的に記事に残そうと思いました。

今回のアップデートについて

【Talks by DevRel Vol. 3】データ分析を参考に気になった機能を記載します。この動画がよくまとまっているので、基本的には動画をみて貰えば十分なのですが、自ら調べたいなーとも思ったので、記載します。

感想

Google Cloud Next '20: OnAir後にパーテションの機能拡張などもあったりして、BigQueryの進化はすごいなーと改めて思いました。ただ、GoogleはBigQueryを利用している多種多様な企業のフィードバックをベースに改善をしているため、進化に追いつかないとBigQueryをただ利用しているだけになってしまうなと思いました。使うからには使いこないしたいです。

アップデートだけをみてもなぜその機能が必要なのかと思ってしまうこともあるので、機能がリリースしたり改善されたら積極的に利用して、頭と身体で理解することが重要ですね。

早く新しいUIを使いたいですw

ここからは気になったトピックを記載します。

管理パネルUIによるモニタリング

今はBigQueryのINFORMATION_SCHEMAを利用して、
BQの利用状況をデータポータルで可視化していました。
もしかしたら、こちらを利用すればデータポータルの可視化する手間を省けるかなと感じました。

ただ、現在は複数のプロジェクトのBQの利用状況をデータポータルで可視化しているので、
今回追加されたモニタリングだとBQが所属しているプロジェクトだけのモニタリングだと、
代わりにはならないかなとは思いつつも。。。

各プロジェクトで利用状況を確認できるのは嬉しいなと思いました。

BigQuery UIの刷新

新しいUIいいですね。
カラム量が多くなるとクエリが書きにくくなっていたので、
タブでの利用や分割ができるだけで格段に利用しやすくなります。早く使いたい!!

Data QnA

こちらの詳細は【Talks by DevRel Vol. 3】データ分析をご覧ください。デモがあります。

DWHやDMをきれいに作っていくことで、例えば非エンジニアの方(ビジネス側)でも簡単にデータを集計することができる(分析ができる)しかもGoogleスプレッドシートで!!革新的だなと思いました。

ビジネス側と話をしたり、他社の方と話をしてもやっぱりExcelを使って自らデータを見たい(分析したい、集計したい)ニーズはあるため、これ!!と言ったBIを画一的に提供することは難しいなと思っていました。そのため、Excelライクなツールで簡単にデータを分析できるツールがあれば試したいなと思っていたので、ぜひ日本語対応を待っています。

BigQuery ML

こんなに増えたんですね。っていうのが正直な感想です。
私たがBigQuery MLを知ったときにはk-meansと数個くらいしかできなかったのに。。。

一番ここで印象に残ったのは、下記の言葉でした。

データサイエンティストの方は納期が近くなるとDWHの近くで費やす時間が多くなる。

だからこそ、GoogleではBigQuery側でイテレーションを回せるようにしているらしいのですが、現場からの声を聞いた結果この形になってきているので、データ分析にBigQueryをやっぱり使いたいなと改めて思いました。

ただ、BigQueryをデータサイエンティストに使ってもらうためには、このGoogleの考えやBigQueryの機能などをチームに丁寧に説明する必要があるなと思いました。また、私自身はデータエンジニアで機械学習などをメインでやっていないため、BigQuery MLとAutoML TablesとAI Platformなどの違いがまだ理解できていないので、別記事を使って棲み分けの理解をしてみたいなと思いました。

BigQuery Omni

Anthos(k8s)とオブジェクトストレージとかあれば確かにできそうだが。。。データ基盤をマルチクラウドでしかもBigQueryのUIを利用して実現ができるとは、さすがGoogleだなと思いました。

他社の事例でもサービスはAWSにあって、GCPにデータを転送しているプロジェクトはたくさん見るので、開発や運用コストなどが高くなければこれは流行るのではないかなと思っています。だってBigQueryが本当にすごいのでw