Google Cloud UPDATES とは？
Google Cloud Japan では Google Cloud UPDATES という、Google Cloud の各サービスの最新アップデートがキャッチアップできるイベントを四半期ごとに開催しています。
アップデートは日々更新されているのですべてを追いかけることは大変ですが、その中でも自分に有益な情報だけを短時間かつ効率的にキャッチアップしていくことは重要です。このイベントではその分野に詳しいカスタマーエンジニアが特に注目したい・してほしいアップデートにフォーカスした内容になっているので、クイックにキャッチアップできます！
Google Cloud UPDATES 2023 Q2 を Data Analytics / ML 編と Compute / Database 編に分けて開催しましたので、この記事ではその中で取り上げた主要なアップデートをピックアップしてご紹介したいと思います。また、次回は7月に開催予定です。最新のアップデートについて詳細に説明が聞けて質問もできますので、次回もぜひご参加ください！
- 2023/07/24 (月) 15:00 - 16:30 Google Cloud UPDATES #5 Data Analytics / ML 編
- 2023/07/31 (月) 15:00 - 16:30 Google Cloud UPDATES #5 Compute / Database 編
BigQuery
BigQuery Editions
これまではオンデマンドと Reservation という2つのプランでしたが、3つの Editions (Standard / Enterprise / Enterprise Plus) の中から選択いただく形になりました。
これまでと大きく変わってくるのがオートスケーリング機能（後述）が付いているという点、ストレージが物理バイトか圧縮バイトで選べる点（これまでは非圧縮）、それから機能が Edition ごとに変わってくるという点です。ワークロードと照らし合わせて Edition を選択することによって、パフォーマンスやコストを最適化できます。また 1年 / 3年 のコミットが可能なので、数年単位で使う場合は大きな割引が得られます。
BigQuery Editions に関する情報は、各パートナーさんに紹介いただいておりますので、こちらも参考にしてください。
- BigQueryの料金体系(BigQuery Editions)を徹底解説 - G-gen Tech Blog
- BigQuery の新料金体系の解説 どこよりも早くお届けします！ | クラウドエース株式会社
- BigQueryに大幅アップデート！コスト最適化の可能性あり | iret.media
- 【速報】 BigQuery の料金体系が変更されます | DevelopersIO
- 【2023年3月】Google Cloud（GCP） BigQueryの価格体系変更を解説｜クラウドテクノロジーブログ｜ソフトバンク
Slot のオートスケーリング
クエリに必要なコンピュートのキャパシティについて、BigQuery が必要なリソースを動的に判断し、自動的に確保して使われる機能です。課金も使われたスロットにしか発生しないので常にコストが最適な状態でリソースを確保できます。スロットを予約する形では難しかった、必要なキャパシティが読みづらい場合などでも余剰なリソースを確保することなく、最適な形でリソースを確保できます。
Unicode Column naming (日本語カラム名のサポート)
ついに日本語のカラム名を設定できるようになりました🎉
日本語のカラム名で作られていたファイルやデータベースを取り込むケースなどで、BigQuery に取り込む際に別なカラム名を付ける手間が省けます。現在 (2023年4月現在) は Public Preview でご利用いただけます。
質問
Q. Unicode Column naming の有効・無効をプロジェクトごとに設定できますか？
A. サポートしていないので、必要な場合は Feature Request をあげると今後のロードマップに組み込まれる可能性があります。
主キーと外部キーの設定
BigQuery で主キーと外部キーが設定できるようになりました。こちらを設定することで JOIN や集計処理のクエリプランが最適化されます。既存のクエリでパフォーマンスを改善したい場合にお使いいただける機能かと思います。一方で値に関する制約は強制されない(NOT ENFORCED を設定する必要がある)ので、ユニーク性の担保などができるわけではない点などはご留意ください。現在 (2023年4月現在) は Public Preview でご利用いただけます。
質問
Q. 主キーと外部キーの設定は Dataplex でリネージの一部として活用できますか？
A. Dataplex のリネージはテーブル単位なので、カラムレベルでは実現されていません。またデータカタログは現時点では主キーと外部キーの情報は付与されません（Preview なので、変更される可能性もあります）。
ETL & Workflow
Cloud Composer - 新しい Metric の提供
Cloud Composer は BigQuery にデータをロードしたりデータを加工するようなタスクをオーケストレーションする、Airflow をマネージドで利用できるサービスです。最近ではデータリネージもサポートする形になっており、利用シーンがより増えてきているサービスです。メトリクスが増えたことにより、Cloud Monitoring を通じてより細やかな運用・監視をすることが可能になっています。
質問
Q. Cloud Composer のコスト最適化のコツを教えてください。
A. 必要なときに必要な分のリソースが動く形にはなっているものの、例えばデータの加工には Composer のリソースではなく BigQuery の ELT に任せるなど、なるべくデータベースや DWH に寄せるというのは一つの選択肢。Composer 上で動くマシンリソースがより短時間で動くようにパイプラインを構築するといったアプローチも有効です。
Data Fusion - SAP のデータ連携
Data Fusion で SAP BW OHD, SAP ODP, SAP OData, SAP SLT, SAP Table のプラグインが GA になり、SAP のデータを UI で確認・加工しながら連携できるようになりました。Cortex Framework なども含め、SAP のデータを Google Cloud で活用することが容易にできるようになってきていますので、SAP をお使いの場合は導入をご検討してみてはいかがでしょうか？
Cloud Pub/Sub - Update Schema
Pub/Sub のスキーマが更新できるようになりました。またスキーマ自体は履歴が管理されているので、ロールバックもできるようになっています。スキーマの変更は Diff で見比べることができ、差分を確認しながら編集できます。
AI / ML
Model Garden
Vertex AI で使用する基盤モデルを探すことができるカタログサービスです。自然言語、画像、Speech-to-Text、翻訳のモデルはユースケースによって様々なモデルがありますが、Model Garden を使うことでカタログの中から使いたいモデルを探し、見つけることができます。カタログには大規模言語モデルである PaLM も利用可能です。また、今後はオープンソースやサードパーティ製のモデルもラインナップされる予定です。あらゆるモデルを一箇所で検索できるようになるので、モデルを簡単に探し出すことができるようになりそうですね。
現在 (2023年4月現在) は Private Preview で公開しており、ご利用いただくには早期アクセスリクエストを送る必要があります。
Generative AI Studio
テキストから画像を生成したり、対話したりすることができる、基盤モデルのチューニングおよびデプロイを行うためのマネージドサービスです。
Vertex AI Generation では、例えば広告用に使用する画像の生成に利用する、などといったこともできます。Chat では質問に対する回答、アドバイス、提案、翻訳、要約、プログラミングのソース作成を行うことができます。またモデルに与える入力や質問の形式、テキストの書式や表現、情報の制限や強調などを調整できたり、一般的なデータだけではなく自社データを教え込むこともできるので、自社特有のビジネスルール、データに合わせたコンテンツを生成することもできます。
現在 (2023年4月現在) は Private Preview で公開しており、ご利用いただくには早期アクセスリクエストを送る必要があります。
Vertex AI Vision - Pub/Sub と Cloud Functions のサポート
Vertex AI Vision は2022年12月に GA された、画像認識などのアプリケーションを作成するためのパイプラインを簡単に作ることができるサービスです。
Vision と言うと画像認識 API を想像される方が多いと思いますが、こちらは画像に関する AI アプリケーションを主に GUI から作成することができる新しいサービスになっています。画像や動画データの取り込み、様々なユースケース（モデル生成、物体検出、混雑検知、異常検出、棚札認識などなど）のための分析、保存・検索といった一連のパイプラインを一気通貫、ドラッグ&ドロップなどで簡単に組み込むことができます。
2023年3月には Pub/Sub と Cloud Functions がサポートされ、イベントが発生した際に Pub/Sub や Cloud Functions に通知できるようになりました。現在は混雑状況の分析、またはカスタムモデルで利用可能です。
インフラストラクチャ
Hyperdisk
最新世代のネットワークブロックストレージサービスとして2023年3月に GA されました。GCE などを利用されている方にはストレージの新たなオプションになりますので、どういうワークロードに向いているのか抑えておくと良いと思います。
普段 GCE を使われている方は永続化ディスク(Persistent Disk)と何が違うのかが気になるところだと思いますが、IPU を活用しているところがポイントとなります。永続化ディスクの場合、読み書きのパフォーマンスはマシンタイプや永続化ディスクの IOPS によって決まる形だったため、サイジングが複雑になってしまっていました。Hyperdisk はその依存関係を切り離し、ディスクの容量と性能を別々、かつ動的に構成することができます。Boot Disk として指定できないところが注意点で、セカンダリのストレージとして利用することができます。
Migrate to Virtual Machines
Migrate to Virtual Machines はオンプレミス上の仮想マシンや Amazon EC2 や Azure Virtual Machines などといった他クラウド上の仮想マシンを Compute Engine (GCE) に移行するためのサービスです（以前は Migrate for Compute Engine でしたが、名称が変更になっています）。
2023年1月に Amazon EC2 からの移行が GA になり、Azure Virtual Machines は Preview で提供しています。
現在はバージョン5.0を提供しており、コンソール上では上図のように左からの流れで設定が行えるようになっているため、移行手順と作業内容がとても分かりやすくなっています。
Backup & DR の機能拡張
Backup & DR は Google Cloud の GCE などの仮想マシンやデータベース、ファイルシステムのバックアップや DR (ディザスタリカバリ) を行うための、Actifio GO の後継に位置するサービスです。
Cloud Logging や Cloud Monitoring のサポートであったり、上述している Hyperdisk Extreme へのサポートなど、多くのアップデートが行われました。
アプリケーションモダナイゼーション
GKE - バックエンドサービスベースの外部ネットワークロードバランサ
これまではターゲットプールベースでの設定が行えましたが、バックエンドサービスベースで設定ができるようになる機能が GA されました。これにより IPv6 や多くのプロトコルのサポート、きめ細かいトラフィック分散制御、Cloud Armor の統合などが利用できるようになりました。
内部 HTTP(S) ロードバランサーで Cloud Run をサポート
内部 HTTP(S) ロードバランサーのバックエンドサービスに Cloud Run を指定できる機能が GA されました。VPC 内のトラフィックの負荷分散が行えるようになり、外部向けのサービスとしても、内部向けのサービスとしても Cloud Run を活用できます。
IAP for Cloud Run
ついに Cloud Run の前段に IAP (Identity-Aware Proxy) を配置することができる機能が GA されました。こちらは長らく Preview として提供されていましたが、晴れて本番環境でもご利用いただけるようになりました。
こちらを利用すると Cloud Run の認証部分を IAP に寄せることができ、かつ IAM Conditions を組み合わせることで細かい条件を設定することもできます。
Cloud Deploy for Cloud Run
Cloud Deploy で Cloud Run のサポートが GA になりました。Cloud Deploy は環境ごとのデプロイを管理することができるサービスですが、Cloud Run のデプロイについても管理することができるようになりました。例えば開発環境、ステージング環境、本番環境のデプロイの順序を制御し、順番にロールアウトするようなパイプラインを組むことができます。
Skaffold バージョンを 2.0 移行に指定する必要があるため、既存の環境を利用されている場合はご注意ください（現在はデフォルトで 2.0 以降が設定されるため、特別に気にしていただく必要はありません）。
質問
Q. カナリアリリースは可能ですか？
A. 2023年4月からプレビューとして提供しております。
- Google Cloud Deploy supports canary and parallel deployment | Google Cloud Blog
- カナリア デプロイ戦略を使用する | Google Cloud Deploy
- クイックスタート: アプリケーションをターゲットにカナリア デプロイする | Google Cloud Deploy
データベース
Cloud SQL Auth Proxy v2
Cloud SQL Auth Proxy は Cloud SQL をよりセキュアに接続するためのツールで、こちらを使うと IAM による認証や TLS による通信の暗号化を簡単に利用することができます。
もともとは v1 が提供されていましたが、2023年2月に v2 がリリースされました。v2 では Cloud Monitoring や Cloud Trace との連携、Prometheus のサポート、ヘルスチェック、環境変数による構成など v1 には無かった機能が利用できるようになります。これから利用される場合は、ぜひ v2 を利用するようにしましょう。
- GitHub - GoogleCloudPlatform/cloud-sql-proxy: A utility for connecting securely to your Cloud SQL instances
- Migrating from v1 to v2 (v1 からの移行ガイド)
また GKE などで利用する場合はサイドカーでの運用になるかと思いますが、コンテナを容易に追加できるように Cloud SQL Proxy Operator が Public Preview として提供しています。
- Cloud SQL Proxy オペレータを使用して接続する | Cloud SQL for MySQL | Google Cloud
- GitHub - GoogleCloudPlatform/cloud-sql-proxy-operator: A Kubernetes Operator to automatically configure secure connections to Cloud SQL
AlloyDB Omni
AlloyDB Omni とは、AlloyDB をローカルの環境で動作できるようにしたもので、AlloyDB をオンプレミスや任意の環境でコンテナとして動かせるようになっており、どこでも簡単にご利用いただけます。
AlloyDB と AlloyDB Omni との関係性についてですが、まず AlloyDB は Google Cloud のストレージ部分など、インフラストラクチャを活用したサービスになっているため、そういったクラウドならではの機能の部分は AlloyDB Omni では利用することができません。性能についても AlloyDB はもともと PostgreSQL の OSS 版と比べると最大で4倍のパフォーマンスが出ると公表していますが、AlloyDB Omni では2倍程度となっています。
現在はテクニカルプレビューとして提供しており、多くのフィードバックを求めている状況になっています。ご興味がある方はお近くの営業か直接お問い合わせください。
質問
Q. 開発用途の Google Cloud プロジェクトで動かすことはできますか？
A. できます。Docker コンテナとして提供されており、テクニカルプレビュー時点では Linux 環境で動かすことを前提としているため、例えば Linux ベースの GCE で動かすなどといった使い方が可能です。
Spanner - テーブルや列レベルでのきめ細やかなアクセス制御
これまでプレビューとして提供していたきめ細やかなアクセス制御 (Fine-graind access control) が GA されました。IAM を用いたアクセス制御をテーブル単位、または列単位で設定できるようになっています。例えば特定のテーブルのみアクセス権を与えたり、特定の個人情報が含まれる列のみを制限したりといった細やかな制御を行うことが可能です。
Spanner - Data Catalog 連携
Spanner インスタンス、データベース、テーブル、カラム、ビューなどといった Spanner のメタデータを Data Catalog として自動的に管理できるようになりました。社内のデータをカタログとして管理しようとすると非常に苦労されるケースが多いですが、メタデータがほぼ自動的に管理できるようになるので、データ分析者をはじめとしたデータを多く扱う方にとっては非常に嬉しい機能ではないでしょうか。
2023年3月よりプレビューで提供しています。
Datastream for PostgreSQL
Datastream で PostgreSQL をデータソースとして BigQuery にレプリケーションする機能が GA されました。Datastream は CDC (Change Data Capture) のマネージドサービスで、主に RDBMS から BigQuery などにリアルタイムでレプリケーションするケースなどでご利用いただけます。
例えばマスタデータは PostgreSQL などの RDBMS で、トランザクションデータは BigQuery で管理しているようなケースで、それらを JOIN しながら分析したいケースなどで有用に使える機能です。Datastream を使うと外部テーブルではなく BigQuery のテーブル内にリアルタイムで同期できるようになるため、BigQuery のパフォーマンスを最大限に活かした分析が行えるようになります。その他にも同期先に Cloud Storage を指定することもできるため、クラウド間で RDBMS のデータを複製したい場合などにも使えます。
- Datastream for BigQuery | Google Cloud
- Replicate data to BigQuery in real time with Datastream | Google Cloud
質問
Q. Dataflow との違いはなんですか？
A. いくつかポイントはありますが、一番大きいのは簡単に使えるところです。Dataflow も Dataflow テンプレートを使えば同様のことはできますが、Dataflow の場合はワーカーとしてコンピュートノードを起動する形になり、流量が少ない場合でもインスタンス自体のコストがかかってきます。一方 Datastream の場合は完全にサーバーレスの形で動作するため、インスタンスの管理も不要です。料金体系は転送量課金になっているため、過剰にコストがかかってしまう心配がありません。また毎月 500GB までが無料でお使いいただけるため、流量が少ないような用途においては非常に低コストで運用できる可能性があります。
Q. カラムを絞るなどのカスタマイズはできますか？
A. 現状ではできないですが、BigQuery に取り込んだあとは View などのデータマートを作るなどといった、BigQuery 側で処理することで可能になります（ELT）。
ネットワーキング
オンプレミスとのハイブリットサブネット
従来ではオンプレミスのワークロードを Google Cloud 上に持ってこようとする場合、Google Cloud 上の VPC にオンプレミス上とは異なる IP アドレスを使ったインスタンスに移行させるといった工程を踏む必要がありました。これを実施するにはネットワーク設計を見直したりなど、多くの調整を行う必要がありました。また IP アドレスが変わってしまうためルーティングをし直す手間なども必要でした。
このアップデートによって、オンプレミスの VPC サブネットと Google Cloud の VPC サブネットを統合することができるようになりました。これにより Google Cloud 上で立ち上げた VM にアドバタイズし、通信の向き先を変えるだけで移行ができるようになりました。IP アドレスを変更せずに徐々に移行するといったことができるため、ネットワークを再設計する必要がなくなる非常に良いアップデートだと思います。
2023年3月よりパブリックプレビューで提供しています。
Cloud Load Balancing - 柔軟なパターンマッチングを使用した高度なトラフィック管理
Cloud Load Balancer で pathMacher の中でワイルドカード構文を使ったパスの書き換えができるようになりました。パスをより柔軟に変換してルーティングさせることができようになったので、クライアント側の実装を変えずに移行するなどといったユースケースで便利にお使いいただけると思います。
2023年1月よりパブリックプレビューで提供しています。
Network Intelligence Center (NIC)
Network Intelligence Center (NIC) はネットワークに関する、色々便利な機能が詰まっているサービスです。Network Topology (外部との通信の可視化)、Performance Dashboard (レイテンシなどの分析)、Connectivity Test (ネットワーク接続に関する問題のトラブルシューティング)、Firewall Insights (ファイアウォールの分析)、Network Analyzer (ネットワーク構成ミスなどを検出) といった機能を備えています。ネットワークを構成・運用する上で必要な情報が一箇所に集約されるので、このサービスを使うことで効率的にネットワークの管理を行うことができます。
2023年1月〜3月の中では、Connectivity Test の対象の拡大 (Cloud Run や App Engine スタンダードなど)、Firewall Insight の許可しているルールのチェック (許可したルールが使われているか分析)、シャドウルールの検出 (優先順位の設定による不要なルールを検出) が新たに使えるようになりました。
質問
Q. Security Command Center との違い、使い分けは？
A. Network Intelligence Center はセキュリティ上どのような問題があるかではなく、ネットワーク設計、運用を手助けしてくれるようなサービスという位置付けになっています。一方 Security Command Center は Google Cloud の数あるセキュリティサービスの情報を統制・管理できるサービスになっており、例えば Cloud IDS や Cloud Armor などの情報を集約したり、全体のログを監視して問題を教えてくれます（例えばマルウェア感染など）。それぞれ似てはいるが観点が違う、カバーしている範囲が違うといった点が挙げられます。
Q. Network Intelligence Center の利用に費用はかかりますか？
A. Network Intelligence Center は従量課金になっており、それぞれの機能ごとに料金が設定されています。無料枠も少しあるので、気軽に試していただければと思います。
その他
Cloud Monitoring - しきい値の予測
クォータやディスク容量、メモリ使用量などといった制約のあるリソースのモニタリングに、実数値ではなく予測値によるアラートが設定できるようになりました。実数値を使う場合は基本的に事後の対応しかできませんが、予測値を機械学習を使って自動的に導き出し、アラートに設定することで今後想定される問題を事前に通知することができます。設定が使えるようになるまではトレーニング時間がある程度必要な点（予測ウインドウの倍の長さ）に注意してください。
2023年1月より Public Preview として提供しています。
まとめ
Cloud UPDATES 2023 #3, #4 で紹介したアップデートの中からピックアップしてご紹介しました。このブログで紹介している内容以外にも細かなアップデートを紹介していますので、ぜひ動画もご視聴ください！
次回は2023年7月に開催予定です。ぜひ予定に入れておいてください！
Discussion