<h1 id="%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB">
<a class="header-anchor-link" href="#%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB" aria-hidden="true"></a> はじめに</h1>
<p>こんにちは、D2Cエンジニアの羽原です。</p>
<p>社内の一部プロジェクトにおいて、Google Cloudの<a href="https://cloud.google.com/bigquery?hl=ja" target="_blank" rel="nofollow noopener noreferrer">BigQuery</a>を使用してデータの利活用が行われています。<br>
利活用を行う中で、異なるGoogle CloudのプロジェクトにおいてBigQuery上のデータを共有するシステム要件が出たため、調査を行った結果BigQueryのサービスの一部である<a href="https://cloud.google.com/analytics-hub?hl=ja" target="_blank" rel="nofollow noopener noreferrer">Analytics Hub</a>が最も最適であるとともに、社内のデータ利活用において非常に有用なサービスと感じたため紹介させて頂きます。</p>
<h1 id="analytics-hub%E3%81%A8%E3%81%AF">
<a class="header-anchor-link" href="#analytics-hub%E3%81%A8%E3%81%AF" aria-hidden="true"></a> Analytics Hubとは</h1>
<p><a href="https://cloud.google.com/analytics-hub?hl=ja" target="_blank" rel="nofollow noopener noreferrer">Analytics Hub</a>とは主に、</p>
<ul>
<li>組織間のデータアセットを安全に交換できる</li>
<li>データストレージを一元管理することでコスト面で削減が図れる</li>
<li>Publicに公開されたデータセットを登録することで。自身がもつBigQuery上のデータとかけ合わせることができる</li>
</ul>
<p>などの特徴を持っています。<br>
例えば、同じ会社内で特定のデータを持っているチームとそれを活用したいと思っているチーム間で異なるGoogle Cloud環境を使っている場合、Analytics Hubで簡単にデータの共有と管理と権限付与が一元的に行なるということを示しています。</p>
<h2 id="%E4%BB%95%E7%B5%84%E3%81%BF">
<a class="header-anchor-link" href="#%E4%BB%95%E7%B5%84%E3%81%BF" aria-hidden="true"></a> 仕組み</h2>
<p>仕組みとしては、データを提供したいPublisherとデータを利用したいSubscriberの2者をつなぐ役割を果たしています。下の図は<a href="https://cloud.google.com/analytics-hub?hl=ja#:~:text=Analytics%20Hub%20is%20a%20data,of%20data%20reliability%20and%20cost." target="_blank" rel="nofollow noopener noreferrer">Google Cloud公式サイト</a>に示されている概要図となります。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/ebb564d459e2-20230717.png" alt loading="lazy" class="md-img"><em>AnalyticsHubの概要図(公式サイトより引用)</em><br>
より詳細なPublisherとSubscriberの関係を示した図が下の図になります。<br>
<img src="https://storage.googleapis.com/zenn-user-upload/f18773c9b5dc-20230717.png" alt loading="lazy" class="md-img"><em>PublisherとSubscriberの関係(公式サイトより引用)</em><br>
主な流れとしては、</p>
<ol>
<li>データを共有したいPublisherが共有するデータセットをBigQueryに作成</li>
<li>作成したデータセットをAnalitics Hubの<strong>Listings</strong>へ登録
<ul>
<li>この際、Privateなデータセットの場合は、Subscriberも設定</li>
</ul>
</li>
<li>Subscriberは、自身のGoogle Cloud環境上のAnalytics HubでListingsを購読設定する</li>
<li>SubsciberのBigQuery環境でクエリの実行が可能になる</li>
</ol>
<p>といった流れとなります。<br>
従来は、</p>
<ol>
<li>データを共有したいPublisherがGoogle Cloud Storage(GCS)などにデータを置く or BigQuery(BQ)へ外部公開用のデータセットを作成</li>
<li>Publisher側に環境にSubscriberのIAM権限を作成した後、GCSやBQデータセットへ権限付与</li>
<li>SubscriberがGCSから自身のGoogle Cloud環境でBQの外部テーブルの作成を行う or Publisher側のGoogle Cloud環境にかけ合わせしたいデータを入れる</li>
<li>Subscriberがクエリを実行</li>
</ol>
<p>といった複雑な流れと権限設定を経る必要があり、以下のような問題が発生していました。</p>
<ul>
<li>データの保管場所がバラバラになることでデータの整合性の保証が取れない</li>
<li>一つのGoogle Cloud環境で複数人が作業を行うと、利用料金の按分に対して手間がかかる</li>
<li>GCSからBQの外部テーブルを作成することでパフォーマンスが低下し、クエリ実行において時間がかかる</li>
</ul>
<p>これらの問題を解決し、シンプルにデータ共有を行えるシステムがAnalytics Hubとなります。</p>
<h1 id="%E4%BD%BF%E3%81%A3%E3%81%A6%E3%81%BF%E3%81%9F%E6%84%9F%E6%83%B3">
<a class="header-anchor-link" href="#%E4%BD%BF%E3%81%A3%E3%81%A6%E3%81%BF%E3%81%9F%E6%84%9F%E6%83%B3" aria-hidden="true"></a> 使ってみた感想</h1>
<p>実際のチュートリアルとして、Google Cloud Japanのエンジニアの方が発信されている<a href="https://zenn.dev/google_cloud_jp/articles/9b946acb49960e" target="_blank">ブログ記事</a>を参考に進めます。</p>
<h2 id="publisher%E5%81%B4%E3%81%AE%E6%93%8D%E4%BD%9C">
<a class="header-anchor-link" href="#publisher%E5%81%B4%E3%81%AE%E6%93%8D%E4%BD%9C" aria-hidden="true"></a> Publisher側の操作</h2>
<ol>
<li>BigQuery(BQ)に共有したいデータセットとテーブルを作ります。
<ul>
<li>BQ上にデータセットとテーブルの作成し、データを入れます</li>
<li>今回は、<code>share_dataset_Publisher</code>データセットを作成し2つのテーブルを定義しました<br>
<img src="https://storage.googleapis.com/zenn-user-upload/a0651786407e-20230717.png" alt loading="lazy" class="md-img"><em>Publisher側のBQ画面</em>
</li>
</ul>
</li>
</ol>
<aside class="msg message"><span class="msg-symbol">!</span><div class="msg-content">
<ul>
<li>共有できるデータセットに対していくつかの制限があります。詳しくは<a href="https://cloud.google.com/bigquery/docs/analytics-hub-introduction?hl=ja#limitations" target="_blank" rel="nofollow noopener noreferrer">公式ドキュメント</a>を確認して下さい</li>
<li>共有するデータセットは以下の定義のテーブルにみ対応にしてます(2023/07現在)
<ul>
<li>承認済みビュー</li>
<li>承認済みデータセット</li>
<li>BigQuery ML モデル</li>
<li>外部テーブル</li>
<li>マテリアライズド ビュー</li>
<li>テーブル</li>
<li>Table Snapshots</li>
<li>ビュー</li>
</ul>
</li>
<li>共有する単位はデータセットとなるため、データセット内に共有したくないテーブルがあった場合は共有用データセットを作りビューを用いて共有する形となります。</li>
</ul>
</div></aside>
<ol start="2">
<li>Analytics HubでExchangeを作成
<ul>
<li>Analytics Hubにてエクスチェンジを作成
<ul>
<li>リージョンは、日本（大阪・東京）に対応</li>
</ul>
</li>
<li>Subscriberユーザーもここで権限設定<br>
<img src="https://storage.googleapis.com/zenn-user-upload/5179ec39ea89-20230717.png" alt loading="lazy" class="md-img"><em>Exchange作成画面</em>
</li>
</ul>
</li>
<li>Listingsを作成
<ul>
<li>Listingsを画面より以下を設定し作成
<ul>
<li>表示名</li>
<li>共有データセット</li>
<li>下りデータ<br>
<img src="https://storage.googleapis.com/zenn-user-upload/323d97f99169-20230717.png" alt loading="lazy" class="md-img"><em>Listing設定画面</em>
</li>
</ul>
</li>
</ul>
</li>
<li>Listingsの確認
<ul>
<li>Exchangeの画面よりリスティングを確認<br>
<img src="https://storage.googleapis.com/zenn-user-upload/cfb7f1c1b3c6-20230720.png" alt loading="lazy" class="md-img"><em>Publisher側のExchange画面</em>
</li>
</ul>
</li>
</ol>
<h2 id="subscriber%E5%81%B4%E3%81%AE%E6%93%8D%E4%BD%9C">
<a class="header-anchor-link" href="#subscriber%E5%81%B4%E3%81%AE%E6%93%8D%E4%BD%9C" aria-hidden="true"></a> Subscriber側の操作</h2>
<ol>
<li>Subscriber側のGoogleCloud環境にて、Analytics Hubよりリスティングの検索を選択<br>
<img src="https://storage.googleapis.com/zenn-user-upload/a537fe681642-20230720.png" alt loading="lazy" class="md-img"><em>検索画面</em>
</li>
<li>先程作成したlisting名で検索・データセットをプロジェクトに追加を選択<br>
<img src="https://storage.googleapis.com/zenn-user-upload/09850363f240-20230717.png" alt loading="lazy" class="md-img"><em>追加確認画面</em>
</li>
<li>接続するプロジェクト名とリンクデータセット名を確認<br>
<img src="https://storage.googleapis.com/zenn-user-upload/4c3b4ab8cbcc-20230717.png" alt loading="lazy" class="md-img"><em>確認画面</em>
</li>
<li>BigQuery(BQ)の画面より、共有されたデータセットを確認とクエリ実行
<ul>
<li>接続時のリンクデータセット名でBQ上に表示される<br>
<img src="https://storage.googleapis.com/zenn-user-upload/4eb719a10cb7-20230717.png" alt loading="lazy" class="md-img"><em>BQデータセット画面</em><br>
<img src="https://storage.googleapis.com/zenn-user-upload/aec305c63baa-20230717.png" alt loading="lazy" class="md-img"><em>BQ実行画面</em>
</li>
</ul>
</li>
</ol>
<h2 id="%E5%88%A9%E7%94%A8%E3%81%97%E3%81%A6%E6%84%9F%E3%81%98%E3%81%9F%E3%83%9D%E3%82%A4%E3%83%B3%E3%83%88">
<a class="header-anchor-link" href="#%E5%88%A9%E7%94%A8%E3%81%97%E3%81%A6%E6%84%9F%E3%81%98%E3%81%9F%E3%83%9D%E3%82%A4%E3%83%B3%E3%83%88" aria-hidden="true"></a> 利用して感じたポイント</h2>
<ul>
<li>共有されたデータセットは、読み取り専用となるため<code>INSERT</code>や<code>UPDATE</code>などの操作は行えません</li>
<li>料金体系について
<ul>
<li>Analytics Hubの利用料金:無料</li>
<li>ストレージ料金:Publisher側のGoogle Cloud環境へ課金</li>
<li>クエリ実行料金:Subscriber側のGoogle Cloud環境へ課金</li>
</ul>
</li>
<li>外部テーブルを共有する際、テーブル作成時に「Cloud リソース接続を使用して BigLake テーブルを作成する」をチェックをつけないとSubscriberが参照できないため注意が必要</li>
</ul>
<p>チュートリアルを通して、簡単にデータセットの共有やリスト追加・削除が行える印象を持ちました。また、リスティングではドキュメントなども記載できるため、このデータがどのようなデータであるかをSubscriberが確認でき取捨選択できる点は非常に良いなと感じました。</p>
<h1 id="%E3%81%8A%E3%82%8F%E3%82%8A%E3%81%AB">
<a class="header-anchor-link" href="#%E3%81%8A%E3%82%8F%E3%82%8A%E3%81%AB" aria-hidden="true"></a> おわりに</h1>
<p>本記事では、Analytics Hubを用いてGoogle Cloudのプロジェクト間でデータの共有を行いました。<br>
チュートリアルを通して以下のような特徴を持っていると感じました。</p>
<ul>
<li>Listingによって管理することでデータセットの共有権限をPublisher側で握ることができ管理しやすい点</li>
<li>Publicなデータセットを登録することで、自社の持つデータとかけ合わせて新たなビジネスへ拡大できる点</li>
<li>Subscriber側が自身の環境に必要なデータを選び導入できるとともに、ストレージ料金を気にすることなく分析環境を簡単に構築できる点</li>
</ul>
<p>この記事を参考に、社内でのデータ利活用やデータシェアリングを加速させるための一助になれば幸いです。最後までお読みいただきありがとうございました。</p>
<h1 id="%E5%8F%82%E8%80%83">
<a class="header-anchor-link" href="#%E5%8F%82%E8%80%83" aria-hidden="true"></a> 参考</h1>
<p><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__548dec3face5" src="https://embed.zenn.studio/card#zenn-embedded__548dec3face5" data-content="https%3A%2F%2Fzenn.dev%2Fgoogle_cloud_jp%2Farticles%2F9b946acb49960e" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://zenn.dev/google_cloud_jp/articles/9b946acb49960e" style="display:none" target="_blank">https://zenn.dev/google_cloud_jp/articles/9b946acb49960e</a><br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__f20b1fe50b1f1" src="https://embed.zenn.studio/card#zenn-embedded__f20b1fe50b1f1" data-content="https%3A%2F%2Fcloud.google.com%2Fanalytics-hub%3Fhl%3Dja" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://cloud.google.com/analytics-hub?hl=ja" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://cloud.google.com/analytics-hub?hl=ja</a><br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__2138570f7def5" src="https://embed.zenn.studio/card#zenn-embedded__2138570f7def5" data-content="https%3A%2F%2Fcloud.google.com%2Fbigquery%2Fdocs%2Fanalytics-hub-introduction%3Fhl%3Dja%23supported-regions" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://cloud.google.com/bigquery/docs/analytics-hub-introduction?hl=ja#supported-regions" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://cloud.google.com/bigquery/docs/analytics-hub-introduction?hl=ja#supported-regions</a></p>


Analytics Hubを使ってプロジェクト間でデータのやり取りを簡単にする

Discussion