AnalyticsHubでのデータ交換について

※本記事は、2022年12月25日に公開済みの記事を移行して再掲載したものです。

はじめに

フェズアドベントカレンダー最終日の記事となります。

基盤開発部のデータ利活用グループでグループマネージャーをしている福田です。
データ基盤の構築・運用や、ビジネス側との接続を担当しています。

フェズでは小売様や各種サービス、企業様とデータ接続を進めており相互にデータを授受することからビジネスがはじまることが多いです。

今回はデータ接続の中でもBigQuery上で、効率よく安全にデータを共有・交換できるサービスであるAnalyticsHubについてご紹介します。

AnalyticsHubとは

公式より

Analytics Hub は、組織間でデータアセットを効率よく安全に交換できるようにするデータ交換サービスで、
データの信頼性とコストの課題に対処します。BigQuery のテクノロジーを活用して、
Google トレンドのような独自のデータセットを含む内部および外部アセットのライブラリをキュレートします。

端的に説明するとBigQueryの上でデータを受け渡しするサービスです。
広く一般的に自社のデータを公開することもできますし、一部の方に絞って公開することもできます。
逆に公開されているデータを、あたかも自社のデータと同等に利用することができるのも特徴のひとつです。
商用の利用も示唆されているので、よりセキュリティやデータ販売方面での機能拡張も期待できそうです。

利用シーン

フェズではBigQueryがデータ基盤の中心となっています。
また昨今BigQueryの扱いやすさ、パフォーマンスはかなり浸透してきていることもあり、多くの企業様が利用されています。

データ接続をしようとなったときに、お互いBigQueryを利用している場合、わざわざファイルに書き出してストレージで
交換しなくてもBigQuery上で交換できるため効率よくデータの授受ができます。
フェズでもアライアンス企業とのAnalyticsHubを使ったデータ交換が始まりつつあります。

公開リスティングの種類

リスティングは、広く公開されているものと限定された範囲に公開されているものがあります。
※リスティングとは、パブリッシャー（公開者）が公開している共有データセットへの参照のことです。
公開リスティングと限定公開リスティングという名称で使い分けられています。

公開リスティング

広く利用が公開されており、サブスクライバー（利用者）は自由にアクセスをリクエストすることができます。
無料の一般公開データセットだけでなく、商用データセットもあり、多種多様なデータが公開されています。
一般公開のリスティングはすでにたくさん登録されているので、利用したいテーマで検索して探します。

どうやら現在は英語での検索となるようですが、

• 天気
• 経済指標（GDP）
• スポーツ
• News
• など

様々なデータがすでにあるようです。（データの中身まではみていませんが、データ時代をより実感しますね。）

限定公開リスティング

公開が限定されているリスティングで、サブスクライバーが特定の環境に向けて公開しているものです。
個人やグループに対して共有をかける形となります。

フェズでもこの形態での利用からはじめていますが、アライアンス企業など特定の目的での利用のためのデータ交換を行うときに利用されます。

公開設定の方法

細かな設定は公式を参照していただきますが、以下のように

BigQuery → Analytics Hub → エクスチェンジの作成
と進むことで、公開設定が簡単に作成できます。

すでにあるデータやBigQuery上に用意されたデータに対して公開設定できるため、非常に簡単に外部向けへの設定ができます。

（公開対象を作成したあと、リスティングの管理を行って誰に公開するかを制御します。）

公開データの利用方法

データを利用する方法も簡単です。

BigQuery → Analytics Hub → リスティングの検索 → 対象のリスティング → データセットをプロジェクトに追加
と進み、どのプロジェクトのどこから参照するかを設定するだけです。

通常のクエリと同様にデータを検索・分析することができます。

まとめ

データ交換の一つのパターンとしてのAnalyticsHubを簡単にまとめてみました。
このような新しい手法も利用して新しいデータ接続がどんどん広がっています。
使えるデータが増えるということはフェズが提供できるサービスも広がっていくということにつながります。

来年はさらに多くのデータが扱えるようになる予定ですのでお楽しみに！