データ配信チームの前田です。
SpecteeではSNSのデータやプローブデータ等の様々な危機に関わるデータを保持しており、これらを上手く組み合わせることで「危機を可視化する」という会社のミッションの達成を目指しています。
Specteeでは社内でデータ分析基盤としてSnowflakeを活用しており、情報収集の一環として、Snowflake World Tour Tokyo 2025に参加したので、その内容に関して共有します。
※GA(正式リリース)でないものも含まれているので、今後仕様が変わるかもしれない点に関してはご留意ください。
イベントで特に気になった機能
- Snowflakeのマーケットプレイスの売買機能の拡充
- ウェアハウスのサイズ調整機能の拡充
- Snowflake ネイティブアプリフレームワーク
Snowflakeのマーケットプレイスの売買機能の拡充
Snowflakeにはマーケットプレイス機能があり、その中には企業が外部にデータを公開・販売する外部マーケットプレイス機能と社内向けの社内マーケットプレイス機能があります。
これらの機能の概要は下記の通りです。
外部マーケットプレイス
- 世界の気象情報や法人名等の情報が販売されている。その中には無料で利用することができるものもある
- データ購入後は自動でアカウントに追加されるので、データを加工してSnowflakeに入れるような手間も不要
社内マーケットプレイス
- 社内でアクセス権限を設けて機密情報を共有したいというような場合に活用可能
今回のイベントではSnowflakeで契約時に支払ったクレジットをマーケットプレイスにそのまま利用できる機能が紹介されていました。従来は分析に使えるデータを見つけたとしても、クレジットとは別にデータ購入用の予算を取る必要がありました。しかし、この機能の実装により、年度初め等に支払ったクレジットでデータの購入ができるようになり、データを購入しやすくなりました。
加えて、販売しているデータに対して、価格変更（特別割引等）機能が実装された為、プロバイダ側が柔軟な価格で顧客にデータを販売できるようになったのも印象的でした。
利用状況に応じた柔軟なウェアハウス（Adaptive Warehouse)と第2世代のウェアハウス
Snowflake上でデータ分析やデータ加工を行う場合、ウェアハウスのサイズを設定する必要があります。このウェアハウスはAWS EC2のインスタンスのタイプのように、高性能にすれば処理にかかる時間は短くなりますが、料金は高くなります。このような仕様の為、Snowflake上で処理するデータ量が一定ではない場合、ウェアハウスの未使用領域のコストが発生し、無駄が生じてしまいます。
しかし、Adaptive Warehouseという機能を使えばSnowflake側で自動でサイズ調整をしてくれます。それにより、ウェアハウスの未使用領域に対して払うコストが減ります。この機能はまだ一般公開はされていませんが、データ分析をする際は非常に有用と感じました。
Adaptive Warehouseの作成は通常のウェアハウスの作成と同じように
CREATE ADAPTIVE WAREHOUSE
既存のウェアハウスからの移行は下記のコマンドで行えます。
ALTER WAREHOUSE
AdaptiveWarehouseとは別に、効率化された第2世代のウェアハウスに関しても発表で触れられていました。
第2世代のウェアハウスの特徴としては、ウェアハウスの使用コストは多少増加しますが、計算の効率が良くなる事から、使用時間とウェアハウスの使用コストの掛け算で算出される実質的なコストは低下するという事が紹介されていました。これも作成は下記のコマンドで出来ると紹介されていました。
CREATE OR REPLACE WAREHOUSE next_generation_size_small
RESOURCE_CONSTRAINT = STANDARD_GEN_2 //作成するウェアハウスの世代、指定しない場合、最近だとGen2になる模様。
WAREHOUSE_SIZE = SMALL; //ウェアハウスのサイズ
既存のウェアハウスからの移行は下記のコマンドで行えます。
CREATE OR REPLACE WAREHOUSE old_to_new_xlarge //変更予定のウェアハウス名
WAREHOUSE_SIZE = XLARGE;
ALTER WAREHOUSE old_to_new_xlarge
SET RESOURCE_CONSTRAINT = STANDARD_GEN_2;
Snowflake ネイティブアプリフレームワーク
Snowflakeに格納されているデータをもとに、Streamlit等を用いることで、Snowflake上でアプリケーションを容易に作成できる機能に関しても紹介されていました。
この機能を用いることで、自社のデータを学ばせた独自のチャットボットを販売してマーケットプレイスで収益化ということもできるようです。これにより、自社データを用いたアプローチにより、全く別のセグメントの顧客を増やすこともできそうだと感じました。
まとめ
このイベントに行くまでSnowflakeはS3より効率よくデータが保管できるウェアハウスやデータ分析基盤に適しているという認識しかありませんでした。しかし、マーケットプレイス機能や普段使っているウェアハウスの改良、LLM関係の機能の拡充等、様々な機能の話を聞き、データ基盤としてだけでなく、より幅広い用途で使うことが出来る事に気づきました。今後もこの手のイベントには定期的に参加し、最新情報をキャッチアップしていきたいと思います。
また、Snowflake World Tour Tokyo 2025ではなく、Snowflake全体ではありますが、最新の機能拡充に関しては公式ブログを見ると良いと思います。
余談
イベント当日、品川区周辺での河川の氾濫、品川駅の滝のような雨漏り、電車の遅延等々、帰宅が困難な状態でした。しかし、Specteeの社員だったので、自社アプリの投稿やハザードマップを見ながら電車の遅延や冠水の影響が比較的少ない場所を選んで帰る事ができました。Specteeを使っていると、24時間365日災害時でも関係なく重要な情報が入ってくるのはやはりありがたいなと改めて感じるとともに、状況が悪化した事も想定し、やはり非常食をバッグに忍ばせておいたほうが良いとも感じました。
Discussion