Zenn
🙆‍♀️

データインテグレーションプラットフォーム【Skyvia】の概要

2023/02/24に公開
#
skyvia
tech

はじめに

Twitterで見かけたSkyviaというETL製品に関心を持ったため、概要をまとめました。初見の感想としてはETL処理の実装が簡単かつ早い、差分更新が楽に実装できそう、job管理のUIが見やすい、basicプランが月15ドルから(レコード数による従量課金)と安いなど利点が多そうな製品かなと思いました。

Skyviaとは

Skyviaとはホームページには下記のように紹介されています。

Universal Cloud Data Platform
Data integration, backup, management, and connectivity.

つまりはデータ統合を幅広くカバーしますという製品です。
また3点の大きな理念があるようです

  • TECHNICALLY-WISE
    • クラウドベースのプラットフォームとして俊敏性と拡張性を提供し、手動デプロイやアップデートなどの必要性を排除します
  • EASY TO USE
    • コーディング不要で容易な実装を可能にします
  • SCALABLE
    • 多種の料金体系を提供し、企業の規模を問わずサービス提供を行います

機能の概要

  1. 大まかな機能一覧は下記の画像にある通りです

  2. 機能の詳細ついては下記になります(一部機能として重複した内容もあると思われるものは省略しました)

  • Data Import
    Key Features で4点ほど述べられていますが一番私が気になったのは、差分更新に対応していることかなと思います。オプションで新規レコード分や修正されたレコードのみを更新できるようです。(ここは今後検証してみたいなと思っています)

  • Data Export
    こちらはデータの出力になります。ここで面白いと感じたのはフィルター機能です。データを出力する際、フィルターをかけることができるようです。エクスポートする際にフィルターをかけることでレコード数を制限して、出力できるのかな。。(SQLなどでフィルター処理を行うのがめんどくさいときとかに使えそう？？)


こちらでは CHANGE DATA CAPTURE が挙げられるかなと思います。マスターデータの差分作成などはこちらの機能でぐるっとまとめてくれればいいありがたいなと思いました。

  • Data Analysis

    • Real-time Analytics
      • スケージュール設定により数分に1回の更新を行えます
      • レプリケーション処理はインクリメンタルな更新が行われます
    • Easy-to-use ELT
      • 3ステップでETL処理を実行することができるようです
    • Highly Configurable ETL
      • ETLを行う際のマッピング処理の柔軟性
        • 条件、数式、文字などの関数を作成できます
        • ソーステーブルからターゲットテーブルにロードする際、データを分割することができます

  • On-premise Data Integration

Skyvia Agent Applicationを利用することでデータベースとSkyvia間でデータをロードするためのセキュアなトンネルアプリケーションを提供します。

How Agent Works
Agent runs on a local computer having access to both Skyvia and the local database. It only loads data between Skyvia and databases, while main work is performed in the cloud

価格

料金体系

最後に

フリーアカウントを払い出したので、機能の確認ができ次第記事にまとめていきたいと思います。

Discussion