Zenn
📚

データ分析基盤まとめ（随時更新）

2024/03/15に公開
#
データ分析基盤
#
DataEngineering
#
データエンジニアリング
#
ビックデータ
tech

はじめに

データ分析基盤の資料を力尽きるまで追記していきます。
構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。
あと、この記事追加してっていう要望も歓迎いたします。

テンプレート

記事公開日 : 会社名（サービス名）

  • データソース :
  • データ処理 :
  • アウトプット :

画像
URL

2025年

2024/03/14 : 株式会社エス・エム・エス（カイポケ）

  • データソース : Amazon Aurora
  • データ処理 : Datastream、BigQuery、dbt
  • アウトプット : Looker Studio


https://tech.bm-sms.co.jp/entry/2024/03/14/110000

2024/03/12 : 株式会社マイナビ

  • データソース : SQL Server、Amazon S3
  • データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowflake
  • アウトプット : Tableau、Paxata


https://findy-tools.io/articles/snowflake-2/6

2024/03/12 : ノバセル株式会社

  • データソース :
  • データ処理 : trocco、Snowflake、dbt
  • アウトプット : Tableau、Redash


https://findy-tools.io/articles/snowflake-2/6

2024/03/12 : 株式会社セゾン情報システムズ

  • データソース : SAP S/4HANA、Salesforce、Log＠Time、SAP Concur、Zuora
  • データ処理 : Snowflake
  • アウトプット : Tableau


https://findy-tools.io/articles/snowflake-2/6

2024/03/08 : 株式会社アプリボット（FINAL FANTASY VII EVER CRISIS）

  • データソース : Amazon S3
  • データ処理 : Snowflake
  • アウトプット : Redash


https://speakerdeck.com/cyberagentdevelopers/final-fantasy-vii-ever-crisis-noyun-yong-wozhi-erudetafen-xi-ji-pan-cagc2024-star-2025nian-3yue-6ri-madenogong-kai

2024/03/01 : 株式会社MIXI（モンスターストライク）

  • データソース : Amazon S3、Google Cloud Storage
  • データ処理 : BigQuery
  • アウトプット : Looker、Google Sheets、Slack


https://speakerdeck.com/mixi_engineers/the-introduction-of-looker-and-its-results-in-monster-strike-which-promotes-data-democratization

2024/02/22 : 株式会社ディー・エヌ・エー

  • データソース : Google Sheets、Amazon S3
  • データ処理 : BigQuery、Dataflow
  • アウトプット : Looker


https://engineering.dena.com/blog/2024/02/dataform_for_ydb/

2024/02/22 : Chatwork株式会社

  • データソース : Treasure Data CDP、Salesforce、Zendesk、Amazon S3
  • データ処理 : AWS Lambda、Digdag、Snowflake、dbt
  • アウトプット : Looker、Redash、Exploratory


https://findy-tools.io/articles/snowflake-1/5

2024/02/22 : dely株式会社

  • データソース :
  • データ処理 : trocco、Snowflake、dbt
  • アウトプット : Looker、Redash


https://findy-tools.io/articles/snowflake-1/5

2024/02/22 : 株式会社GENDA

  • データソース : Amazon RDS、Amazon S3
  • データ処理 : Snowflake、dbt
  • アウトプット : Redash


https://findy-tools.io/articles/snowflake-1/5

2024/02/22 : スターフェスティバル株式会社

  • データソース : Amazon RDS、kintone、Salesforce、Google Analytics、Amazon S3
  • データ処理 : Embulk、AWS Step Functions、Snowflake
  • アウトプット : Amazon QuickSight、Tableau、Looker


https://findy-tools.io/articles/snowflake-1/5

2024年

2023/12/14 : イオン株式会社

  • データソース :
  • データ処理 : Apache Spark、Snowflake、ClickHouse、TiDB
  • アウトプット : Power BI


https://speakerdeck.com/aeonpeople/super-huge-data-platform-launched-by-aeon

2023/12/13 : 株式会社Algoage

  • データソース : Amazon S3、Amazon Aurora、Google Sheets、Notion
  • データ処理 : Fivetran、AWS Lambda、Snowflake、Dagster、dbt
  • アウトプット : Amazon QuickSight、AWS Lambda


https://speakerdeck.com/sora32127/detaji-pan-yi-xing-noriaru-sutatoatupuniokerudetafen-xi-ji-pan-yi-xing-noshi-tai

2023/11/27 : 株式会社プレイド

  • データソース : Webサイト、モバイルアプリ
  • データ処理 : Spanner、BigQuery、Bigtable
  • アウトプット :


https://publickey1.jp/blog/23/newsqltidbbigqueryolap_pr.html

2023/11/16 : Sansan株式会社

  • データソース : Amazon Aurora、Amazon S3、Azure Blob Storage、Salesforce、Google Sheets、Cloud SQL、Cloud Logging、Cloud Storage
  • データ処理 : Airbyte、Cloud Composer、BigQuery
  • アウトプット :


https://speakerdeck.com/sansan_randd/data-infrastructure-team-initiatives-to-promote-data-utilization

2023/11/10 : コミューン株式会社

  • データソース : Salesforce、Cloud SQL、Google Analytics
  • データ処理 : trocco、dbt
  • アウトプット : Redash、Looker Studio


https://speakerdeck.com/shomaekawa/saassutatoatupuniokerudetamanezimentonoshi-mefang

2023/10/31 : 株式会社MIXI（TIPSTAR）

  • データソース : Cloud Spanner、Cloud Logging、Google Sheets、AppsFlyer、Google Analytics
  • データ処理 : Dataflow、BigQuery、dbt、Workflows
  • アウトプット : Vertex AI、Looker


https://speakerdeck.com/yhamano/tipstar-niokerudetafen-xi-ji-pan-xin-lai-xing-xiang-shang-noqu-rizu-mi

2023/10/13 : 株式会社マイベスト

  • データソース : Amazonアソシエイト、バリューコマース アフィリエイト、楽天アフィリエイト、Google Search Console、Google Analytics、Google Sheets、Amazon S3
  • データ処理 : trocco、BigQuery
  • アウトプット : Redash、Google Data Portal、Google Sheets、Slack


https://speakerdeck.com/miraoto/fen-xi-ji-pan-nokosutowoxue-jian-sitahua

2023/08/22 : dely株式会社（クラシルリワード）

  • データソース : Firebase、Amazon DynamoDB、Amazon S3、Amazon RDS
  • データ処理 : Digdag、Embulk、BigQuery、Snowflake
  • アウトプット : Redash、Looker


https://tech.dely.jp/entry/rewards_data_infrastructure

2023/07/28 : 株式会社良品計画

  • データソース :
  • データ処理 : Amazon Kinesis Data Streams、AWS Lambda、Amazon S3、AWS Glue
  • アウトプット : Amazon SageMaker、Tableau、Amazon Athena


https://speakerdeck.com/yangming/wu-yin-liang-pin-noid-postetafen-xi-woshao-jie

2023/07/04 : 株式会社LayerX（バクラク）

  • データソース : Amazon S3、Salesforce、Amazon Aurora、Amazon DynamoDB、GitHub、Google Analytics
  • データ処理 : BigQuery、dbt、Embulk、GitHub Actions、AWS Step Functions
  • アウトプット : Looker Studio、Amazon S3、Salesforce、Amazon Aurora、Amazon DynamoDB


https://tech.layerx.co.jp/entry/bakuraku-data-management-2023

2023/06/21 : 株式会社キュービック

  • データソース : 広告データ(Google、Yahoo!、LINE)、Amazon Aurora
  • データ処理 : trocco、Amazon Redshift
  • アウトプット : Tableau、Google Sheets


https://speakerdeck.com/cuebic9bic/cuebicshe-notesitarumeteiashi-ye-wozhi-erutetafen-xi-ji-pan-nobian-qian

2023/04/11 : 株式会社タイミー

  • データソース : Adjust、Google Play、HubSpot、Apple Store、Zendesk、Firebase
  • データ処理 : Digdag、Embulk、trocco、BigQuery、dbt、GitHub Actions
  • アウトプット : Looker、Redash、Google Sheets


https://speakerdeck.com/ttccddtoki/detapin-zhi-wozhong-shi-sitadetaji-pan-purodakutokai-fa

2023/04/11 : GMOペパボ株式会社

  • データソース : Amazon S3、Debezium
  • データ処理 : Cloud Composer、Cloud Pub/Sub、BigQuery
  • アウトプット :


https://speakerdeck.com/tosh2230/change-data-capture-for-near-realtime-analytics

2023/04/05 : 株式会社バンダイナムコネクサス

  • データソース : Amazon RDS、Treasure Data、Google Cloud Storage、Apple Store
  • データ処理 : Embulk、Cloud Composer、BigQuery
  • アウトプット : Looker、Google Sheets、Jupyter Notebook、Vertex AI


https://www.wantedly.com/companies/bandainamco-nexus/post_articles/496338?utm_source=t.co&utm_medium=share&lang=ja

2023/02/07 : 株式会社カケハシ

  • データソース : kintone、Salesforce、HERP Hire
  • データ処理 : Databricks
  • アウトプット :


https://speakerdeck.com/kakehashi/detaji-pan-timunoshao-jie

2023/01/10 : ニフティ株式会社

  • データソース :
  • データ処理 : Digdag、Embulk、Amazon S3、Amazon Redshift、
  • アウトプット : Redash、Tableau、Amazon S3、Google Cloud Storage


https://speakerdeck.com/niftycorp/nifty-tech-talk-08-kurobane

2023年

2022/11/15 : 面白法人カヤック（北欧、暮らしの道具店）

  • データソース : Google Cloud Storage、Google Analytics、Firebase
  • データ処理 : BigQuery
  • アウトプット : Redash、Looker


https://speakerdeck.com/mashiike/bei-ou-mu-rasinodao-ju-dian-nodetaji-pan-nobian-qian

2022/11/02 : 株式会社CARTA MARKETING FIRM

  • データソース : Amazon S3、Amazon Aurora
  • データ処理 : Fivetran、Snowflake、dbt、AWS Step Functions
  • アウトプット :


https://speakerdeck.com/pei0804/strongest-data-architecture-discussion

2022/05/10 : ラクスル株式会社（ダンボールワン）

  • データソース : Amazon Aurora、Google Analytics
  • データ処理 : trocco、BigQuery、dbt
  • アウトプット : Redash、Google Sheets、Google Data Portal


https://zenn.dev/raksul_nakada/articles/210c3da4943c4d

2022年

2021/08/03 : Classi株式会社

  • データソース : Google Cloud Storage、Google Analytics、Firebase
  • データ処理 : BigQuery、Cloud Composer
  • アウトプット : Tableau、Redash


https://tech.classi.jp/entry/2021/05/31/120000

2021年

2021/05/26 : 株式会社メルカリ

  • データソース : Cloud SQL、Cloud Spanner、Salesforce、kintone
  • データ処理 : Cloud Pub/Sub、Dataflow、Google Kubernetes Engine、Apache Airflow、BigQuery、trocco
  • アウトプット : Looker


https://speakerdeck.com/yuzutas0/20210526

2021/01/01 : 株式会社カカクコム

  • データソース : Adobe Analytics、AppsFlyer、MySQL、Google Cloud Storage
  • データ処理 : Cloud Composer、BigQuery
  • アウトプット : Vertex AI、Tableau、Salesforce


https://speakerdeck.com/yangming/shi-herokufalsehitukutetaji-pan-wozhi-eruji-shu

2020年

2020/10/30 : 株式会社ブレインパッド

  • データソース : Google Cloud Storage
  • データ処理 : BigQuery、Apache Airflow
  • アウトプット :


https://www.brainpad.co.jp/doors/contents/01_tech_2019-09-20-120715/#なぜ、BigQueryにしたのか

2020/03/31 : 株式会社リクルートテクノロジーズ

  • データソース : Oracle Database、MySQL、PostgreSQL、Amazon S3、Google Cloud Storage、Salesforce、kintone、Adobe Analytics
  • データ処理 : Google Kubernetes Engine、Cloud Pub/Sub、Embulk
  • アウトプット : Amazon S3、MySQL、Oracle Database、Google Cloud Storage、BigQuery、Cloud Pub/Sub


https://speakerdeck.com/rtechkouhou/gcpdegou-zhu-suru-korekarafalsebian-hua-nidui-ying-chu-lai-rudetafen-xi-ji-pan-falsezuo-rifang

2019年

2019/04/25 : 株式会社ナビタイムジャパン

  • データソース : Amazon S3
  • データ処理 : AWS Glue、Amazon EMR、Amazon Athena、Treasure Data
  • アウトプット : Redash、Tableau、Microsoft Excel、PostgreSQL


https://speakerdeck.com/navitimejapan/nabitaimuziyapanniji-maruyi-dong-bitugudetafalsefen-xi-ji-pan

2018年

2018/09/19 : JapanTaxi株式会社

  • データソース : Amazon Kinesis、Amazon S3、Google Cloud Storage
  • データ処理 : Dataflow、Cloud Pub/Sub、BigQuery、App Engine
  • アウトプット : Slack、Tableau、Google Sheets、Cloud Datalab


https://speakerdeck.com/shua/japantaxi-apuriwozhi-eru-detafen-xi-ji-pan

2018/06/01 : 株式会社MIXI（モンスターストライク）

  • データソース : Amazon S3
  • データ処理 : Apache Hive、Apache Flink、Apache Spark、Amazon Redshift
  • アウトプット : Google Sheets、Apache Zeppelin、Metabase、Redash


https://speakerdeck.com/ojima_h/monsutasutoraikuwozhi-erudetafen-xi-ji-pan-tozhun-riarutaimuji-ji

2017年

2017/02/28 : 株式会社Gunosy

  • データソース :
  • データ処理 : Amazon Redshift、BigQuery
  • アウトプット : Redash、Jupyter Notebook


https://speakerdeck.com/moyomot/gunosyfalsedetafen-xi-ji-pan-roguji-pan-falsequan-rong

Discussion