🕶️
【コラム】sqoopの終焉
少し前のことになりますが、
sqoopがついにプロジェクト廃止となりましたね。
sqoopとは
Apache Sqoop(TM) is a tool designed for efficiently transferring bulk data between Apache Hadoop and structured datastores such as relational databases.
リレーショナルデータベースなどの構造化データストア間でバルクデータを効率的に転送するために設計されたツールです。
とある通りhadoopとDBのデータを転送するためのツールです。
hadoop用のETLツールですね。
プロジェクト廃止で思うこと
ビッグデータを扱う環境がパブリッククラウドというのが一般化されてきた今日この頃。
いよいよオンプレ環境のビッグデータ環境を支えて来たhadoopが
完全な終焉に向かう感じがしました。
最後に
僕の携わる仕事でも既存環境でsqoopを利用している環境は今もってありますが、
sqoopをこれから新たなシステムやプロジェクトでデータ連携ツールとして採択するのは、
公式にも記載がある通り、控えた方が良さそうですね。
Discussion