📌

Lesson4. Hadoop vs Spark

2022/10/29に公開約800字

学ぶ前の知識レベル

  • Spark は、Hadoopの持つMap Reduceという仕組みの持つ欠点を補う何からしい。

学んだこと

※ リソースとなった英語Youtubeの内容を日本語にしただけで、なんでそうなのか、本当にそうなのか、自分で調べきれていない内容ばかりです。

  • Hadoop と Spark は、いずれも大量のデータを分散処理するための仕組み
  • データをディスクに書き込む(Hadoop)のと、RAMで処理する(Spark)という違いから、以下の違いが生じている


Hadoop vs Spark

  • ディスクかRAMかという違い以外にも、いくつかの違いがある。
    • スケジューリングの機能が外出し(Hadoop)か、中に持っている(Spark)か。
    • フォールトトレラントやセキュリティの実装の仕組み。

本当はたぶんもっと大きな設計思想の違いとかもあるのだろうし、フォールトトレラントやセキュリティの実装の仕組みがどう違うのかも調べなければいけないけど、今回は概要編なのでここまで。
調べてわかったら書き足します。

学ぶために使ったリソース

Youtube(英語)

https://youtu.be/2PVzOHA3ktE
https://youtu.be/xDpvyu0w0C8

まだわかっていないこと(もっと調べたいこと)

  • Hadoop、Sparkそれぞれの
    • フォールトトレラントの実装の仕組み
    • セキュリティの実装の仕組み

Discussion

ログインするとコメントできます