📌
Lesson4. Hadoop vs Spark
学ぶ前の知識レベル
- Spark は、Hadoopの持つMap Reduceという仕組みの持つ欠点を補う何からしい。
学んだこと
※ リソースとなった英語Youtubeの内容を日本語にしただけで、なんでそうなのか、本当にそうなのか、自分で調べきれていない内容ばかりです。
- Hadoop と Spark は、いずれも大量のデータを分散処理するための仕組み
- データをディスクに書き込む（Hadoop）のと、RAMで処理する（Spark）という違いから、以下の違いが生じている
Hadoop vs Spark
- ディスクかRAMかという違い以外にも、いくつかの違いがある。
- スケジューリングの機能が外出し（Hadoop）か、中に持っている（Spark）か。
- フォールトトレラントやセキュリティの実装の仕組み。
本当はたぶんもっと大きな設計思想の違いとかもあるのだろうし、フォールトトレラントやセキュリティの実装の仕組みがどう違うのかも調べなければいけないけど、今回は概要編なのでここまで。
調べてわかったら書き足します。
学ぶために使ったリソース
Youtube(英語)
まだわかっていないこと（もっと調べたいこと）
- Hadoop、Sparkそれぞれの
- フォールトトレラントの実装の仕組み
- セキュリティの実装の仕組み
Discussion