2022年12月現在 Apache Sparkを使う時に気をつけるべきこと

1. jackson-coreというのも入れる必要があります。Gradleの場合

implementation group: 'org.apache.spark', name: 'spark-core_2.13', version: '3.3.1'
implementation group: 'com.fasterxml.jackson.core', name: 'jackson-core', version: '2.14.1'

（バージョンは適宜変えてください）

2.Java 11を使う必要がある
エラーが出る場合にオプション指定しろと書いてあるページもありますが、私の環境ではJava 11を使うようにするだけでエラーが起きなくなりました。Gradleを使う場合：

java {
    toolchain {
        languageVersion = JavaLanguageVersion.of(11)
    }
}

ただJavaを古いバージョンに変えるのは色々面倒なのでJavaのStreamやScalaのLazyListで代用できるならその方が良いかもしれません。例えばreduceByKeyを使いたいならgroupMapReduceで代用できます。