Databricks [FAILED_READ_FILE.NO_HINT] Error while reading fileの対応例

databricks [FAILED_READ_FILE.NO_HINT] Error while reading file
上記のエラーに Spark.read.table().display()を使った際にハマった。

displayメソッドはあくまでも一例であるが、多分他にも上記のエラーは起きるだろう。

なので、私のこれから伝える対処法はあくまでも一例である。

voidを避ける

データベースの中にvoid型があると、例えばSQL等でもデータを表示できなくなる。
これが発生するケースで特に多いのはspark.createDataFrameを使って、pandas dataframeからspark dataframeを作成するタイミングである。

nullだけが存在するカラムなどが勝手にsparkでvoid型判定されるのだが、これがあるとデータを表示できなくなる。

また、さらに曲者なのが、object型の中に辞書型を持っていたとして、その中の valueのデータ型がvoid判定されていても同様のエラーが発生する。