Closed8
Databricks SQL の CREATE SCHEMA の挙動確認
Databricks SQL の CREATE SCHEMA
ステートメントの LOCATION
オプションの警告として以下の文言がある。本文書ではこの警告の実際の挙動について確かめてみる。
Azure Data Lake Storage Gen2 のストレージ アカウントに olist-brazillian-ecommerce
コンテナ > raw
フォルダ > CSV ファイル群という構成でファイルを格納。
CSV ファイル群は Kaggle の以下パブリック データセットを利用。
Databricks SQL で以下の SQL を実行、正常終了。
USE CATALOG hive_metastore;
CREATE SCHEMA olist_raw LOCATION 'abfss://olist-brazilian-ecommerce@sthinadsdemodfs1.dfs.core.windows.net/raw/';
データ エクスプローラーの表示は以下の通り。場所に CREATE TABLE
ステートメントで指定した LOCATION が入っている。
Databricks SQL で DROP SCHEMA
ステートメントを実行、正常終了。
DROP SCHEMA olist_raw;
ストレージ エクスプローラーを確認すると、SCHEMA の LOCATION として指定した raw ディレクトリが消滅した。
結論
Docs 記載の文言の通り、LOCATION
オプションを指定して CREATE SCHEMA
ステートメントでスキーマを作成後、そのスキーマを削除すると、LOCATION
オプションで指定したフォルダが再帰的に削除された。
補足
上記の挙動はあくまでスキーマのみ。
LOCATION
オプションを指定して CREATE TABLE
ステートメントで作成したテーブルを DROP しても、LOCATION
オプションで指定したフォルダ・ファイルは削除されない。
このスクラップは2022/08/24にクローズされました