SnowPro Associate資格への道 ~Part2:非構造化データ~

に公開

はじめに

9月のSnowflake World Tour TokyoまでにSnowPro Coreをとります!
試験日8月28日までいよいよ、39日。
やばいもうすぐ1か月切っちゃう💦

閑話休題 Associate試験について

とその前に、7月にSnowflake Platform Trainingを受けました(今週開催分は満席のようです💦)。
Snowflake Platform Trainingを受講してアンケートに回答すると、SnowPro Associateのバウチャーがもらえます。

ぜひ資格試験に興味がある方やSnowflake World Tour Tokyoで資格取得者専用ラウンジに入りたい、Tシャツをゲットしたい方は次回のSnowflake Platform Trainingも要チェック!

というわけで前置きが長くなりましたが、SnowPro Coreを受ける前にAssociate試験を受けちゃおうということで、横道にそれている今日この頃です。

現在こちらのUdemyの問題を解いています。
SnowPro Associate: Platform Certification – Practice Exams

非構造化データ

さて、非構造化データについて深掘っていこうかなと思います。
https://docs.snowflake.com/ja/user-guide/unstructured-intro

非構造化データの例リスト(Snowflakeで扱えるもの)

非構造化データとは、「構造が決まっていない・自由形式のデータ」のことです。

  • 「表形式に整形できないもの」は基本的に非構造化
  • 画像やPDFなど、人が見ることを前提としたデータが多い
  • Snowflakeではこれらをステージに格納し、GET / PUT でやり取りします
  • ディレクトリテーブルを使えば、ファイル一覧をSQLで参照できます

以下は代表的なファイル形式の例です。

📸 画像ファイル

  • .jpg, .jpeg
  • .png
  • .gif
  • .bmp
  • .tiff

🎬 動画ファイル

  • .mp4
  • .mov
  • .avi
  • .mkv

🔊 音声ファイル

  • .mp3
  • .wav
  • .aac
  • .flac

📄 文書ファイル(自由形式のドキュメント)

  • .pdf
  • .doc, .docx(Microsoft Word)
  • .ppt, .pptx(PowerPoint)
  • .txt(プレーンテキスト)

📑 その他のバイナリファイル

  • .zip, .tar, .rar(圧縮ファイル)
  • .exe, .dll(実行ファイル)
  • .iso(ディスクイメージ)

非構造化データへのアクセス

https://docs.snowflake.com/ja/user-guide/unstructured-intro#sql-functions

このSQLシステム関数を見て「GETとBUILDの違い」が判らなかったので、調べてみました。

Snowflakeで非構造化データを扱う際のGETとBUILDは、操作の目的が根本的に異なります。
簡単に言うと、GETは「取り出す」操作、BUILDは「作り出す」操作です。

Snowflake上のデータにアクセスしに行く場合は
基本GET~という関数を使えば良いのですね。なるほど。

ディレクトリテーブル

https://docs.snowflake.com/ja/user-guide/data-load-dirtables
ディレクトリテーブルは「ステージ(フォルダ)」の中のファイル一覧をテーブル形式で見る方法です。

CREATE STAGE my_unstructured_stage
  DIRECTORY = ( ENABLE = TRUE );

STAGEで操作するってことは覚えておいた方がよさそうです。

ファイルにアクセスできる URLs の型

https://docs.snowflake.com/ja/user-guide/unstructured-intro#types-of-urls-available-to-access-files

Discussion