DuckDBのパーザ

DuckDBのメインレポジトリ

• https://github.com/duckdb/duckdb

パーザクラス

• duckdb::Parser
  • https://github.com/duckdb/duckdb/blob/main/src/include/duckdb/parser/parser.hpp

duckdb::Parser::parse()メソッド呼ぶとSQLのパースが実行され、duckdb::Parser::statementsに格納される。

• 複数のクエリを一度にパースできるため、コレクションとなっているように見える。

duckdb::Parser::ToString()メソッド

パース結果の構文木をSQL文字列に変換する。

変換の際に、入力したSQLとは改変されて出力されることに注意。

• キーワード
  • selectとかfromとかのキーワードは大文字にされるっぽい
• where句の条件
  • x = 1 -> (x = 1)のように各条件がカッコで括られる
• 型キャスト
  • xxx::yyyのような型キャストは、CAST(xxx AS yyy)に変換される
• 型名
  • 別名(alias)はnameに変換される (加えて小文字は大文字に)
    • e.g. int -> INTRGER
  • https://duckdb.org/docs/sql/data_types/overview#general-purpose-data-types
• case式
  • (CASE WHEN ... THEN ... ELSE ... END)と書いた場合、外側の括弧は取り除かれる
    • CASEとWHENの間の空白が2になった。
      • これは、CASE <条件> WHENの可能性も考慮してのことと思われる。
  • WHENパートにx = 1と書いた場合、((x = 1)) となった。
    • WHENパートで1つ、条件式で1つ
    • ANDで繋ぐとさらにカッコが一つ増える
      • f = 1 and g = 2 and h = 3が`(((f = 1) AND (g = 2) AND (h = 3)))
  • THENパートもTHEN xと書いた場合に、THEN (x)とされた。
  • 一方、｀ELSE`パートはそのまま出力された。
  • ELSEパートを省略した場合、ELSE NULLで補われて出力された。
  • CASE f WHEN 1 THEN ... 2 THEN ... ELSE ... ENDと書いた場合、CASE WHEN ((f = 1))のスタイルに変更された。驚いた。
• selectless EXISTS (EXISTS (FROM foo ...)なやつ)の場合、SELECT *`が補われて出力された。
• 表参照のエイリアスはASが補われて出力された。
  • SELECT * FROM foo f が SELECT * FROM foo AS fに
• ture/falseはENUM型't'と'f'に型キャスト付きで変換された
  • true -> `CAST('t' AS BOOLEAN)
  • false -> `CAST('f' AS BOOLEAN)
• JOINはINNERが補われて出力された。
  • JOIN bar ON ... がINNER JOIN bar ON ...に
• LATERAL JOINは、ここに書くには余白が狭すぎるので別コメントとして記載した。
  • https://zenn.dev/link/comments/4f60e313f8e70f

Statementの構造

• トップレベルはduckdb::SQLStatement
  • SQLStatementのtypeフィールドを見ることで種別 (duckdb::StatementType)がわかる
    • https://github.com/duckdb/duckdb/tree/main/src/include/duckdb/common/enums/statement_type.hpp
  • Cast()メソッドを使って種別に該当する型に変換する
    • 例えば、SELECT文なら、duckdb::SelectStatement
    • auto& sel_stmt = stmt->Cast<duckdb::SelectStatement>()

SELECT文

• 種別 duckdb::StatementType == SELECT_STATEMENT
• 型 duckdb::SelectStatement

SelectStatementはduckdb::QueryNode型のnodeフィールドを持つ

• https://github.com/duckdb/duckdb/tree/main/src/include/duckdb/parser/query_node.hpp

SELECTノード

QueryNodeのtypeフィールド(duckdb::QueryNodeType)を見ると、純粋なSELECT文なのかCTEなのかとかがわかる
同様にCast()メソッドで、QueryNodeTypeに該当する型にキャストする
例えば
純粋なSELECT文は、duckdb::SelectNode

SelectNodeはフィールドとして、select_list, from_table, where_clause などを持つ
詳細は、https://github.com/duckdb/duckdb/tree/main/src/include/duckdb/parser/query_node/select_node.hpp

• select_listはParsedExpressionのvector (std::vectorを継承したduckdb::vector)
• where_clauseもParsedExpressionのvector

ParsedExpression

SELECT文の大半の構成要素は、このParsedExpressionとなる
SELECT句しかり、関数名、関数の引数、WHERE区の比較演算、比較演算の左辺値・右辺値
具象型は同様にCast()メソ(ry

• IN句　(NOT IN句)の子要素は少し特殊で、IN句の右辺値が展開されて格納される
  • v in (1, 2, 3)の場合、v, 1, 2, 3が子要素となる
• 型キャストは、duckdb::CastExpressionの子要素に、対象の値のParsedExpressionが来る構造。わかりやすい。

DESCRIBE / SUMMARIZE文

公式ドキュメントにはステートメントとして記載されているが、その実体はSELECT文の亜種。

• DESCRIBE / SUMMARIZEがSELECT句
• 後に続くテーブル名やクエリが、列リスト

な扱い。

duckdb::TableRefType::ShowRefなduckdb::TableRef。
実体は、duckdb::ShowRef。

• DESCRIBE <TABLE>の場合
  • table_nameフィールドに名前が入る
  • queryフィールドはリソース所有なしのunique_ptr
• DESCRIBE <QUERY>の場合
  • table_nameフィールドは空文字列
  • queryフィールドは有効なduckdb::QueryNodeのunique_ptr
    • duckdb::ShowRefを保持するduckdb::SelectNodeのselect_listフィールドの列数は1を返す

DESCRIBEの場合、duckdb::ShowRefのshow_typeフィールドに、duckdb::ShowType::DESCRIBEが入る。
SUMMARIZEの場合はduckdb::ShowType::SUMMARIZE。

Statement一覧

• 各型は、duckdb/parser/statement/list.hppで一括インクルード可能

SelectStatementのルートノード一覧

• duckdb/parser/query_node/list.hppで一括インクルードできる

Expression一覧

• duckdb/parser/expression/list.hppで一括インクルードできる

• サブクエリの式表現である、Sduckdb::ubqueryExpressionは少し注意が必要
  • ソースのコメントにも書かれている通り、childフィールドは、比較演算の右辺としてサブクエリがくる場合にそのExpressionがくる。
  • EXISTSやスカラサブクエリの場合は、unique_ptrが無効(nullを指す)。
  • どのようなサブクエリかは、subquery_typeフィールドで判断できる。

BOUND Expression

• BOUNDED_XXXXは、中間的なダミー型とのこと
  • より正確にはクエリプラン内で保持される状態の型
  • duckdb/parser/expression/bound_expression.hpp

LATERAL JOINの真実

LATERAL JOINを含むSQLをパース後、ToString()で文字列に戻したら以下のようになってた。

• パース前

        select foo.*, b.a
        from foo
        join lateral (
            select bar.a
            from bar
            where
                bar.f = foo.f
                and bar.g = $v::int
        ) b on true

パース後のToString()

SELECT foo.*, b.a 
FROM foo 
INNER JOIN (
    SELECT bar.a 
    FROM bar 
    WHERE (
        (bar.f = foo.f) 
        AND (bar.g = CAST($1 AS INTEGER))
    )
) b ON (CAST('t' AS BOOLEAN))

INNER JOINで相関サブクエリをそのままジョインしてる！？

試しに変換後のSQLをduckdb_cliに食わせたら問題なく実行された。
まじかよ・・・。

ドキュメントにも単なる目印だって記載されてた

追記：

Note
DuckDB detects when LATERAL joins should be used, making the use of the LATERAL keyword optional.

https://duckdb.org/docs/sql/expressions/subqueries

Syntax errorで送出される例外

duckdb::ParserException

• https://github.com/duckdb/duckdb/blob/main/src/common/exception/parser_exception.hpp
• エラーモデルは、ランタイムエラー (std::runtime_error を継承)