dbt_project/
│── macros/
│   ├── staging/
│   │   ├── get_source.sql
│   │   ├── clean_column_name.sql
│   │   └── generate_schema_name.sql
│   ├── transformations/
│   │   ├── calculate_metrics.sql
│   │   ├── format_date.sql
│   │   └── pivot_data.sql
│   ├── utilities/
│   │   ├── logging.sql
│   │   ├── string_helpers.sql
│   │   └── type_casting.sql
│   ├── constraints/
│   │   ├── check_null_values.sql
│   │   ├── enforce_unique_keys.sql
│   │   └── validate_referential_integrity.sql
│   ├── tests/
│   │   ├── assert_non_null.sql
│   │   ├── assert_unique.sql
│   │   └── assert_positive.sql
│   ├── jinja_helpers.sql
│   ├── dbt_project_utils.sql
│   └── README.md

import requests

def get_github_tree(repo, path, indent=0, file=None):
    """ 指定した GitHub リポジトリ内のフォルダ以下のツリー構造を取得し、ファイルに出力 """
    url = f"https://api.github.com/repos/{repo}/contents/{path}"
    response = requests.get(url)

    if response.status_code == 200:
        items = response.json()
        for item in items:
            line = " " * indent + "|-- " + item["name"]  # ツリー形式の文字列
            print(line)
            file.write(line + "\n")  # ファイルに書き込み

            if item["type"] == "dir":  # フォルダなら再帰的に取得
                get_github_tree(repo, item["path"], indent + 2, file)
    else:
        print(f"Failed to fetch {path}: {response.status_code}")

# リポジトリとディレクトリの指定
repo = "calogica/dbt-expectations"
path = "macros"

# ツリー構造を取得してファイルに保存
with open("tree.txt", "w", encoding="utf-8") as f:
    f.write(f"{repo}/{path}/\n")
    get_github_tree(repo, path, file=f)

print("ツリー構造を tree.txt に保存しました。")

calogica/dbt-expectations/macros/
|-- .gitkeep
|-- math
  |-- log_natural.sql
  |-- median.sql
  |-- percentile_cont.sql
  |-- rand.sql
|-- regex
  |-- regexp_instr.sql
|-- schema_tests
  |-- _generalized
    |-- _ignore_row_if_expression.sql
    |-- _truth_expression.sql
    |-- equal_expression.sql
    |-- expression_between.sql
    |-- expression_is_true.sql
  |-- aggregate_functions
    |-- expect_column_distinct_count_to_be_greater_than.sql
    |-- expect_column_distinct_count_to_be_less_than.sql
    |-- expect_column_distinct_count_to_equal.sql
    |-- expect_column_distinct_count_to_equal_other_table.sql
    |-- expect_column_distinct_values_to_be_in_set.sql
    |-- expect_column_distinct_values_to_contain_set.sql
    |-- expect_column_distinct_values_to_equal_set.sql
    |-- expect_column_max_to_be_between.sql
    |-- expect_column_mean_to_be_between.sql
    |-- expect_column_median_to_be_between.sql
    |-- expect_column_min_to_be_between.sql
    |-- expect_column_most_common_value_to_be_in_set.sql
    |-- expect_column_proportion_of_unique_values_to_be_between.sql
    |-- expect_column_quantile_values_to_be_between.sql
    |-- expect_column_stdev_to_be_between.sql
    |-- expect_column_sum_to_be_between.sql
    |-- expect_column_unique_value_count_to_be_between.sql
  |-- column_values_basic
    |-- expect_column_values_to_be_between.sql
    |-- expect_column_values_to_be_decreasing.sql
    |-- expect_column_values_to_be_in_set.sql
    |-- expect_column_values_to_be_in_type_list.sql
    |-- expect_column_values_to_be_increasing.sql
    |-- expect_column_values_to_be_null.sql
    |-- expect_column_values_to_be_of_type.sql
    |-- expect_column_values_to_be_unique.sql
    |-- expect_column_values_to_have_consistent_casing.sql
    |-- expect_column_values_to_not_be_in_set.sql
    |-- expect_column_values_to_not_be_null.sql
  |-- distributional
    |-- expect_column_values_to_be_within_n_moving_stdevs.sql
    |-- expect_column_values_to_be_within_n_stdevs.sql
    |-- expect_row_values_to_have_data_for_every_n_datepart.sql
  |-- multi-column
    |-- expect_column_pair_values_A_to_be_greater_than_B.sql
    |-- expect_column_pair_values_to_be_equal.sql
    |-- expect_column_pair_values_to_be_in_set.sql
    |-- expect_compound_columns_to_be_unique.sql
    |-- expect_multicolumn_sum_to_equal.sql
    |-- expect_select_column_values_to_be_unique_within_record.sql
  |-- string_matching
    |-- _get_like_pattern_expression.sql
    |-- expect_column_value_lengths_to_be_between.sql
    |-- expect_column_value_lengths_to_equal.sql
    |-- expect_column_values_to_match_like_pattern.sql
    |-- expect_column_values_to_match_like_pattern_list.sql
    |-- expect_column_values_to_match_regex.sql
    |-- expect_column_values_to_match_regex_list.sql
    |-- expect_column_values_to_not_match_like_pattern.sql
    |-- expect_column_values_to_not_match_like_pattern_list.sql
    |-- expect_column_values_to_not_match_regex.sql
    |-- expect_column_values_to_not_match_regex_list.sql
  |-- table_shape
    |-- _get_column_list.sql
    |-- _list_intersect.sql
    |-- expect_column_to_exist.sql
    |-- expect_grouped_row_values_to_have_recent_data.sql
    |-- expect_row_values_to_have_recent_data.sql
    |-- expect_table_aggregation_to_equal_other_table.sql
    |-- expect_table_column_count_to_be_between.sql
    |-- expect_table_column_count_to_equal.sql
    |-- expect_table_column_count_to_equal_other_table.sql
    |-- expect_table_columns_to_contain_set.sql
    |-- expect_table_columns_to_match_ordered_list.sql
    |-- expect_table_columns_to_match_set.sql
    |-- expect_table_columns_to_not_contain_set.sql
    |-- expect_table_row_count_to_be_between.sql
    |-- expect_table_row_count_to_equal.sql
    |-- expect_table_row_count_to_equal_other_table.sql
    |-- expect_table_row_count_to_equal_other_table_times_factor.sql
|-- utils
  |-- datatypes.sql
  |-- groupby.sql
  |-- md5.sql

brooklyn-data/dbt_artifacts/macros/
|-- _macros.yml
|-- database_specific_helpers
  |-- column_identifier.sql
  |-- generate_surrogate_key.sql
  |-- get_relation.sql
  |-- parse_json.sql
  |-- type_helpers.sql
|-- migration
  |-- migrate_from_v0_to_v1.sql
|-- upload_individual_datasets
  |-- upload_exposures.sql
  |-- upload_invocations.sql
  |-- upload_model_executions.sql
  |-- upload_models.sql
  |-- upload_seed_executions.sql
  |-- upload_seeds.sql
  |-- upload_snapshot_executions.sql
  |-- upload_snapshots.sql
  |-- upload_sources.sql
  |-- upload_test_executions.sql
  |-- upload_tests.sql
|-- upload_results
  |-- get_column_name_lists.sql
  |-- get_dataset_content.sql
  |-- get_table_content_values.sql
  |-- insert_into_metadata_table.sql
  |-- upload_results.sql

dbt-labs/dbt-codegen/macros/
|-- create_base_models.sql
|-- generate_base_model.sql
|-- generate_model_import_ctes.sql
|-- generate_model_yaml.sql
|-- generate_source.sql
|-- helpers
  |-- helpers.sql
|-- vendored
  |-- dbt_core
    |-- format_column.sql

dbt-labs/dbt-external-tables/macros/
|-- common
  |-- create_external_schema.sql
  |-- create_external_table.sql
  |-- get_external_build_plan.sql
  |-- helpers
    |-- dropif.sql
    |-- transaction.sql
  |-- refresh_external_table.sql
  |-- stage_external_sources.sql
  |-- update_external_table_columns.sql
|-- plugins
  |-- bigquery
    |-- create_external_schema.sql
    |-- create_external_table.sql
    |-- get_external_build_plan.sql
    |-- update_external_table_columns.sql
  |-- fabric
    |-- create_external_schema.sql
    |-- create_external_table.sql
    |-- get_external_build_plan.sql
    |-- helpers
      |-- dropif.sql
  |-- redshift
    |-- create_external_table.sql
    |-- get_external_build_plan.sql
    |-- helpers
      |-- add_partitions.sql
      |-- dropif.sql
      |-- is_ext_tbl.sql
      |-- paths.sql
      |-- render_macro.sql
      |-- transaction.sql
    |-- refresh_external_table.sql
  |-- snowflake
    |-- create_external_schema.sql
    |-- create_external_table.sql
    |-- get_external_build_plan.sql
    |-- helpers
      |-- is_csv.sql
    |-- refresh_external_table.sql
    |-- snowpipe
      |-- create_empty_table.sql
      |-- create_snowpipe.sql
      |-- get_copy_sql.sql
      |-- refresh_snowpipe.sql
  |-- spark
    |-- create_external_table.sql
    |-- get_external_build_plan.sql
    |-- helpers
      |-- dropif.sql
      |-- recover_partitions.sql
    |-- refresh_external_table.sql

version: 2

macros:
  - name: <macro name>
    description: <markdown_string>
    docs:
      show: true | false
    meta: {<dictionary>}
    arguments:
      - name: <arg name>
        type: <string>
        description: <markdown_string>
      - ... # declare properties of additional arguments

  - name: ... # declare properties of additional macros

version: 2

macros:
  - name: resume_warehouse
    description: '{{ doc("alter_warehouse") }}'
  - name: suspend_warehouse
    description: '{{ doc("alter_warehouse") }}'
  - name: backup_to_gcs
    description: '{{ doc("backup_to_gcs") }}'
  - name: get_backup_table_command
    description: '{{ doc("get_backup_table_command") }}'
  - name: grant_usage_to_schemas
    description: '{{ doc("grant_usage_to_schemas") }}'
  - name: gdpr_delete
    description: '{{ doc("gdpr_delete") }}'
    arguments:
      - name: email_sha
        type: string
        description: SHA256 of the email to be removed/redacted
      - name: run_queries
        type: boolean
        description: Flag used to run queries or just print them. Default is False which will only print queries to stdout.
  - name: gdpr_delete_gitlab_dotcom
    description: '{{ doc("gdpr_delete_gitlab_dotcom") }}'
    arguments:
      - name: email_sha
        type: string
        description: SHA256 of the email to be removed/redacted
      - name: run_queries
        type: boolean
        description: Flag used to run queries or just print them. Default is False which will only print queries to stdout.
  - name: gdpr_bulk_delete
    description: '{{ doc("gdpr_bulk_delete") }}'

import os
import re
import yaml
import json


def main():
    """
    メイン関数。指定されたディレクトリのファイルを処理し、macros.md と macros.yml を更新する。
    """
    file_path = "~"
    file_list = get_files(file_path)  # 対象のフォルダを指定

    json_formatted_str = json.dumps(file_list, indent=4)
    # print(json_formatted_str)

    update_macros_md(file_list)
    update_macros_yml(file_list)


def parse_macros(file_path):
    """
    指定されたSQLファイルからマクロ定義を解析し、マクロ情報をリストとして返す。

    Args:
        file_path (str): 解析するSQLファイルのパス

    Returns:
        list: マクロ情報を含む辞書のリスト
    """
    # ファイル名を取得（拡張子なし）
    file_name = os.path.splitext(os.path.basename(file_path))[0]

    # マクロ情報を格納するリスト
    macros = []

    # ファイルを開いて内容を読み取る
    with open(file_path, "r", encoding="utf-8") as f:
        content = f.read()

    # マクロ定義を正規表現で抽出
    macro_pattern = r"{%-?\s*macro\s+(\w+)\((.*?)\)\s*-?%}"
    matches = re.findall(macro_pattern, content)

    for macro_name, args in matches:
        # 引数を分割してリスト化
        arguments = [{"name": convert_assignment_to_default(arg.strip())} for arg in args.split(",") if arg.strip()]

        # 各マクロ情報を辞書形式で追加
        macros.append({"name": macro_name, "description": f'{{{{ doc("{file_name}") }}}}', "arguments": arguments})

    return macros


def convert_assignment_to_default(text):
    """
    引数が `key = value` の形式の場合、`(key default: value)` の形式に変換する。

    Args:
        text (str): 変換する文字列

    Returns:
        str: 変換後の文字列
    """
    match = re.match(r"(\w+)\s*=\s*(.+)", text)
    if match:
        key, value = match.groups()
        return f"{key} (default: {value})"
    return text  # `=` がなければそのまま返す


def update_yaml_file(file_path, new_data):
    """
    YAMLファイルを更新または作成する。

    Args:
        file_path (str): 更新または作成するYAMLファイルのパス
        new_data (dict): 新しいデータ
    """
    # 既存データの読み込み
    if os.path.exists(file_path):
        with open(file_path, "r", encoding="utf-8") as f:
            existing_data = yaml.safe_load(f) or {}  # `None` の場合は `{}` を設定
    else:
        existing_data = {}

    # `macros` が存在しない場合、空リストを設定
    existing_macros = existing_data.get("macros", [])

    # 既存のマクロ名を取得（重複チェック用）
    existing_macro_names = {macro["name"] for macro in existing_macros}

    # 新しいデータをマージ（重複を避ける）
    for new_macro in new_data["macros"]:
        if new_macro["name"] not in existing_macro_names:
            existing_macros.append(new_macro)

    # 更新したデータを保存
    updated_data = {"version": 2, "macros": existing_macros}

    # YAMLをフォーマットして書き込み
    yaml_text = yaml.dump(updated_data, default_flow_style=False, sort_keys=False, allow_unicode=True)

    # 各要素の間に改行を入れる
    yaml_text = yaml_text.replace("\nmacros:", "\n\nmacros:")  # `macros` の前に改行を入れる

    # ファイルに書き込む場合
    with open(file_path, "w", encoding="utf-8") as f:
        f.write(yaml_text)


def generate_yaml_from_sql(sql_files):
    """
    指定されたSQLファイルリストからYAML構造を生成する。

    Args:
        sql_files (list): 解析するSQLファイルのパスのリスト

    Returns:
        dict: 生成されたYAML構造
    """
    all_macros = []

    for sql_file in sql_files:
        macros = parse_macros(sql_file)
        all_macros.extend(macros)  # 解析結果を統合

    yaml_structure = {"version": 2, "macros": all_macros}

    return yaml_structure


def get_files(directory):
    """
    指定されたディレクトリ内のSQLファイルを収集する。

    Args:
        directory (str): 検索するディレクトリのパス

    Returns:
        dict: ディレクトリパスをキー、SQLファイル名のリストを値とする辞書
    """
    entries = {}
    for root, _, files in os.walk(directory):
        sql_files = []
        for file in files:
            if file.endswith(".sql"):
                sql_files.append(file)
        entries[root] = sql_files

    return entries


def update_macros_md(data):
    """
    指定されたデータに基づいて macros.md ファイルを更新または作成する。

    Args:
        data (dict): ディレクトリパスをキー、ファイル名のリストを値とする辞書
    """
    for directory, files in data.items():
        md_entries = {}
        for file in files:
            file_name = os.path.splitext(file)[0]
            md_entries[file_name] = f"{{% docs {file_name} %}}\n\n{{% enddocs %}}\n"

        # macros.md ファイルのパス
        md_file = os.path.join(directory, "macros.md")

        # macros.md が存在するか確認
        if not os.path.exists(md_file):
            # 存在しない場合は新規作成して書き込む
            with open(md_file, "w") as f:
                f.write("\n".join(md_entries.values()))  # リストを改行で結合して書き込み
        else:
            # macros.md が存在する場合、file_name がすでに含まれているか確認
            with open(md_file, "r") as f:
                existing_content = f.read()

            # file_name が含まれていない場合のみ書き込む
            new_entries = [
                entry for file_name, entry in md_entries.items() if f"{{% docs {file_name} %}}" not in existing_content
            ]

            if new_entries:  # 新しいエントリがある場合のみ追記
                with open(md_file, "a") as f:
                    f.write("\n".join(new_entries))


def update_macros_yml(data):
    """
    指定されたデータに基づいて macros.yml ファイルを更新または作成する。

    Args:
        data (dict): ディレクトリパスをキー、ファイル名のリストを値とする辞書
    """
    for directory, files in data.items():

        yml_file = os.path.join(directory, "macros.yml")
        sql_files = [os.path.join(directory, file) for file in files]

        if not os.path.exists(yml_file):
            result = generate_yaml_from_sql(sql_files)
            update_yaml_file(yml_file, result)


if __name__ == "__main__":
    main()

{% docs ~ %}

{% enddocs %}

version: 2

macros:
- name: ~
  description: '{{ doc("~") }}'
  arguments:
  - name: ~

{% macro systemname_release_filter(date_column) %}
    date({{ date_column }}) between "2025-03-04" and current_date("Asia/Tokyo") - 1
{% endmacro %}

{# 
where {{ systemname_release_filter("created_at_jst") }}  -- リリース後に絞る 
#}

{% macro array_functions__array_except(a1, a2) %}
    (
        select array_agg(distinct i order by i)
        from unnest(coalesce({{ a1 }}, [])) as i
        left join unnest(coalesce({{ a2 }}, [])) as j on i = j
        where j is null
    )
{% endmacro %}

{# 
# サンプル
select {{ array_functions__array_except("[1,2,3,4,5]", "[3,4,5,6,7]") }} as result
--> [1, 2]
#}