Faker2.0 を使用したダミーデータの作り方

Faker2.0 を使用したダミーデータの作り方

Fakerとは

Flaker is a Snowflake External Functions wrapper for the popular Faker python library. It means you can generate a vast array of fake data right from within Snowflake, in large quantities, very quickly and easily.

• ダミーデータが簡単に作成できる pythonライブラリ

• SnowflakeがPythonをネイティブサポートしたため, これまで以上に簡単にダミーデータを使用できるようになった模様

• 今回はサンプルにあるSQLをリリースし確認する

• 他のデータソースは公式ドキュメントを参照のこと

使用方法

1. 以下のクエリを実行する

--関数の作成
create or replace function FAKE(locale varchar,provider varchar,parameters variant)
returns variant
language python
-- キャッシュに残らないようにする
volatile
runtime_version = '3.8'
-- Anacondaパッケージ
packages = ('faker','simplejson')
-- Fake関数を呼び出す
handler = 'fake'
as
$$
import simplejson as json
from faker import Faker
def fake(locale,provider,parameters):
  if type(parameters).__name__=='sqlNullWrapper':
    parameters = {}
  fake = Faker(locale=locale)
  # 型があいまいの場合は文字型で統一する
  return json.loads(json.dumps(fake.format(formatter=provider,**parameters), default=str))
$$
;

2. ダミーデータを出力する

• 50人のダミー個人名

select
	FAKE('en_US','name',null)::varchar as FAKE_NAME 
from
	table(generator(rowcount => 50));

• 今日から180日前までの180個のダミー日にち

select
	FAKE('en_US','date_between',{'start_date':'-180d','end_date':'today'})::date as FAKE_DATE 
from
	table(generator(rowcount => 180));

• 100人分の企業、職種、名前のダミーデータ

with FAKE_PROFILES as (
    select
        FAKE('en_AU','profile',{'fields':'name,job,company'}) as FAKE_PROFILE
    from
        table(generator(rowcount => 100))
    )
select
    FAKE_PROFILE:company::varchar as company,
    FAKE_PROFILE:job::varchar as job,
    FAKE_PROFILE:name::varchar as name
from
    FAKE_PROFILES;

参考文献

• Faker
• Faker GitHub