💨

AirflowのVariable設定

2022/09/08に公開約900字

AirflowにはDAG内に記載したくない機密情報、アクセス情報などを環境変数として設定することができます。

Airflow画面で環境変数を設定する

Airflow管理画面のメニューバーより「Admin」->「Variables」をクリックします

「+」ボタンをクリックし、環境変数の追加を行います。

keyとvalueを設定します。
今回秘密鍵を設定してみました。Valueの鍵情報はマスクしております。。。
※ここでは仮でkey:valueを設定しています。
 よくあるのがAPIキーとか格納しておくとかでしょうか。

DAG内で環境変数を呼び出す

必要なモジュールをインポートします

from airflow.models import Variable

呼び出し

例としてOCI PytonSDK実行時の認証鍵の生成するコードで下記のように
Variable.get("key") と呼び出しています。

pem_prefix = '-----BEGIN RSA PRIVATE KEY-----\n'
pem_suffix = '\n-----END RSA PRIVATE KEY-----'
key=Variable.get("key")
key_content = '{}{}{}'.format(pem_prefix, key, pem_suffix)

ポイント

Airflowで環境変数を設定する際、valueの値を""で括らないこと

Discussion

ログインするとコメントできます