Open1

AWS Glueについての操作方法を調べる

i-hrmi-hrm

Glue Jobの実行方法には複数ある

  • boto3(Glue実行元のコード)からS3にputしたスクリプトファイルを指定してGlue Jobを実行
  • Glue GUIからジョブプロパティを設定、そのJob Nameを元にGlue Jobを実行

後者の場合だとscriptの場所は事前にジョブプロパティを設定しているため、Job Nameを指定すればjobを実行できる
ただ実行元のコードからではGlueの実行環境(Sparkバージョン、言語バージョン等)がわからないため、管理には気をつける必要がある

https://docs.aws.amazon.com/ja_jp/glue/latest/dg/aws-glue-programming-python-calling.html
https://mihono-bourbon.com/aws-lambda-glue-exec/