Open2022/03/25にコメント追加1AWS Glueについての操作方法を調べるAWSGlueboto3i-hrm2022/03/25Glue Jobの実行方法には複数ある boto3(Glue実行元のコード)からS3にputしたスクリプトファイルを指定してGlue Jobを実行 Glue GUIからジョブプロパティを設定、そのJob Nameを元にGlue Jobを実行 後者の場合だとscriptの場所は事前にジョブプロパティを設定しているため、Job Nameを指定すればjobを実行できる ただ実行元のコードからではGlueの実行環境(Sparkバージョン、言語バージョン等)がわからないため、管理には気をつける必要がある https://docs.aws.amazon.com/ja_jp/glue/latest/dg/aws-glue-programming-python-calling.html https://mihono-bourbon.com/aws-lambda-glue-exec/
i-hrm2022/03/25Glue Jobの実行方法には複数ある boto3(Glue実行元のコード)からS3にputしたスクリプトファイルを指定してGlue Jobを実行 Glue GUIからジョブプロパティを設定、そのJob Nameを元にGlue Jobを実行 後者の場合だとscriptの場所は事前にジョブプロパティを設定しているため、Job Nameを指定すればjobを実行できる ただ実行元のコードからではGlueの実行環境(Sparkバージョン、言語バージョン等)がわからないため、管理には気をつける必要がある https://docs.aws.amazon.com/ja_jp/glue/latest/dg/aws-glue-programming-python-calling.html https://mihono-bourbon.com/aws-lambda-glue-exec/