GitHub ActionsでAWS ECS FargateにgRPCサービスを自動デプロイする
はじめに
AWS ECS にgRPCサービスをFargate起動タイプにて自動デプロイするための設定を作成いたしました。
参考にしたテンプレート
GitHub Actions 公式docsに設定に関する解説とテンプレートが記載されているので、そちらを参考にして設定を進めました。
クラスターとサービスの作成
GitHub Acitonsを使用して自動デプロイを行うためには、あらかじめECS上にクラスターとサービスを作成しておく必要があります。
aws-cli
を用いてローカル環境からリソースの作成を行うか、もしくはAWSコンソール画面からリソースの作成を行なってください。
タスク定義について
タスク定義のテンプレートリポジトリ内部にコミットしておきます。
{
"containerDefinitions": [
{
"name": "server",
"image": "xxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/grpc-server-staging",
"cpu": 0,
"memoryReservation": 300,
"portMappings": [
{
"containerPort": 50051,
"hostPort": 50051,
"protocol": "tcp"
}
],
"essential": true,
"environment": [
{
"name": "DBDNS",
"value": "$DB_DNS"
}
],
"mountPoints": [],
"volumesFrom": [],
"logConfiguration": {
"logDriver": "awslogs",
"options": {
"awslogs-group": "/ecs/grpc-server-staging-task",
"awslogs-region": "ap-northeast-1",
"awslogs-stream-prefix": "ecs"
}
}
}
],
"family": "grpc-server-staging-task",
"taskRoleArn": "arn:aws:iam::xxxxxxxxxx:role/ecsTaskExecutionRole",
"executionRoleArn": "arn:aws:iam::xxxxxxxxxx:role/ecsTaskExecutionRole",
"networkMode": "awsvpc",
"volumes": [],
"placementConstraints": [],
"runtimePlatform": {
"operatingSystemFamily": "LINUX"
},
"requiresCompatibilities": ["FARGATE"],
"cpu": "256",
"memory": "512",
"tags": []
}
ymlに定義されたjobの解説
AWS Credentialのセットアップ
- name: Configure AWS credentials
uses: aws-actions/configure-aws-credentials@v1
with:
aws-access-key-id: ${{ secrets.STAGING_AWS_ACCESS_KEY }}
aws-secret-access-key: ${{ secrets.STAGING_AWS_SECRET_KEY }}
aws-region: ${{ env.AWS_REGION }}
GitHub ActionsからAWSのリソースにアクセスできるように、credentialのセットアップを行います。
AWS_ACCESS_KEY
とAWS_SECRET_KEY
に関しては、yamlファイル上にハードコーディングせずに、
あらかじめ、GitHubのGUIから環境変数として登録を行なっておきましょう。
deploymentポリシーの変更
- name: Add deployment inline policy to AWS user
env:
AWS_ACCOUNT_ID: ${{ secrets.STAGING_AWS_ACCOUNT_ID }}
AWS_ACCOUNT_USER: ${{ secrets.STAGING_AWS_ACCOUNT_USER }}
DEPLOYMENT_POLICY_NAME: ${{ secrets.STAGING_DEPLOYMENT_POLICY_NAME }}
DEPLOYMENT_POLICY_TEMPLATE: ${{ secrets.STAGING_DEPLOYMENT_POLICY_TEMPLATE }}
run: |
chmod +x ./ecs/grpc_server/staging/add_deployment_policy.sh
./ecs/grpc_server/staging/add_deployment_policy.sh
既存のIAMユーザのポリシー設定によって、AWSリソースへのアクセスが制限されている場合があると思います。
その際に、deploy処理を行うCD実行時のみ、AWSリソースへのアクセス権限を追加します。
ECSへのpush
- name: Build, tag, and push image to Amazon ECR
id: build-image
env:
ECR_REGISTRY: ${{ steps.login-ecr.outputs.registry }}
IMAGE_TAG: ${{ github.sha }}
run: |
# Build a docker container and
# push it to ECR so that it can
# be deployed to ECS.
docker build -t $ECR_REGISTRY/$ECR_REPOSITORY:$IMAGE_TAG .
docker push $ECR_REGISTRY/$ECR_REPOSITORY:$IMAGE_TAG
echo "::set-output name=image::$ECR_REGISTRY/$ECR_REPOSITORY:$IMAGE_TAG"
working-directory: src/backend-go
GitHub Acitionsの処理場で、docker imageのbuildを行い、AWS ECRのリポジトリにpushを行います。
環境変数をtask-definition内部に挿入する
- name: Set Up the task definition
env:
STAGING_DB_DNS: ${{ secrets.STAGING_DB_DNS }}
id: task-set
run: |
envsubst < ${{ env.ECS_TASK_DEFINITION }} > /tmp/task-definition.json
task-definition.json
内部にて環境変数を参照する形式で定義されているパラメータが存在するので、yamlファイル上で参照されている環境変数をenvsubst
コマンドを使用して、task-definition.json
内の環境変数に代入されるようにします。
ECSクラスター上の既存サービスに反映するtaskを登録する
- name: Fill in the new image ID in the Amazon ECS task definition
id: task-def
uses: aws-actions/amazon-ecs-render-task-definition@v1
with:
task-definition: /tmp/task-definition.json
container-name: ${{ env.CONTAINER_NAME }}
image: ${{ steps.build-image.outputs.image }}
ひとつ前までのjobで準備が整ったtask定義に関して、上記のjobにてtaskの登録を行います。
ここまで実行されるとdeployの準備は完了です。
Deploy
- name: Deploy Amazon ECS task definition
uses: aws-actions/amazon-ecs-deploy-task-definition@v1
with:
task-definition: ${{ steps.task-def.outputs.task-definition }}
service: ${{ env.ECS_SERVICE }}
cluster: ${{ env.ECS_CLUSTER }}
wait-for-service-stability: true
task-definition: ${{ steps.task-def.outputs.task-definition }}
を指定して、ひとつ前のjobで定義された task-definition
を引き継いだ上でデプロイ処理を実行する必要があります。
task-definitionでひとつ前のjobで定義された設定を明示しないと、テンプレートのtask定義ファイルを適用対象としてしまい、最新のdocker imageがデプロイ対象のサービスに適用されない場合があります。
(私は、この設定が漏れていたことで数時間を無駄にしました。。)
完成版
name: (staging) Deploy grpc-server-service staging to ECS
on:
push:
paths:
- "src/backend-go/**"
env:
AWS_REGION: ap-northeast-1
ECR_REPOSITORY: grpc-server-staging
ECS_SERVICE: grpc-server-staging-service
ECS_CLUSTER: grpc-staging-cluster
ECS_TASK_DEFINITION: ./ecs/grpc_server/staging/task-definition.json
CONTAINER_NAME: server
jobs:
deploy:
name: Deploy
runs-on: ubuntu-latest
steps:
- name: Checkout
uses: actions/checkout@v3
- name: Configure AWS credentials
uses: aws-actions/configure-aws-credentials@v1
with:
aws-access-key-id: ${{ secrets.STAGING_AWS_ACCESS_KEY }}
aws-secret-access-key: ${{ secrets.STAGING_AWS_SECRET_KEY }}
aws-region: ${{ env.AWS_REGION }}
- name: Add deployment inline policy to AWS user
env:
AWS_ACCOUNT_ID: ${{ secrets.STAGING_AWS_ACCOUNT_ID }}
AWS_ACCOUNT_USER: ${{ secrets.STAGING_AWS_ACCOUNT_USER }}
DEPLOYMENT_POLICY_NAME: ${{ secrets.STAGING_DEPLOYMENT_POLICY_NAME }}
DEPLOYMENT_POLICY_TEMPLATE: ${{ secrets.STAGING_DEPLOYMENT_POLICY_TEMPLATE }}
run: |
chmod +x ./ecs/grpc_server/staging/add_deployment_policy.sh
./ecs/grpc_server/staging/add_deployment_policy.sh
- name: Login to Amazon ECR
id: login-ecr
uses: aws-actions/amazon-ecr-login@v1
- name: Install Protoc
uses: arduino/setup-protoc@v1
with:
version: "3.19.4"
- name: Make generate
run: |
go install google.golang.org/protobuf/cmd/protoc-gen-go@v1.28
go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@v1.2
export PATH="$PATH:$(go env GOPATH)/bin"
mkdir genproto
make generate
working-directory: src/backend-go
- name: Build, tag, and push image to Amazon ECR
id: build-image
env:
ECR_REGISTRY: ${{ steps.login-ecr.outputs.registry }}
IMAGE_TAG: ${{ github.sha }}
run: |
# Build a docker container and
# push it to ECR so that it can
# be deployed to ECS.
docker build -t $ECR_REGISTRY/$ECR_REPOSITORY:$IMAGE_TAG .
docker push $ECR_REGISTRY/$ECR_REPOSITORY:$IMAGE_TAG
echo "::set-output name=image::$ECR_REGISTRY/$ECR_REPOSITORY:$IMAGE_TAG"
working-directory: src/backend-go
- name: Set Up the task definition
env:
STAGING_DB_DNS: ${{ secrets.STAGING_DB_DNS }}
id: task-set
run: |
envsubst < ${{ env.ECS_TASK_DEFINITION }} > /tmp/task-definition.json
- name: Fill in the new image ID in the Amazon ECS task definition
id: task-def
uses: aws-actions/amazon-ecs-render-task-definition@v1
with:
task-definition: /tmp/task-definition.json
container-name: ${{ env.CONTAINER_NAME }}
image: ${{ steps.build-image.outputs.image }}
- name: Deploy Amazon ECS task definition
uses: aws-actions/amazon-ecs-deploy-task-definition@v1
with:
task-definition: ${{ steps.task-def.outputs.task-definition }}
service: ${{ env.ECS_SERVICE }}
cluster: ${{ env.ECS_CLUSTER }}
wait-for-service-stability: true
終わりに
今回はECSのFargate起動タイプを使用した際における、GitHub Actionsの設定を解説しましたが、EC2起動タイプにを選定した際にも同じような形式で設定を行うことができると思います。
Discussion