❄️
【AWS】Lambdaを使ってRDSのdumpファイルをS3に保存する
以下の手順で、LambdaとRDSを同一VPCに配置し、S3にデータベースのdumpファイルを保存する環境を構築します。
前提条件
- AWS CLIがインストールされ、適切に設定されていること（バージョン2.0以上推奨）
- Terraformがインストールされていること（バージョン1.0以上推奨）
- Python 3.8以上がインストールされていること（Lambda関数の開発用）
手順
VPCの設定
既存のVPCを使用するか、新しいVPCを作成します。VPCには少なくとも2つのサブネット（プライベートサブネット）が必要です。
Terraformを使用してVPCを作成する例：
resource "aws_vpc" "main" {
cidr_block = "10.0.0.0/16"
tags = {
Name = "main-vpc"
}
}
resource "aws_subnet" "private_1" {
vpc_id = aws_vpc.main.id
cidr_block = "10.0.1.0/24"
availability_zone = "us-west-2a"
tags = {
Name = "Private Subnet 1"
}
}
resource "aws_subnet" "private_2" {
vpc_id = aws_vpc.main.id
cidr_block = "10.0.2.0/24"
availability_zone = "us-west-2b"
tags = {
Name = "Private Subnet 2"
}
}
S3バケットの作成
データベースダンプを保存するためのS3バケットを作成します。
Terraformを使用してS3バケットを作成する例：
resource "aws_s3_bucket" "db_dump" {
bucket = "my-db-dump-bucket"
tags = {
Name = "DB Dump Bucket"
}
}
resource "aws_s3_bucket_public_access_block" "db_dump" {
bucket = aws_s3_bucket.db_dump.id
block_public_acls = true
block_public_policy = true
ignore_public_acls = true
restrict_public_buckets = true
}
VPCエンドポイントの設定
S3へのアクセスを可能にするため、VPCエンドポイントを作成します。
resource "aws_vpc_endpoint" "s3" {
vpc_id = aws_vpc.main.id
service_name = "com.amazonaws.us-west-2.s3"
}
resource "aws_vpc_endpoint_route_table_association" "private_s3" {
route_table_id = aws_route_table.private.id
vpc_endpoint_id = aws_vpc_endpoint.s3.id
}
RDSインスタンスの設定
VPC内のプライベートサブネットにRDSインスタンスを作成します。
resource "aws_db_instance" "default" {
engine = "mysql"
engine_version = "8.0"
instance_class = "db.t3.micro"
allocated_storage = 20
storage_type = "gp2"
db_name = "mydb"
username = "admin"
password = "password" # 注意: 本番環境では安全な方法で管理してください
parameter_group_name = "default.mysql8.0"
vpc_security_group_ids = [aws_security_group.rds.id]
db_subnet_group_name = aws_db_subnet_group.default.name
skip_final_snapshot = true
}
resource "aws_db_subnet_group" "default" {
name = "main"
subnet_ids = [aws_subnet.private_1.id, aws_subnet.private_2.id]
tags = {
Name = "My DB subnet group"
}
}
Lambda関数の作成
データベースダンプを実行し、S3にアップロードするLambda関数を作成します。この関数もVPC内のプライベートサブネットに配置します。
※lambdaレイヤーを設定し、pymysqlを使えるようにする必要があります。(手順)
Lambda関数の Python コード例（lambda_function.py）：
import boto3
import pymysql
import os
from datetime import datetime
def lambda_handler(event, context):
# RDS接続情報
rds_host = os.environ['RDS_HOST']
db_name = os.environ['DB_NAME']
user = os.environ['DB_USER']
password = os.environ['DB_PASSWORD']
# S3バケット名
s3_bucket = os.environ['S3_BUCKET']
# 現在の日時を取得
now = datetime.now()
date_string = now.strftime("%Y-%m-%d-%H-%M-%S")
# ダンプファイル名
dump_file = f"/tmp/dump-{date_string}.sql"
# MySQLデータベースに接続
conn = pymysql.connect(host=rds_host, user=user, passwd=password, db=db_name, connect_timeout=5)
try:
with conn.cursor() as cur:
# ダンプコマンドを実行
cur.execute(f"SELECT * INTO OUTFILE '{dump_file}' FROM your_table")
# S3クライアントを作成
s3 = boto3.client('s3')
# ダンプファイルをS3にアップロード
s3.upload_file(dump_file, s3_bucket, f"dumps/dump-{date_string}.sql")
print(f"Database dump uploaded to s3://{s3_bucket}/dumps/dump-{date_string}.sql")
finally:
conn.close()
return {
'statusCode': 200,
'body': 'Database dump completed successfully'
}
IAMロールの設定
Lambda関数用のIAMロールを作成し、必要な権限（RDSアクセス、S3アクセス、VPC内でのネットワーキング）を付与します。
resource "aws_iam_role" "lambda_role" {
name = "lambda_db_dump_role"
assume_role_policy = jsonencode({
Version = "2012-10-17"
Statement = [
{
Action = "sts:AssumeRole"
Effect = "Allow"
Principal = {
Service = "lambda.amazonaws.com"
}
}
]
})
}
resource "aws_iam_role_policy_attachment" "lambda_vpc_access" {
role = aws_iam_role.lambda_role.name
policy_arn = "arn:aws:iam::aws:policy/service-role/AWSLambdaVPCAccessExecutionRole"
}
resource "aws_iam_role_policy" "lambda_s3_access" {
name = "lambda_s3_access"
role = aws_iam_role.lambda_role.id
policy = jsonencode({
Version = "2012-10-17"
Statement = [
{
Effect = "Allow"
Action = [
"s3:PutObject",
"s3:GetObject",
"s3:ListBucket"
]
Resource = [
aws_s3_bucket.db_dump.arn,
"${aws_s3_bucket.db_dump.arn}/*"
]
}
]
})
}
セキュリティグループの設定
LambdaとRDS用のセキュリティグループを作成し、必要な通信を許可します。
resource "aws_security_group" "lambda" {
name = "lambda_sg"
description = "Security group for Lambda function"
vpc_id = aws_vpc.main.id
egress {
from_port = 0
to_port = 0
protocol = "-1"
cidr_blocks = ["0.0.0.0/0"]
}
}
resource "aws_security_group" "rds" {
name = "rds_sg"
description = "Security group for RDS instance"
vpc_id = aws_vpc.main.id
ingress {
from_port = 3306
to_port = 3306
protocol = "tcp"
security_groups = [aws_security_group.lambda.id]
}
}
Lambda関数のデプロイ
作成したLambda関数をデプロイします。
data "archive_file" "lambda_zip" {
type = "zip"
source_file = "lambda_function.py"
output_path = "lambda_function.zip"
}
resource "aws_lambda_function" "db_dump" {
filename = "lambda_function.zip"
function_name = "db_dump_function"
role = aws_iam_role.lambda_role.arn
handler = "lambda_function.lambda_handler"
runtime = "python3.8"
vpc_config {
subnet_ids = [aws_subnet.private_1.id, aws_subnet.private_2.id]
security_group_ids = [aws_security_group.lambda.id]
}
environment {
variables = {
RDS_HOST = aws_db_instance.default.endpoint
DB_NAME = aws_db_instance.default.db_name
DB_USER = aws_db_instance.default.username
DB_PASSWORD = aws_db_instance.default.password
S3_BUCKET = aws_s3_bucket.db_dump.id
}
}
}
スケジューリングの設定（オプション）
定期的なダンプ実行のため、Amazon EventBridgeを使用してLambda関数をスケジュールします。
resource "aws_cloudwatch_event_rule" "daily_db_dump" {
name = "daily-db-dump"
description = "Trigger DB dump Lambda function daily"
schedule_expression = "cron(0 1 * * ? *)" # 毎日午前1時（UTC）に実行
}
resource "aws_cloudwatch_event_target" "db_dump_lambda" {
rule = aws_cloudwatch_event_rule.daily_db_dump.name
target_id = "TriggerLambdaFunction"
arn = aws_lambda_function.db_dump.arn
}
resource "aws_lambda_permission" "allow_cloudwatch" {
statement_id = "AllowExecutionFromCloudWatch"
action = "lambda:InvokeFunction"
function_name = aws_lambda_function.db_dump.function_name
principal = "events.amazonaws.com"
source_arn = aws_cloudwatch_event_rule.daily_db_dump.arn
}
最後に
- VPC内でのリソース配置により、インターネットアクセスが制限されます。必要に応じてNATゲートウェイを設定してください。
- RDSインスタンスのバックアップ方法として、このアプローチを使用する場合は、整合性とパフォーマンスに注意してください。大規模なデータベースの場合、ダンプ中にデータベースがロックされる可能性があります。
- 大規模なデータベースの場合、Lambda関数のタイムアウト設定（デフォルトは3秒）と割り当てメモリ（最小128MB、最大10,240MB）を調整する必要があります。
- ダンプファイルの保管期間や、S3のライフサイクルポリシーの設定を検討してください。長期保存が不要な場合は、古いダンプファイルを自動的に削除するポリシーを設定することをお勧めします。
- 本番環境では、データベースのパスワードなどの機密情報をAWS Secrets Managerなどのサービスを使用して安全に管理することを強く推奨します。
Discussion