production db の内容を staging db に import する雑なスクリプト
funwarioisiiタイトルは以下より
みたいなことをやりたかったが、レプリケーション組むとなると大変なので、雑な mysqldump ベースのデータ移行スクリプトを書いてみた
というモチベ。
本家より雑で、データのマスクなどしていない。
このときと何が違ったかというと「Aurora(MySQL 8.0) のために追加のオプションが必要だった」点くらい
細かい点だと
Ruby 3.1 からの変更でYAML.load で次のエラーが出ていたり
Psych::AliasesNotEnabled: Alias parsing was not enabled. To enable it, pass
aliases: truetoPsych::loadorPsych::safe_load.
Geomotery 型を使っているから、--hex-blob が必要だったりした
また、メンテナンスしやすいためそのままスクリプトを実行していたりする。
funwarioisii使っているスクリプトは次のような感じ
ファイル名はlib/tasks/mysql.rake としている。
ECS で Scheduled task として実行
require 'yaml'
namespace :mysql do
task :prd_to_dev do
config_text = ERB.new(File.read('config/database.yml')).result
prd_config = YAML.safe_load(config_text)['production']
dev_config = YAML.safe_load(config_text)['development']
dump_command = <<~EOS
mysqldump \
-u#{prd_config['username']} \
-p#{prd_config['password']} \
-h#{prd_config['host']} \
--skip-triggers \
--set-gtid-purged=OFF \
--hex-blob \
--single-transaction \
#{prd_config['database']} > db/#{Date.today}.dump
EOS
puts dump_command
system dump_command
load_command = <<~EOS
mysql \
-u#{dev_config['username']} \
-p#{dev_config['password']} \
-h#{dev_config['host']} \
#{dev_config['database']} < db/#{Date.today}.dump
EOS
puts load_command
system load_command
puts "rm db/#{Date.today}.dump"
system "rm db/#{Date.today}.dump"
end
end
mysqldump 時に --set-gtid-purged=OFF をつけていないと次の warning が出ます
Warning: A partial dump from a server that has GTIDs will by default include the GTIDs of all transactions, even those that changed suppressed parts of the database. If you don't want to restore GTIDs, pass --set-gtid-purged=OFF. To make a complete dump, pass --all-databases --triggers --routines --events.
つけなかった場合
-- MySQL dump 10.13 Distrib 8.0.30, for macos12.4 (x86_64)
--
-- Host: xxx.rds.amazonaws.com Database: xxx
-- ------------------------------------------------------
-- Server version 8.0.23
/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
/*!50503 SET NAMES utf8mb4 */;
/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
/*!40103 SET TIME_ZONE='+00:00' */;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;
SET @MYSQLDUMP_TEMP_LOG_BIN = @@SESSION.SQL_LOG_BIN;
SET @@SESSION.SQL_LOG_BIN= 0;
--
-- GTID state at the beginning of the backup
--
SET @@GLOBAL.GTID_PURGED=/*!80000 '+'*/ '';
つけなかった場合
-- MySQL dump 10.13 Distrib 8.0.30, for macos12.4 (x86_64)
--
-- Host: xxx.rds.amazonaws.com Database: xxx
-- ------------------------------------------------------
-- Server version 8.0.23
/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
/*!50503 SET NAMES utf8mb4 */;
/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
/*!40103 SET TIME_ZONE='+00:00' */;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;
https://rakko.tools/tools/7/ で比較するとこんな感じ
