MySql8.0の暗号化について

全体像について

https://dev.mysql.com/doc/refman/8.0/ja/innodb-data-encryption.html

https://gihyo.jp/dev/serial/01/mysql-road-construction-news/0174

テーブルのみの暗号化についてGPTに相談

Q: MySql8.0でテーブルごと暗号化する方法について解説してください

A:
MySQL 8.0では、データベースのテーブルごとに暗号化を行う方法として、InnoDBが提供する「Tablespace Encryption」という機能を利用できます。これによって、テーブルデータやインデックスなどを格納するテーブルスペースを暗号化し、安全にデータを保護することができます。
以下に、MySql 8.0でのテーブルごとの暗号化の方法を説明します。
注意: 以下の手順を実行する前に、MySQL で利用可能な暗号プロバイダーがインストールされていることを確認してください (keyring_file や keyring_encrypted_file など)。

1. グローバル変数 innodb_encrypt_tables を ON/OFF に設定することで、新規作成されるテーブルスペースのデフォルト暗号化動作を制御できます。 ON に設定すると、新しく作成されるテーブルスペースは暗号化されます。
2. CREATE TABLE 文で ENCRYPTION='Y' オプションを利用して、個々のテーブルの暗号化を指定できます。例えば以下のように指定することができます。
   CREATE TABLE encrypted_table (
   id INT PRIMARY KEY AUTO_INCREMENT,
   content VARCHAR(255)
   ) ENCRYPTION='Y';
   この方法では、指定したテーブルだけが暗号化されます。
3. 既存のテーブルの暗号化を有効にするには、ALTER TABLE 文を使って、ENCRYPTION='Y' オプションを設定します。次の例では、mytable というテーブルを暗号化しています。
4. 同様に、テーブルの暗号化を無効にするには、ALTER TABLE 文で ENCRYPTION='N' を指定します。
   これらの手順を使用して、MySQL 8.0でデータベースの個々のテーブルを暗号化および復号化できます。テーブルデータ、インデックス、その他の関連データは、ディスク上で安全に暗号化され、アクセス制御やキー管理が適切に設定されている限り、不正アクセスやデータ漏洩から保護されます。

Q2: アプリケーション側からこのDBに接続して情報を取得するにはどのようにすればいいでしょうか？

A2:
暗号化されたデータベースにアプリケーションから接続して情報を取得するには、通常の接続方法と同じ手順で可能です。InnoDBのテーブル暗号化機能を使用した場合、アプリケーションに特別な変更は必要ありません。暗号化はデータベースレベルで行われ、アプリケーションから透過的に扱うことができます。
以下は、Pythonを使用してMySQLデータベースに接続し、情報を取得する例です。mysql-connector-python ライブラリを使用しています。このライブラリは、pipコマンドで簡単にインストールできます。

pip install mysql-connector-python

実際のコードは以下の通りです。接続情報（ユーザー名、パスワード、ホスト名、データベース名）を編集して実行してください。

import mysql.connector

# 接続情報
config = {
    "user": "your_username",
    "password": "your_password",
    "host": "your_host",
    "database": "your_database"
}

# データベースに接続
connection = mysql.connector.connect(**config)

# カーソルを作成
cursor = connection.cursor()

# encrypted_table からデータを取得
cursor.execute("SELECT * FROM encrypted_table")

# 取得結果を表示
for row in cursor.fetchall():
    print(row)

# 接続を閉じる
cursor.close()
connection.close()

暗号化されたデータベースであっても、上記のコードは通常通り機能します。InnoDBのテーブルスペース暗号化は透過的に行われるため、暗号化に対応した特別なAPIやライブラリを使用する必要はありません。ただし、データベース接続時に、暗号化キーの管理とデータベースアクセス権の管理が適切に設定されていることが重要です。

Q3: ここでいう「透過的」とはどのような意味ですか？平易な日本語で説明してください

A3:
「透過的」は、アプリケーション側から見て、データベースの暗号化処理がバックグラウンドで自動的に行われ、意識することなく普通に操作できる状態を指しています。つまり、アプリケーション開発者や利用者は、データベースに対するクエリやコマンドを特別に変更したり追加したりする必要がなく、データベースが暗号化されていることに関しては無視できます。暗号化や復号化はデータベース側で自動的に行われ、アプリケーションには影響を与えません。
この透過性のおかげで、アプリケーションは暗号化されたデータベースでも、暗号化されていないデータベースと同じように接続し、データの操作が可能になります。このため、データベースを暗号化する場合でも、アプリケーションのコードを変更する必要がなく、手間がかからずにセキュリティの向上が実現できます。

Q4:
ありがとう。
DB接続時の暗号化キーの設定がしっかりしていれば、あとは複合などの処理をアプリケーションで行う必要はないということですね？

A4:
はい、その通りです。MySQL InnoDBのテーブルスペース暗号化機能を使用する場合、暗号化キーの設定が適切に行われていれば、アプリケーション側で暗号化や復号化の処理を行う必要はありません。
データベースの暗号化や復号化は、MySQLデータベースサーバーで自動的に行われます。アプリケーションは普通にデータベースに接続し、クエリを実行するだけで、暗号化されたデータが自動的に復号化されて結果が返されます。同様に、データをデータベースに書き込む際にも、データベースサーバーが自動的に暗号化処理を行います。
このため、アプリケーションのコードを変更したり、暗号・復号処理を実装したりする必要がありません。ただし、暗号化キーの管理やデータベースアクセス権の設定が適切であることが重要です。これにより、データが安全に保護され、データベースからの情報取得時に問題がないことが確保されます。

エラー対応

Can't find master key from keyring, please check in the server log if a keyring is loaded and initialized successfully.

テーブルが暗号化されている時、マスターキーが取得できないとエラーになる模様。
GPTに相談した所、対応としては、MySql設定ファイル（my.cnf or my.ini）に以下の記述を追加することを提案された。

[mysqld]
early-plugin-load=keyring_file.so
keyring_file_data=/var/lib/mysql/keyring/keyring

そもそもkeyringって何？

Q: mysqlにおける keyringとはなんですか？
A:
MySQLのkeyringは、キー管理プラグインの一種で、データベース内のデータを暗号化する際に使用される暗号化キーを安全に管理・保管する機能を提供します。これにより、データベースのセキュリティが向上し、機密情報を保護するために役立ちます。
キーリングプラグインは以下の機能を提供します：

1. 暗号化キーの生成：キーリングは、新しい暗号化キーを生成する機能を提供します。これらのキーは、データベース内のデータを暗号化および復号化するために使用されます。
2. キーの保管：生成されたキーは、キーリング内に安全に保管されます。キーは、必要に応じてデータベースからアクセスされ、暗号化または復号化プロセスに使用されます。
3. キーのローテーション：キーリングは定期的にキーをローテーションし、古いキーと新しいキーを入れ替えることができます。これにより、セキュリティが向上し、攻撃者によるキーの悪用が難しくなります。
   MySQLでは、いくつかのキーリングプラグインが利用可能であり、それぞれ異なるキーストレージバックエンドを使用します。例えば、keyring_fileプラグインは、暗号化キーをファイルに保管しますが、keyring_awsプラグインは、Amazon Web Services（AWS）のKey Management Service（KMS）を使用してキーを保管します。適切なプラグインを選択することで、状況に応じたキー管理方法が提供されます。

Q2: Mysql8.0でキーリングを使用する方法をわかりやすく解説
A2:
MySQL 8.0でキーリングを使用する方法について、以下の手順で解説します。

1. キーリングプラグインを有効化する
   MySQL 8.0では、デフォルトではキーリングプラグインが有効化されていません。次のように、キーリングプラグイン（ここではkeyring_fileを例に）を有効化するために、my.cnf（またはmy.ini）に以下の行を追加します。

[mysqld]
early-plugin-load=keyring_file.so
keyring_file_data=/var/lib/mysql-keyring/keyring

この設定で、keyring_fileプラグインが読み込まれ、/var/lib/mysql-keyring/keyringにキーリングデータが格納されます。必要に応じて、異なるキーリングプラグインや保存場所を指定できます。

1. MySQLサーバを再起動する
   設定変更を反映させるために、MySQLサーバを再起動してください。
2. キーリングプラグインが有効になっているか確認する
   以下のSQLコマンドを実行し、キーリングプラグインが有効になっていることを確認します。
   SHOW PLUGINS;
   リストに表示されたプラグインの中に、設定したキーリングプラグインが含まれていることを確認してください。
3. テーブルスペースを暗号化する
   以下のSQLコマンドを実行して、新規に作成されるテーブルスペースに暗号化を適用します。

ALTER TABLESPACE tablespace_name ENCRYPTION='Y';

ここでtablespace_nameは、暗号化を適用するテーブルスペースの名前です。

1. 既存のテーブルを暗号化する
   以下のSQLコマンドを実行して、既存のテーブルの暗号化を適用します。

ALTER TABLE table_name ENCRYPTION='Y';

ここでtable_nameは、暗号化を適用するテーブルの名前です。
以上で、MySQL 8.0でキーリングを使用し、データベースのテーブルやテーブルスペースを暗号化する方法を解説しました。これにより、データベースのセキュリティを向上させることができます。

Q3: この暗号化したテーブルからデータを取得する際に、データ復号のためにどのような作業がアプリケーション側で必要になりますか？（前にも聞いたけど心配になったのでもう一度相談）
A3:
MySQLで暗号化されたテーブルからデータを取得する際、アプリケーション側で特別な作業は必要ありません。
MySQLのテーブル暗号化は透過的です。つまり、暗号化および復号化のプロセスはMySQLサーバ内で自動的に行われ、アプリケーションには通常のデータとして表示されます。これにより、アプリケーションのコードやロジックを変更しなくても、データベースのセキュリティを向上させることができます。
例えば、以下のSQL文でデータを取り出します:
SELECT column_name FROM table_name WHERE some_condition;
この場合、暗号化されたテーブルからデータを取得するために、アプリケーション側で何ら特別なコードや手順を記述する必要はありません。ただし、アプリケーションがMySQLサーバに接続できるようにし、適切な権限を持つユーザで認証する必要があります。
したがって、暗号化されたテーブルからデータを取得する際に、アプリケーション側で特別な復号化処理は必要ありませんが、データベースへの接続と認証は正しく行う必要があります。

でも結局エラー出てるんだよな。。。
Q4: keyringを使用したDBテーブルとの接続に使うキーの情報はどのように確認できますか？
A4:
keyringプラグインを使用してデータベーステーブルを暗号化する場合、MySQLが内部的に暗号化キーを管理します。しかし、通常はこれらのキー情報は直接アクセスすることはできません。キーリングプラグインは、セキュリティの観点からキーの保護を最優先に考慮し、直接的なキーアクセスを制限しています。
ただし、keyring_fileプラグインのように、暗号化キーがファイルに保存されている場合は、そのキーファイルを確認することができます。ただし、その内容はバイナリデータであり、通常は直接読み取りにくい状態になっています。
keyring_fileプラグインのkeyring_file_dataオプションで設定されたパスにあるキーファイルを確認するために、次のコマンドを使用できます。ただし、このファイルは通常 root 権限が必要です。
sudo cat /path/to/your/keyring_file.key
上記の方法でキーファイルを確認できますが、キーがどの暗号化テーブルに適用されているかは直接的に判断できません。MySQLサーバは内部でキーIDとテーブルを関連付けて管理していますが、これは外部から直接アクセスできるものではありません。通常はキー情報にアクセスする必要はなく、暗号化と復号化のプロセスはMySQLサーバが自動的に処理します。

Flyway x SpringBootの場合について

Q: SpringBootプロジェクトでflywayを使用してDDLを管理しています。
この場合はどのような対応が必要になるでしょうか？
A:
Spring BootプロジェクトでFlywayを使用してデータベーススキーマを管理し、MySQLのキーリング機能を利用したテーブル暗号化を行う場合、以下の手順に従って対応が必要です。

1. キーリングプラグインを有効化する
   まず、MySQLのキーリングプラグイン（例：keyring_file）を有効化してください。これは、MySQLサーバの設定ファイル（my.cnfまたはmy.ini）で行います。詳細な手順は前述の回答を参照してください。
2. Flyway SQLマイグレーションスクリプトに暗号化設定を追加する
   Flyway SQLマイグレーションスクリプト（V<number>__<description>.sqlなど）に、暗号化を適用するテーブルのDDLに、ENCRYPTION='Y'設定を追加します。

例えば、次のように新規テーブルを作成する場合:
CREATE TABLE secure_table (
id INT PRIMARY KEY,
sensitive_data VARCHAR(255)
);
このテーブルを暗号化するように明示的に指定するには、以下のようにします:
CREATE TABLE secure_table (
id INT PRIMARY KEY,
sensitive_data VARCHAR(255)
) ENCRYPTION='Y';
これで、マイグレーションが適用されたときに、secure_tableが暗号化されます。

1. Flywayの設定を更新する（必要に応じて）
   FlywayはデフォルトでMySQLの標準構成を使用しますが、そちらでキーリングプラグインを有効にしていない場合は、キーリングプラグインを有効にしたMySQLインスタンスに接続するようにFlywayの設定も更新する必要があります。
   application.propertiesまたはapplication.ymlで、spring.datasourceとspring.flywayの接続設定を更新し、キーリング対応のMySQLサーバに接続します：
   spring.datasource.url=jdbc:mysql://localhost/your_database
   spring.datasource.username=your_username
   spring.datasource.password=your_password

spring.flyway.url=jdbc:mysql://localhost/your_database
spring.flyway.user=your_username
spring.flyway.password=your_password

以上の手順に従って、Spring BootプロジェクトでFlywayを使用し、MySQLのキーリング機能を利用したデータベースの暗号化を行うことができます。アプリケーションやデータアクセスコードに大きな変更は必要ありません。

keyringについて
https://zenn.dev/fujishiro/scraps/862183a9b2d9cf

keyringプラグインがサポートするシステム変数
https://dev.mysql.com/doc/refman/8.0/en/keyring-system-variables.html

docker環境の場合

Q: 今回の場合、docker-compose.ymlでdockerコンテナのmysqlと接続するのですが、docker-compose.ymlの定義でキーリングに関する記述は必要になりますか？
A:
docker-compose.yml でMySQLコンテナを構成する場合、キーリングプラグイン及びファイル用の設定を追加する必要があります。docker-compose.yml でこれを実現するために以下の手順を行ってください:

1. my.cnfファイル (Linux) または my.iniファイル (Windows) を作成し、MySQL設定を追加します。これには、キーリングプラグインに関する設定を含めます:
2. MySQLコンテナにキーリングファイルを格納するディレクトリをマウントします。例えば、ホスト側の ./docker/mysql/keyring ディレクトリをMySQLコンテナ内の /var/lib/mysql-keyring/keyring にマウントします。これにより、キーリングファイルがコンテナの再起動や再構築の間に保持されます。
3. 作成したmy.cnf (またはmy.ini) ファイルをMySQLコンテナにマウントします。これにより、カスタム設定がMySQLサーバーに反映されます。
   少なく表示する
   これらの設定を踏まえて、docker-compose.yml は以下のようになります:

version: '3'

services:
  mysql:
    image: mysql:8.0
    environment:
      - MYSQL_ROOT_PASSWORD=my-secret-pw
    volumes:
      - ./docker/mysql/keyring:/var/lib/mysql-keyring/keyring  # キーリングファイル用のボリューム
      - ./docker/mysql/my.cnf:/etc/mysql/my.cnf        # カスタム設定ファイルのマウント
    ports:
      - "3306:3306"

この方法で、MySQLコンテナはキーリングプラグイン用の設定を使用して起動されます。./docker/mysql/keyring および ./docker/mysql/keyring をホストの適切なディレクトリに置き換えて、独自の環境に合わせて構成してください。

これで、docker-compose を使って起動されたMySQLコンテナは、キーリングプラグイン設定を持つようになります。./docker/mysql/keyring ディレクトリを適切なパスに適応させ、キーリングファイルが保存される場所を設定してください。

-- ./docker/mysql/keyringってどんなファイル？どう書けば良い？
Q: ./docker/mysql/keyring はどのように作成すればよいですか？
A:
./docker/mysql/keyring ディレクトリを作成するには、ホストマシンで以下の手順を実行します。

1. ./docker/mysql ディレクトリが存在するか確認します。存在しない場合は作成してください。
   mkdir -p ./docker/mysql
2. ./docker/mysql ディレクトリ内に keyring ディレクトリを作成します。
   mkdir ./docker/mysql/keyring
   これで、keyring ディレクトリが ./docker/mysql 内に作成されます。MySQLコンテナで使用されるキーリングファイルは、このディレクトリに保存されます。ディレクトリが正しく作成されたら、docker-compose.ymlで指定したように、ディレクトリを MySQL コンテナにマウントします。
   必要に応じて、ディレクトリの所有権とパーミッションを調整して、MySQL コンテナがアクセスできるようにします。通常、デフォルトの設定でコンテナはディレクトリにアクセスできるはずですが、問題がある場合は、ディレクトリの所有権を確認または変更する必要があります。ディレクトリがホストマシンのユーザーIDに属していることを確認してください。

-- ./docker/mysql/keyringはファイルじゃなくてディレクトリっぽい。
Q: keyringディレクトリは空で問題ないのでしょうか？
A:
はい、keyringディレクトリははじめに空で作成しても問題ありません。最初にMySQLサーバーが起動したときに、必要であればkeyringファイルが自動的に作成されます。ディレクトリを作成した後に何もしなくても、MySQLサーバーがキーリングプラグインを初期化して適切なキーリングファイルを生成します。
ただし、検証やテストを行っている際に、異なる環境でキーリングファイルを共有する必要がある場合があります。そのような場合には、既存のキーリングファイルを新しく作成したkeyringディレクトリにコピーすることができます。MySQLサーバーは、そのディレクトリ内のキーリングファイルを使用して暗号化や復号化の処理を行います。