合成データ：プライバシー保護とデータ活用の両立に向けて

1. はじめに

プライバシー保護とデータ活用の両立は重要な課題となってる現在、データやAIの保護に関する規制は一層強化される傾向にあります。このような背景から、プライバシーを保護しながらデータを活用する手法として「合成データ（Synthetic Data）」が注目を集めています。

と、格調高く入りたいと思いましたが、そもそも「合成データ」ってなに？ってレベルの知識しかなかったので、ちゃんと理解したいと思い、調べた内容を自分なりにまとめましたので、皆さんの一助になれば幸いです！

（今回、Non-Snowflakeです！）

2. 合成データの基本概念と具体例

2.1 合成データとは

合成データは、実在するデータと同じ構造で異なる値を持つ、人工的に生成されたデータです

・・うん、良く分からない

ということで、簡単なサンプルデータを元に合成データを作成した例を見てみましょう

顧客データの例：

【元データ】
ID     年齢  年収(万円)  職業     居住地
10234   45    650      会社員    東京都
38291   32    420      会社員    神奈川県
67453   28    380      公務員    千葉県
82104   52    780      自営業    東京都
95672   38    520      会社員    埼玉県

【合成データ】
ID     年齢  年収(万円)  職業     居住地
45981   42    630      会社員    神奈川県
23674   35    450      公務員    東京都
91436   29    390      会社員    埼玉県
67209   49    750      自営業    千葉県
12853   36    510      会社員    東京都

元データと比べて、全然バラバラ見えるけど。。このデータ使えるんだろうか？

2.2 統計的特徴の保持

すでに懐疑的になっているのですが、統計上の特徴を保つ事が目的なので、上記のデータをいくつか分析上で使いそうな項目でサマリーしてみると

特徴	元データ	合成データ	説明
年齢の平均	39.0歳	38.2歳	平均値の近似的維持
年収の中央値	520万円	510万円	中央値の近似的維持
職業の分布比	会社員:60% 公務員:20% 自営業:20%	会社員:60% 公務員:20% 自営業:20%	カテゴリ変数の分布維持
年齢と年収の相関係数	0.82	0.80	強い相関関係の維持
年齢と居住地の相関係数	0.12	0.15	弱い相関関係の維持
職業と年収の相関比	0.45	0.42	中程度の相関関係の維持

個々のレコード（ローデータ）は元データと全く異なる値を持っていますが、統計的な特徴は以下のように維持されているように見えます

1. 基本統計量（平均値、中央値）はほぼ同じ値
2. カテゴリカルデータの分布比も完全に一致
3. 変数間の相関関係も、その強弱に関わらず近似的に維持
   • 強い相関（年齢と年収）
   • 中程度の相関（職業と年収）
   • 弱い相関（年齢と居住地）

レコードレベルでは元々の値とは大きく異なりますが、全体としての統計値は乖離していない
小さなサンプルデータではありますが、合成データの概念が少し理解出来た気がします

ただデータ規模が大きくなると変数間の関係性は増えてくると思うので、この関係性の概念も理解しておく必要があります

2.3 変数間の関係性の保持

合成データを生成する際、単純な統計量だけでなく、変数間の複雑な関係性も考慮する必要があります
実データにおける変数間の関係性は、以下のような異なるタイプが存在するので、考え方としてまとめておきます

関係性タイプ	説明	保持方法	具体例
数値変数間	連続的な値を持つ 変数間の関係	・相関係数の維持 ・散布図パターンの保持	・年齢と年収の関係 ・身長と体重の関係 ・購入金額と購入頻度
カテゴリ変数間	カテゴリカルな値を持つ 変数の組み合わせ	・クロス集計表の類似性維持 ・条件付き確率の保持	・職種と勤務地の組合せ ・商品カテゴリと年齢層 ・性別と購買傾向
混合変数間	数値変数とカテゴリ変数の 組み合わせ	・カテゴリ別の分布保持 ・グループ統計量の維持	・職種別の年収分布 ・年齢層別の購入額 ・地域別の顧客数
論理的整合性	業務上の制約や 常識的な関係性	・ルールベースの制約設定 ・妥当性チェック	・年齢>勤続年数 ・役職と年収の整合 ・在庫数≧販売数

これらの関係性の維持をどのように行うのか、その具体的な手法の理解を深めたいと思います

3. 合成データの生成技術

3.1 合成データの種類

合成データの生成手法を理解するに辺り、まず合成データ自体のタイプについて整理しておきましょう

種類	概要	メリット	デメリット	適用例
完全合成データ	・実データは使用せず、 統計的特徴のみを用いて生成 ・アルゴリズムによる完全な人工データ	・プライバシー保護が最も強力 ・自由度が高い	・元データとの類似性担保が難しい ・品質検証のコストが高い	・医療データの共有 ・金融取引データ ・完全な匿名化が必要なケース
部分合成データ	・実データの一部のみを合成データに置換 ・機密情報のみを置換	・必要な部分のみ保護可能 ・元データの特徴を維持しやすい ・検証が比較的容易	・完全な匿名性は担保できない ・データ間の整合性維持が必要	・個人識別情報の置換 ・センシティブ属性の保護 ・特定項目のマスキング
ハイブリッド	・実データと合成データを組み合わせ ・両者の特徴を活用	・柔軟な保護レベルの設定 ・用途に応じた使い分け可能	・管理が複雑 ・処理時間とリソースが増加	・段階的な導入 ・特定の分析用途 ・実証実験

3.2 合成データ生成手法の分類と発展

それではその生成手法とともに、せっかくなので合成データの歴史もまとめてみました
（歴史を知るの楽しいですよね！）

アプローチ	基本原理	代表的手法	特徴	主な登場時期と背景
統計的分布	統計量の直接利用	単変量分布生成 確率分布フィッティング	実装容易 解釈性高 スケーラブル	1993年: 合成データの概念提唱[1] 政府統計データでの初期活用
モデルベース	アルゴリズムによる モデル化	コピュラ ベイジアンネットワーク	依存関係表現 高速生成 制御可能	2009年: ベイジアンネットワークによる 合成データ生成手法の確立[2] 金融分野での活用開始
ディープ ラーニング	深層学習による 特徴学習	GAN (2014-) VAE Autoencoder	複雑パターン 非線形関係 高品質	2014年: GANの提案[3] 画像生成分野での革新
生成AI	最新AI技術の活用	Diffusion Model 大規模言語モデル	最高品質 柔軟な制約 汎用性	2020年以降: Diffusion Modelの実用化 大規模言語モデルの応用

Rubin, D.B. (1993). "Statistical Disclosure Limitation"
Zhang et al. (2009). "Using Bayesian Networks for Synthetic Data Generation"
Goodfellow et al. (2014). "Generative Adversarial Networks"

3.3 各アプローチの詳細と実装特性

統計的分布アプローチの詳細

実装手法	処理概要	主な特徴	実装時の注意点	適用シーン
単変量分布生成	・各変数ごとの分布推定 ・独立したサンプリング	・実装が最も容易 ・計算コスト最小 ・高速な生成	・変数間の関係性が失われる ・外れ値の扱いに注意	・単純なテストデータ ・基礎的な検証
多変量分布生成	・結合分布の推定 ・同時サンプリング	・基本的な関係性維持 ・統計的な妥当性	・次元の呪いに注意 ・分布の選択が重要	・相関のある数値データ ・金融データ
確率分布 フィッティング	・理論分布への当てはめ ・パラメータ推定	・理論的な裏付け ・再現性の高さ	・分布の仮定が必要 ・適合度の確認重要	・品質管理データ ・性能評価データ

モデルベースアプローチの詳細

実装手法	技術要素	特徴と利点	課題と制約	主な用途
コピュラ	・周辺分布の分離 ・依存構造のモデル化	・柔軟な相関表現 ・高速な生成 ・理論的保証	・高次元で複雑化 ・非線形関係の限界	・金融リスク分析 ・市場データ生成
ベイジアンネットワーク	・条件付き確率 ・グラフィカルモデル	・因果関係の表現 ・解釈性の高さ	・構造学習が必要 ・スケール制約	・医療データ ・診断システム
階層的生成	・階層的モデリング ・段階的生成	・複雑な構造化 ・制御可能性	・計算コスト増 ・パラメータ調整	・組織データ ・系統的データ

snowflakeの合成データストアドプロシージャはコピュラなのね

https://docs.snowflake.com/en/user-guide/synthetic-data

ディープラーニングアプローチの詳細

実装手法	アーキテクチャ	優位点	課題点	適用領域
GAN	・生成器と識別器 ・敵対的学習	・高品質な生成 ・詳細な特徴学習	・学習の不安定性 ・モード崩壊	・画像データ ・時系列データ
VAE	・エンコーダ/デコーダ ・潜在空間	・安定した学習 ・制御可能な生成	・細部の曖昧さ ・再構成誤差	・連続変数 ・特徴抽出
Autoencoder	・次元圧縮 ・再構成学習	・特徴の圧縮 ・ノイズ除去	・表現力の制限 ・過学習リスク	・次元削減 ・異常検知

生成AIアプローチの詳細

実装手法	生成プロセス	強み	弱み	実用例
Diffusion Model	・ノイズ除去過程 ・段階的生成	・最高品質 ・安定性	・計算コスト大 ・生成時間長	・高精細画像 ・複雑データ
大規模言語モデル	・言語理解 ・文脈考慮	・柔軟な生成 ・意味理解	・リソース要求 ・制御難	・テキストデータ ・構造化文書
ハイブリッドモデル	・複数手法統合 ・段階的処理	・手法の長所統合 ・用途別最適化	・複雑な実装 ・調整の難しさ	・特殊要件 ・高度な用途

ディープラーニング、生成AIとなると全く理解が追い付かない。。
でもこの辺りを使いこなせれば、より精度の高い合成データが作れそうな気がするけど、リソースコストもかかりそう。。

4. 技術的詳細と実装のコツ

4.1 データ保護のアプローチ

まずは基本的な保護方法
キーは置き換え、外れ値は丸めるなどの基本的な処理は合成データ前にやっておくのが良さそう

データ要素	よくある課題	実装のコツ	確認ポイント
ID/キー項目	・追跡可能性 ・一貫性維持	・ハッシュ関数の活用 ・新規ID体系の設計	・重複チェック ・参照整合性
数値データ	・統計的特徴の維持 ・外れ値の処理	・分布に基づく生成 ・スケーリングの活用	・基本統計量 ・分布の形状
カテゴリデータ	・出現頻度の維持 ・組み合わせパターン	・条件付き確率の利用 ・クロス集計の維持	・分布比率 ・組合せ妥当性

4.2 実装と評価のポイント

フェーズ	確認ポイント	具体的なアプローチ	実装時の注意点
事前分析	・データの特性把握 ・変数間の関係性 ・欠損値/外れ値の状況	・基本統計量の確認 ・相関分析の実施 ・分布の可視化	・重要な関係性の特定 ・異常値の取り扱い方針 ・欠損パターンの把握
手法選択	・データ規模 ・変数の種類 ・計算リソース	・小規模：統計的手法 ・大規模：深層学習 ・変数タイプに応じた選択	・拡張性の考慮 ・実行時間の見積もり ・メモリ使用量の確認
品質評価	・統計的な類似性 ・構造の保持 ・実用性の検証	・分布の比較 ・相関構造の確認 ・機械学習での性能比較	・複数の評価指標の活用 ・用途に応じた重点化 ・継続的なモニタリング

目的次第だけど、合成データの精度に関する許容というか双方の理解が重要ですね（特に社外は）

5. 今後の展望

5.1 技術トレンド

領域	期待される発展	エンジニアができる準備
生成モデル	・Diffusion Modelの進化 ・新たな生成手法の登場	・基本的な実装の習得 ・実験的な試行
評価手法	・より良い品質指標 ・自動評価の発展	・評価指標の実装 ・ツール化の検討
ツール/ライブラリ	・オープンソースの充実 ・商用ツールの進化	・主要ライブラリの活用 ・独自実装との組み合わせ

プライバシー保護の高まりから、合成データについてもより良いモデルやそれを実行するツールやライブラリが提供される気がします（他人任せ）

まとめ

合成データは、プライバシー保護とデータ活用の両立を可能にする有望な技術だと分かりました。統計的な手法から最新のAIまで、様々なアプローチが発展しており、エンジニアにとって挑戦しがいのある分野となっています

本記事で紹介した手法や実装のポイントを参考に、実際の開発に取り組んでみることで、新しいビジネスや協業の可能性が開けるかもしれません

みなさんも、ぜひ合成データの実装に挑戦してみてください！

参考文献

1. 株式会社日本総合研究所「プライバシー保護合成データの概説と動向」2023年
2. Japan Digital Design「銀行データのような合成データを人工的に作ってみた」2024年
3. 「合成データとは」AWS技術文書
4. Gartner「2024年までのAIトレーニングデータ予測」
5. 「The Lancet」医療データにおける合成データの活用研究
6. MIT「Synthetic Data Vault」技術文書