マーケティング施策の効果測定は、ビジネスの意思決定において非常に重要です。特に多岐にわたる施策を展開する現代において、それぞれの施策がどれだけ売上やKPIに貢献しているかを定量的に把握することは不可欠と言えるでしょう。そこで注目されるのが、マーケティング・ミックス・モデリングです。
1. MMM（マーケティング・ミックス・モデリング）とは
MMMは、統計モデルを用いて、様々なマーケティング施策（広告、価格など）や外部要因（トレンド、季節性、コロナなど）が、売上やKPIに与える貢献度やROIを定量的に可視化する分析手法です。Cookieレス時代の到来もあり、MMMへの関心が高まっています。
2. なぜMMMの内製化が注目されるのか
アルゴリズムの透明性欠如
分析に使用されるアルゴリズムの詳細が開示されないことが一般的です。ベンダーから提供される「微秒に補正がされたレポート」 に対して、マーケターが結果に違和感を覚えても、その理由を理解したり説明したりする手段が限られ、意思決定の妨げとなることがあります。
分析サイクルの遅延
データを渡してから結果が得られるまでに数ヶ月から半年かかることが多く、迅速な施策改善が難しい状況が生じます。データ収集・加工（様々なフォーマットのファイルを整形し、エクセルに転記する手作業や集計ミスなど）にも時間がかかります。
高コスト構造
外部委託はコストが高く、データサイエンティスト数人分の年間コストに匹敵することもあります。
これらの課題を解決し、より迅速で信頼性の高いデータに基づいた意思決定を行うために、MMMの内製化を目指す企業が増えています。内製化のゴールとしては、コスト削減、意思決定のスピードアップ、そしてロジックが明確になることによるアウトプットの信頼性向上などが挙げられます。
3. JINSが取り組んだMMM内製化の実践プロセス
内製化のプロセスは、以下の3つのステップに分けられます。
Step1: 準備・計画
- 目的・KPIの明確化: 何のためにMMMを行うのか、どのような指標を追うのかを定義します。
- データ収集: 必要なデータ項目（売上、施策コスト・インプレッション、外部要因など）を洗い出し、データソース、収集頻度、粒度を決定します。データ基盤整備を含むデータ収集・管理体制の構築が重要です。
- 分析環境・ツールの選定: Python, R, 各種ライブラリなどが挙げられます。
- データサイエンティスト、マーケター、エンジニアなど、必要な役割を分担します。
Step2: モデル構築・検証:
- データ前処理・特徴量エンジニアリングを行います。
- モデル手法の選定: 重回帰分析、状態空間モデル、Robyn (Meta)、lightweight MMM (Google) など、様々な手法があります。再現性の確認も重要なプロセスです。
- OKRなどを活用したプロジェクト管理も行われます。
Step3: 運用・改善:
- 分析結果の可視化・レポーティング: マーケターが必要とするダッシュボードなどを開発します。
- 分析結果の施策への反映・活用フロー: 得られた結果を丁寧に分析し、関係部署との連携体制を構築しながら施策に反映していきます。定期的なモデル更新・メンテナンスも必要です。
4. 内製化における「三つの壁」と課題
内製化の道のりは平坦ではなく、「データ関連」「モデル関連」「組織・スキル関連」の三つの壁がありました。
データ関連の課題:
- 元データが不明確だったり、品質問題（粒度、欠損、外れ値）があったりします。
- 不必要なデータが混在していることも。
- データ整備には多大な工数と継続性が必要です。
- 外部データの取得にも課題があります。
モデル関連の課題:
- 最適なモデル手法の選定が難しい。
- モデルの精度、安定性、解釈性を担保する必要があります。
- 広告効果に影響するAd Stock（残存効果）、飽和効果、施策間の交互作用などをどうモデルに組み込むかが課題となります。
- エリアABテストの設計・運用の難しさもあります。
組織・スキル関連の課題:
- データサイエンス部門とマーケティング部門の連携が不可欠です。
- 分析結果をいかにビジネス活用に繋げるか。
- 経営層への説明と理解促進も重要です。
- マーケティング担当者の分析スキル向上と自走化も大きなテーマとなります。
5. エリアABテストの重要性とその示唆
モデル関連の課題の一つとして挙げられたエリアABテストは、特にTVCMのように特定のエリアごとに施策が展開される場合に有効な手法です。施策を実施するターゲットグループ（TG）と実施しないコントロールグループ（CTL）を地理的に分けて設定し、その効果を分析します。
なぜエリアABテストが重要かというと、分析精度の向上と迅速なフィードバックが可能になるためです。これにより、分析サイクルを短縮し、スピーディーな意思決定と施策改善に繋げることができます。
ただし、エリアABテストにも課題があります。TGとCTLをどう決めるか、都市と地方の異質性をどう考慮するか、TGとCTLのエリア割合をどうするか、といった点です。特にCTLエリアはなるべく少ない方が良いという側面もあります。
擬似データを用いたシミュレーション実験により、エリアABテストの有効性を検証しました。TGのみを用いたモデルと、TGとCTL両方を用いたモデルで、真の広告効果パラメータを推定する実験を100回繰り返した結果、真のパラメータの平均値はどちらの実験でも差がなかったものの、真のパラメータの分散はTGとCTL両方を用いたモデル（実験2）の方が小さいことが示されました。これは、TGのみのデータで推定するよりも、TGとCTL両方のデータを用いたモデルの方が、真の値に近い結果を得られる可能性があることを示唆しています。
6. 内製化による成果
定量的成果:
- 外部委託コストの大幅削減。
- 分析リードタイムの劇的な短縮: 数ヶ月〜半年に一度だった分析レポート提出が、毎月あるいは毎週可能になり、施策実施から分析結果確認までの期間が大幅に短縮されました。
- データ収集・加工の効率化: 手作業によるデータ収集・整形作業の自動化が進み、人的コスト削減と作業の迅速化・標準化に貢献しました。
定性的成果:
- 細かい知見の獲得: 分析プロセスを社内で行うことで、より深い知見が蓄積されはじめています。
- 分析の質と透明性の向上: データソースの統一や客観的な立場での分析により信頼性が向上し、「ホワイトボックス化」によって分析ロジックや使用データが明確になり、結果への納得感が増しました。従来分析できなかったテーマ（例: UGCの貢献度）の分析も可能になり、新たなインサイト獲得に繋がりました。
- 意思決定と組織の変化: タイムリーな分析結果が実務ですぐに活用でき、意思決定・施策実行スピードが向上しました。部門横断でのデータ活用が進み、客観的なデータに基づく建設的な議論や合意形成が円滑になりました。マーケティング担当者の分析スキル向上と自走化も進み、現場での迅速なデータ活用やデータに基づいた施策立案が活発化しています。
7. 失敗事例から学ぶ
内製化の過程では失敗も経験します。
事例1: データ入力ミス
エリアABテストで、広告を実施したエリア（TG）と実施しなかったエリア（CTL）のデータを誤って逆に入力してしまい、CTLの売上がTGの売上を上回るという逆転現象が発生しました。データソースの正確性は、とても重要です。
事例2: 交絡
交絡とは、要因間の効果が混ざってしまい、分離できないことを言います。例えば、女性にだけクーポンを配布し男性には配布しないというクーポン効果検証実験では、売上の差が性別によるものかクーポンの効果によるものか分離できません。
QRコードキャンペーンの効果を知りたい際、TGエリアとCTLエリアを決済端末の種類で振り分けてしまった場合、決済端末の種類による影響なのかキャンペーンの効果なのかが混絡してしまいます。
これらの失敗から、ランダム化や適切な対照群の設定がいかに重要であるかを改めて学ぶことができました。
8. まとめ：内製化がもたらす価値の広がり
MMMの内製化は、分析プロセスの透明化や部門横断でのデータ活用を促進し、単に広告効果測定に留まらず、売上向上、予約改善、営業改善、サイト改善、新プロダクト開発など、ビジネス全体への価値の広がりをもたらします。知見の蓄積とナレッジの共有も進み、組織全体のデータ活用能力を高めることに繋がります。
ブラックボックスからの脱却は、マーケティング活動の精度とスピードを高め、変化の速い市場環境への対応力を強化する上で、強力な武器となるでしょう。
このブログ記事が、MMM内製化への理解を深める一助となれば幸いです。
Discussion