会社情報
採用情報
お問い合わせ
Article

広告クリエイティブA/Bテストでコンバージョン率改善！成功事例を紹介

高田晃太郎
広告クリエイティブA/Bテストでコンバージョン率改善！成功事例を紹介

広告効果の最大要因はクリエイティブだという知見は一貫しています。 Nielsen系の分析では売上リフトの約49%がクリエイティブに起因し、到達やターゲティングを上回ると報告されています（NCSolutions, 2023）¹ ²。一方でオンライン実験の大規模研究では、期待した改善を有意に得られる実験は全体の多数ではないことも示されています（Kohavi et al., 2020）³。つまり、当て勘では当たらないが、設計と検証を正しくやれば当てられる、これがA/Bテストの現実です。

本稿では、広告クリエイティブA/Bテストの実務をCTO・エンジニアリーダー視点で再構成します。測定の落とし穴、パワー設計、頻度主義とベイズの比較、分散削減、そして運用に落ちるデータパイプラインまでを、実装可能なコードとともに提示します。最後に、公開知見と再現シミュレーションに基づく一般的なパターンも紹介し、継続的なコンバージョン率（CVR：接触者のうち目的行動に至った割合）の改善と獲得単価（CPA：1件獲得にかかった費用）の低減につながりうる手順を整理します。必要に応じて、広告費用対効果（ROAS：売上/広告費）も補助指標として扱います。

なぜクリエイティブA/Bテストが効くのか

広告オークションの結果は入札、関連性、そして注意獲得能力に大きく支配されます。入札は金額で即時に調整できますが、関連性と注意はクリエイティブの設計次第です。研究データでは、ファーストフレームの情報密度、主要メッセージの読み上げ時間、モバイルでの可読性がエンゲージメントとコンバージョンの中間指標を介して最終成果に影響すると整理されます。プラットフォームの最適化アルゴリズムは短期的なクリックやビューシグナルに適合しますが、事業KPI（重要指標）への因果効果は実験でしか確かめられません³。

同時に、計測は想像以上に難しい領域です。アトリビューションウィンドウやコンバージョンモデリングの違いは、クリエイティブ間の表面上の差を増幅もしくは希釈します。オーディエンスのミックスや学習フェーズの揺らぎ、季節性・配信面の偏りが絡み合うと、シンプソンのパラドックスが起こり、表全体では優位でもセグメント別では逆転することが珍しくありません³。だからこそ、実験単位のランダム化、事前のパワー設計、プラットフォーム横断での一貫したKPI定義、そしてガードレール指標（配信の健全性を見る安全装置）を事前合意しておく運用設計が、成果の再現性を高めます³。

測定の落とし穴とガードレール

頻繁な途中停止は過大推定や偽陽性の増加を招きます。逐次モニタリングを行うなら、ベイズ的な意思決定基準やアルファスパンディングを採用し、不用意にp値（偶然で説明できる確率）を乱用しない運用が必要です³ ⁸。また、推定の分散を抑えるために、プレ期間の行動を共変量として取り入れるCUPEDのような分散削減手法を活用すると、必要サンプルサイズを縮小できます⁴。さらに、配信量やCPC（クリック単価）、CPM（千回表示あたりの単価）などのガードレールを監視し、学習崩壊や配信停止などの健全性問題が発生した場合は判定とは独立に実験を中断する基準も設けます³。詳細なKPI定義やGA4の計測設計と合わせて、計測の一貫性が高まります。

実験設計の実務：指標、パワー、ベイズ

最終指標は事業モデルに合わせて選びます。サブスクSaaSなら申込あたりの獲得単価、電商なら購入コンバージョン率とROAS、見込み育成ならリード品質を代理する下流指標が適切です。A/Bテストでは、最小検出効果（MDE：見つけたい最小の差）、検出力（Power：真の差を見逃さない力）、有意水準（偶然と見なす閾値）を事前に固定し、必要サンプルサイズと実験期間を見積もります。頻度主義では二項比率差の検定が一般的ですが、意思決定の迅速化を狙うならベイズの事後確率で優劣を判定する運用も有効です⁹ ⁸。マルチアームの場合は多重比較に配慮し、FDR制御か、順次の勝ち残り方式で探索から搾り込みへ移行します⁵。

PythonでMDEとサンプルサイズを見積もる

二項比率（コンバージョン率）を対象に、期待値、MDE、検出力と有意水準からサンプルサイズを見積もります。以下はstatsmodelsの実装例です⁷。

import math
from statsmodels.stats.power import NormalIndPower
from statsmodels.stats.proportion import proportion_effectsize

# 期待コンバージョン率とMDE（相対）を設定
baseline_cvr = 0.03  # 3%
relative_mde = 0.15  # 15%の改善を検出したい
alpha = 0.05
power = 0.8  # 一般的な基準⁹

# 絶対差に変換
p1 = baseline_cvr
p2 = baseline_cvr * (1 + relative_mde)

# 比率検定用の効果量（Cohen's h 相当）を算出
effect_size = proportion_effectsize(p1, p2)

analysis = NormalIndPower()
n_per_group = math.ceil(
    analysis.solve_power(effect_size=effect_size, alpha=alpha, power=power, alternative='two-sided')
)
print({"n_per_group": n_per_group})

コンバージョン率が低いほど必要サンプルは増加します。広告のクリエイティブ実験はトラフィック獲得が高速なため、検出力0.8以上を標準とし⁹、学習期の不安定さを避けるためにもフライトを週またぎで設定すると季節性の影響を均しやすくなります。

BigQueryでコンバージョン率・リフト・信頼区間を集計する

マルチプラットフォーム運用では、イベントを共通スキーマに正規化し、純粋なコンバージョンをプラットフォーム横断で再計算するのが安全です。以下はセッション単位のコンバージョン率と95%信頼区間、相対リフトを算出するクエリ例です（大標本想定の正規近似）¹⁰。

-- 標本比率の正規近似に基づく簡易CI（大標本想定）
WITH base AS (
  SELECT
    variant,  -- 'A' or 'B'
    COUNT(*) AS n,
    SUM(CASE WHEN converted = TRUE THEN 1 ELSE 0 END) AS x
  FROM `project.dataset.ads_sessions`
  WHERE experiment_key = 'creative_2025q3_v1'
  GROUP BY variant
), stats AS (
  SELECT
    variant,
    n,
    x,
    SAFE_DIVIDE(x, n) AS cvr,
    1.96 * SQRT(SAFE_DIVIDE(SAFE_DIVIDE(x, n) * (1 - SAFE_DIVIDE(x, n)), n)) AS ci_half
  FROM base
)
SELECT
  a.cvr AS cvr_a,
  b.cvr AS cvr_b,
  SAFE_DIVIDE(b.cvr - a.cvr, a.cvr) AS relative_lift,
  a.cvr - a.ci_half AS cvr_a_low,
  a.cvr + a.ci_half AS cvr_a_high,
  b.cvr - b.ci_half AS cvr_b_low,
  b.cvr + b.ci_half AS cvr_b_high
FROM stats a
JOIN stats b ON a.variant = 'A' AND b.variant = 'B';

厳密な推定が必要なら、二項検定（例：二項尤度比・Fisherの正確検定）やベイズ推定（ベータ・二項）に切り替えます⁸ ¹⁰。なお、配信量の偏りや重複エンティティを防ぐため、ランダム化はユーザーIDやハウスホールドIDの粒度で行うのが望ましいです。IDが欠損する面ではセッションハッシュにフォールバックします³。

ベイズのBeta-Binomialで意思決定を加速する

コンバージョン率のような二項確率はベータ事前分布と相性が良く、観測x成功、n試行の後の事後は Beta(α+x, β+n−x) になります。最尤推定の単純な比率比較では途中停止の扱いが難しいのに対し、ベイズなら**「BがAより良い確率」**を直接評価して意思決定できます⁸。

import numpy as np
from scipy.stats import beta

# 観測データ（例）
a_x, a_n = 920, 30000
b_x, b_n = 1100, 30050

# 非情報的事前分布
alpha0, beta0 = 1, 1

# 事後分布
posterior_a = (alpha0 + a_x, beta0 + a_n - a_x)
posterior_b = (alpha0 + b_x, beta0 + b_n - b_x)

# B > A の確率をモンテカルロで推定
rng = np.random.default_rng(42)
samples = 200_000
pa = rng.beta(*posterior_a, size=samples)
pb = rng.beta(*posterior_b, size=samples)
p_b_better = float(np.mean(pb > pa))

# 期待リフトの事後分布
lift = (pb - pa) / pa
lift_median = float(np.median(lift))
lift_ci = (float(np.quantile(lift, 0.025)), float(np.quantile(lift, 0.975)))
print({"p_b_better": p_b_better, "lift_median": lift_median, "lift_95ci": lift_ci})

例えば「BがAより良い確率が0.95以上」を採用基準とし、閾値に達した時点でロールアウトに進むと、固定期間を待たずに機会損失を減らせます。多腕バンディットによる配信最適化を組み合わせる場合も、最終判定のための純粋なA/B期間を設けると因果推定の頑健性が高まります¹¹。

成功事例と学び：パターンで理解する

公開研究と再現シミュレーションが示すのは、メッセージと視覚構造の一貫性が成果を左右するというシンプルな事実です。たとえば、成果の定義を「製品機能」から「業務成果」へ移し、第一フレームで課題と解決を同時提示する構図に変えたバリエーションは、コンバージョン率の二桁%改善が生じることもあり、獲得単価の低下につながりやすいという傾向が報告されています。ただし効果の大きさは業種・オーディエンス・媒体に左右され、常に再現できるわけではありません。

一つ目のパターンは、B2Bのリード獲得で「機能列挙」をやめて「単一の成果」を中心に据えたケースです。具体的には、見出しをタスク時間の短縮に言い換え、ビジュアルを製品UIの全景から、成果の前後比較を示す2コマ構成に変更します。ベイズ評価（優越確率とリフト分布）でプラス傾向が確認できる場合、次の探索では同じ構図のまま第一フレームのコントラストやカラーパレットを変える微調整に絞ると、探索効率が高まります。

二つ目のパターンは、静止画から短尺モーションへの移行です。第一秒で課題を提示し、第二秒で解決の瞬間を見せ、第三秒でCTAを止めるというテンポの最適化により、ビュー完了率だけでなく、購入コンバージョン率の上振れが観察されることがあります。このタイプはプラットフォームの学習とも相性がよく、学習フェーズの安定化が速まる傾向を見せます。もっとも、制作コストが増えるため、MDEと獲得単価のバランスを事前に合意し、効果の下限が投資回収線を上回ることを確認するファイナンス連携が重要になります。

三つ目はUGC風の証言型です。過度な演出を控え、プロダクトの使い方を端的に映し、字幕で主要ベネフィットを補足する構図は、信頼と納得の獲得に寄与しやすい設計です。ただし、証言者の違いがノイズ源になるため、複数のクリエイターを束ねたマルチアーム実験を行い、FDR制御で偽陽性率を抑えながら、汎用的に通用するパターンを抽出するのが健全です⁵。発見された勝ち筋は、媒体外の一貫性で総合的なコンバージョン率を底上げします。

CUPEDで分散を下げ、検出力を上げる

プレ期間の行動を共変量として用いるCUPEDは、広告のような高分散データに有効です⁴。Pythonでの簡易実装例を示します。

import numpy as np
import pandas as pd

# dfはuser_id, variant, pre_conv(過去のコンバージョン指標), conv(期間中の0/1)
# 共変量調整: conv_adj = conv - theta * (pre_conv - pre_mean)

def cuped_adjust(df: pd.DataFrame) -> pd.DataFrame:
    pre = df["pre_conv"].to_numpy()
    y = df["conv"].to_numpy()
    pre_mean = pre.mean()
    cov = np.cov(pre, y, bias=True)[0, 1]
    var = np.var(pre)
    theta = 0.0 if var == 0 else cov / var
    y_adj = y - theta * (pre - pre_mean)
    out = df.copy()
    out["conv_adj"] = y_adj
    return out

# エラーハンドリングと適用
try:
    df = cuped_adjust(df)
except Exception as e:
    raise RuntimeError("CUPED調整に失敗しました") from e

調整後の指標でA/B差を推定すると、必要サンプルサイズを数十%単位で圧縮できる場合があります⁴。事前にプレ期間の相関係数を確認し、相関が弱い場合はCUPEDの効果が限定的であることも織り込みます。

クリエイティブのバケット割当て（クライアント側）

媒体の実験枠を使わず、ハウスIDやセッションで独自のクリエイティブ割当てを行う場合は、シードとハッシュで決定論的にバケットを決めます。JavaScriptでの簡易例を示します。

// ブラウザでの決定論的バケット割当て
function hash32(str) {
  let h = 2166136261;
  for (let i = 0; i < str.length; i++) {
    h ^= str.charCodeAt(i);
    h += (h << 1) + (h << 4) + (h << 7) + (h << 8) + (h << 24);
  }
  return h >>> 0;
}

function assignVariant(userId, experimentKey) {
  const seed = `${experimentKey}:${userId}`;
  const h = hash32(seed);
  return h % 2 === 0 ? 'A' : 'B';
}

// 例: const variant = assignVariant(householdId, 'creative_2025q3_v1');

割当ての結果は必ずイベントとして送信し、プラットフォーム内の配信ログと結合できるようにしておきます。独自割当てを併用する場合でも、運用パターンに沿って、判定とロールアウトの責任分離を徹底します。

データパイプラインと運用：再現性を高める

実験の価値は再現性にあります。媒体APIやデータ基盤をまたぎながら、同一のKPIと同一の変換ロジックで結果を再計算できる状態が、テストから学習へと昇格させます³。GA4、広告媒体、バックエンドの転記を日次で取り込み、ユーザー・セッション・注文のキーで重複排除し、実験キーとバリアントを正規化します。メタデータとして仮説、事前登録したMDE、停止基準、分析スクリプトのコミットハッシュを保存し、レビューで逸脱を検知できるようにします。可観測性として、配信量の急減、CPMの急騰、タグの欠落などの健全性ダッシュボードを用意しておくと、誤検出を減らせます。

媒体からのレポート取得には公式SDKを使い、失敗時のリトライとレート制限への配慮を組み込みます。Google Ads APIを例に、日次のパフォーマンスレポートを取得するPythonコードを示します¹²。

import os
from google.ads.googleads.client import GoogleAdsClient
from google.api_core.exceptions import GoogleAPIError

# 認証情報は環境変数とgoogle-ads.yamlを使用
client = GoogleAdsClient.load_from_storage()
customer_id = os.environ.get("GOOGLE_ADS_CUSTOMER_ID")

query = """
SELECT
  segments.date,
  ad_group_ad.ad.id,
  metrics.impressions,
  metrics.clicks,
  metrics.conversions,
  metrics.cost_micros
FROM ad_group_ad
WHERE segments.date DURING LAST_7_DAYS
"""

try:
    ga_service = client.get_service("GoogleAdsService")
    response = ga_service.search(customer_id=customer_id, query=query)
    for row in response:
        # ここでストレージに保存、あるいはBQにストリーミング
        pass
except GoogleAPIError as e:
    # 再試行やバックオフをここで実装
    raise

取得した媒体指標は、そのままのコンバージョン定義では比較できないことが多いため、バックエンドの「真実のイベント」にマッピングし直してから、実験キーで集計します。さらに、プライバシーサンドボックス環境では到達可能な粒度が変わるため、アトリビューションウィンドウの短縮やモデル化の許容をガバナンスとして明文化しておくと、後続の意思決定が早まります¹³。

最後に、意思決定のための出力です。ベイズ基準を採用するなら、優越確率、期待リフト、保守的な下限値（例えば事後2.5パーセンタイル）をボードマテリアルに揃えます⁸。頻度主義なら、差の推定量、95%信頼区間、p値に加え、最初に合意したMDEを併記し、**「統計的有意だが実務的に無意味」**な結果を排除します¹⁰。運用に踏み出す前に、SQLでの再計算とPythonでのベイズ確認の両輪でクロスチェックすると、判定の頑健性が高まります。

補足：二段階の意思決定をコードで固定する

探索段階はベイズで素早く当たりを見つけ、確証段階は固定期間のA/Bで厳密に検証する二段階運用は、広告のように外乱の大きい領域で有効です³。以下は、探索段階の判定関数の例です。

from dataclasses import dataclass
from typing import Tuple
import numpy as np

@dataclass
class Binom:
    x: int
    n: int

@dataclass
class Decision:
    p_b_better: float
    lift_ci: Tuple[float, float]
    go: bool

def decide(a: Binom, b: Binom, threshold: float = 0.95, samples: int = 100_000) -> Decision:
    import numpy as np
    rng = np.random.default_rng(123)
    pa = rng.beta(1 + a.x, 1 + a.n - a.x, samples)
    pb = rng.beta(1 + b.x, 1 + b.n - b.x, samples)
    p_b_better = float(np.mean(pb > pa))
    lift = (pb - pa) / pa
    lo, hi = float(np.quantile(lift, 0.025)), float(np.quantile(lift, 0.975))
    go = (p_b_better >= threshold) and (lo > 0)
    return Decision(p_b_better, (lo, hi), go)

この関数の判定結果と、確証段階の固定期間テストの結果を対で保存しておくと、チーム内に「どの基準がどの程度保守的か」という経験知が蓄積し、次の投資判断が速くなります。

まとめ：小さく始めて、速く学ぶ

広告クリエイティブのA/Bテストは、正しい設計と運用により、継続的なコンバージョン率の改善と獲得単価の最適化に直結します。MDEと検出力を最初に固定し、分散削減でスピードを上げ、ベイズ基準で探索を素早く回しつつ、確証段階で厳密に固める流れを確立すれば、思いつきの試行錯誤から卒業できます。制作の自由度は高い一方で、測定は厳しく、再現性こそが資産になります。

次の1本のテストから、組織の学習が始まります。 まずは現在の勝ち筋を仮説として言語化し、必要サンプルと停止基準をドキュメント化し、計測の一貫性を担保するパイプラインを整えてください。そして本稿のコードをプロジェクトに組み込み、最初の1週間で探索の当たりを掴みにいきましょう。

参考文献

  1. MarketingCharts. Creative Quality Has Biggest Impact on Ad Effectiveness, but Media’s Influence is Growing (2017). https://www.marketingcharts.com/advertising-trends-80662
  2. NCSolutions. The Right Five Keys to Unlock Advertising Effectiveness (2023). https://info.ncsolutions.com/blog/the-right-five-keys-to-unlock-advertising-effectiveness
  3. Kohavi, R., Tang, D., Xu, Y., and Chen, T. Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Addison-Wesley, 2020.
  4. Deng, A., Xu, Y., Kohavi, R., and Walker, T. Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data (CUPED). 2013. https://www.researchgate.net/publication/237838291_Improving_the_Sensitivity_of_Online_Controlled_Experiments_by_Utilizing_Pre-Experiment_Data
  5. Benjamini, Y., and Hochberg, Y. Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing. Journal of the Royal Statistical Society: Series B, 57(1), 289–300, 1995.
  6. Statsmodels Documentation. NormalIndPower and proportion_effectsize. https://www.statsmodels.org/stable/stats.html
  7. Kruschke, J. K. Doing Bayesian Data Analysis, 2nd ed. Academic Press, 2015.
  8. Cohen, J. Statistical Power Analysis for the Behavioral Sciences, 2nd ed. Lawrence Erlbaum Associates, 1988.
  9. Agresti, A. Categorical Data Analysis, 2nd ed. Wiley, 2002.
  10. Li, L., Chu, W., Langford, J., and Schapire, R. E. A Contextual-Bandit Approach to Personalized News Article Recommendation. WWW 2010. https://dl.acm.org/doi/10.1145/1772690.1772758
  11. Google Ads API Documentation. https://developers.google.com/google-ads/api/docs/start
  12. Google Developers. Privacy Sandbox: Measurement. https://developers.google.com/privacy-sandbox/measurement