Use when designing experiments…

# Shopify邮件营销A/B测试方案：满200减40 vs 全场85折

一、测试目标与假设

• 核心指标（主指标）：邮件带来的转化率（下单人数/送达人数）
• 次要指标：打开率、点击率、客单价、退货率（满减可能诱发凑单退货）
• 原假设H0：两种文案的转化率无差异
• 备择假设H1：两种文案的转化率存在显著差异

二、样本量估算

• 基线转化率假设：先参考店铺历史邮件转化率（电商邮件行业常见区间为1%–5%，建议用自有数据代入）
• 计算逻辑：使用样本量公式或工具（Evan Miller's Sample Size Calculator、优测、ABTestGuide）
• 参数设定建议：
• 显著性水平 α = 0.05（双尾）
• 统计功效 1-β = 0.80
• 最小可检测差异（MDE）：建议设为基线转化率的15%–20%（例如基线2%，检测到2.3%以上提升）
• 结论：按上述参数，每组通常需数千至1万+样本。若每组5000封不够检出小差异，可采用以下两种方式：
• 接受检测较大的效应（提高MDE）
• 或延长测试周期、扩大发送量

三、分组与发送方案

• 随机分组：用Shopify Email/Klaviyo的A/B功能，随机均分为2组，各5000人，剩余客户不发送（作为控制组可选）
• 分组前提：两组在会员等级、历史消费、活跃度上分布均衡
• 发送时间：同一天同一时段发送，避免时间因素干扰
• 唯一变量原则：除优惠文案外，标题、设计、发送时间完全一致（建议邮件标题也保持中性，避免标题本身影响打开）

四、测试周期与显著性检验

• 周期：7天。注意点击/下单有长尾，建议第7天后等24小时再结算数据
• 不要中途偷看就下结论：如需中途监控，使用序贯检验或设定固定查看节点
• 检验方法：
• 转化率对比：双比例Z检验（或卡方检验），可用在线工具或Python的 statsmodels.proportions_ztest
• 打开率/点击率：同样用双比例Z检验
• 客单价对比：用t检验或Mann-Whitney U检验
• 判定标准：p < 0.05 且提升方向符合预期，才算显著

五、注意事项与后续动作

• 排除重复、退订、无效邮箱后再分组
• 检查两组的送达率是否接近，差异大需校正
• 7天后若不显著，不要直接宣布“无差异”，报告为“未检测到显著差异”，可提高样本再测
• 胜出版本后续可再跑一轮更大样本的验证测试，然后全量推广

核心公式（双比例Z检验）：

Z = (p1 − p2) / √[ p̂(1−p̂)(1/n1 + 1/n2) ]，其中p̂为合并转化率