增长实验模板：先定义假设，再看指标

// 问题：所有用户走同一条简化路径，不区分场景
const onboardingSteps = ['team-name', 'main-dashboard']
 
function Onboarding() {
  return (
    <StepContainer>
      {onboardingSteps.map((step) => (
        <Step key={step} component={getComponent(step)} />
      ))}
    </StepContainer>
  )
}

// 根据用户类型动态组装引导路径
type UserSegment = 'individual' | 'team-lead' | 'data-rich'
 
function buildOnboardingPath(segment: UserSegment): Step[] {
  const common: Step[] = [
    { id: 'team-name', title: '设置你的工作空间', showProgress: true },
    { id: 'choose-template', title: '选一个起始模板', showProgress: true },
  ]
 
  const segmentSteps: Record<UserSegment, Step[]> = {
    individual: [
      // 个人用户不需要邀请成员，直接给空白模板
      { id: 'blank-template', title: '从空白开始或导入数据', showProgress: true },
    ],
    'team-lead': [
      { id: 'invite-members', title: '邀请你的团队成员', showProgress: true },
    ],
    'data-rich': [
      { id: 'import-data', title: '导入你现有的数据', showProgress: true },
    ],
  }
 
  return [...common, ...segmentSteps[segment]]
}

// 问题：Logo 墙没有针对性，用户找不到和自己相关的案例
function PricingSocialProof() {
  return (
    <div className="logo-wall">
      <h3>深受客户信赖</h3>
      {allCustomers.map((c) => (
        <img key={c.id} src={c.logo} alt={c.name} />
      ))}
    </div>
  )
}

// 根据当前用户画像展示同行业案例
type Industry = 'saas' | 'ecommerce' | 'fintech' | 'education'
 
interface TestimonialCard {
  companyName: string
  industry: Industry
  quote: string
  metric: string // 如「节省了 40% 的协作时间」
  avatarUrl: string
}
 
function PricingSocialProof({ userIndustry }: { userIndustry?: Industry }) {
  const sortedTestimonials = useMemo(() => {
    if (!userIndustry) return testimonials
    // 同行业评价排最前面
    return [...testimonials].sort((a, b) => {
      const aMatch = a.industry === userIndustry ? 0 : 1
      const bMatch = b.industry === userIndustry ? 0 : 1
      return aMatch - bMatch
    })
  }, [userIndustry])
 
  return (
    <div className="testimonial-grid">
      <h3>同行业团队的使用反馈</h3>
      {sortedTestimonials.slice(0, 3).map((t) => (
        <div key={t.companyName} className="testimonial-card">
          <p className="quote">「{t.quote}」</p>
          <p className="metric">{t.metric}</p>
          <div className="author">
            <img src={t.avatarUrl} alt="" />
            <span>{t.companyName}</span>
          </div>
        </div>
      ))}
    </div>
  )
}

// 问题：不管用户有没有回来，固定第 3 天发邮件
function scheduleActivationEmail(userId: string) {
  setTimeout(() => {
    const user = getUser(userId)
    if (user.onboardingStatus !== 'completed') {
      sendEmail(user.email, '你还没完成设置')
    }
  }, 3 * 24 * 60 * 60 * 1000) // 固定 3 天后
}

// 在用户回到产品的时刻，检查并提醒未完成事项
function onUserSessionStart(userId: string) {
  const user = getUser(userId)
 
  if (user.onboardingStatus !== 'completed') {
    // 应用内通知：用户已经在看产品了，此刻提醒最有效
    showInAppNotification({
      title: '继续完成设置',
      body: `你还有 ${user.remainingSteps} 步未完成`,
      actionUrl: `/onboarding/resume?step=${user.nextStep}`,
      priority: 'high',
    })
  }
 
  // 如果用户 7 天没回来，才用推送或邮件作为召回手段
  if (daysSinceLastActive(user) >= 7) {
    scheduleReminder(userId, {
      channel: user.preferredChannel, // 用户选择的偏好渠道
      context: 're-engagement',
    })
  }
}
 
function daysSinceLastActive(user: User): number {
  return Math.floor(
    (Date.now() - new Date(user.lastActiveAt).getTime()) / (1000 * 60 * 60 * 24)
  )
}

// 没有文档，全靠开会时说的
// 「我们试试改一下按钮颜色，看看转化率有没有变化」
// 两周后：
// - 谁说的改哪个按钮？
// - 看的是哪个转化率？
// - 样本量够不够？
// - 有没有影响其他指标？
// 没人记得清。

# 增长实验文档
experiment:
  name: 新用户引导流程分场景优化
  owner: 张三
  date_started: 2026-06-01
  date_ended: 2026-06-15
 
  hypothesis: |
    我们认为「首次注册的新用户」在「完成引导流程时」，
    如果「根据其使用场景动态调整引导步骤」，
    那么「7 日留存率」会「提升 8% 以上」，
    因为「用户不再被无关步骤打断体验」。
 
  metrics:
    primary: 7_day_retention
    guardrail:
      - onboarding_completion_rate  # 不能因为分场景而降低完成率
      - paid_conversion_rate         # 不能影响付费
      - support_ticket_count         # 不能增加客服压力
 
  design:
    sample_size: 2000  # 基于 MDE=5%, power=80%, alpha=0.05
    split: 50/50 by user_id
    duration: 14 days  # 覆盖两个完整周
 
  risk:
    worst_case: 留存下降超过 3%，立即回滚
    rollback_plan: Feature flag 关闭，全量恢复旧版引导
 
  result:
    decision: 继续（全量上线）
    findings: |
      7 日留存从 32% 提升到 36%（+12.5%, p < 0.01）
      付费转化率从 4.2% 提升到 4.8%（+14%, p < 0.05）
      客服工单无显著变化
    learnings: |
      分场景引导的关键不是减少步骤，
      而是让用户觉得每一步都跟自己有关。

# 问题：跑了 1 天就判断胜负
def check_experiment_result(experiment_id):
    data = get_experiment_data(experiment_id, days=1)
    if variant_a.conversion > variant_b.conversion:
        return "A 赢了，全量上线"
    return "B 赢了，全量上线"
 
# 1 天的数据可能有各种偏差：
# - 今天是不是工作日/周末？
# - 有没有大促活动影响？
# - 样本量够不够？

import math
from scipy import stats
 
def calculate_sample_size(baseline_rate, mde, power=0.80, alpha=0.05):
    """
    计算 A/B 测试每组所需的最小样本量
 
    baseline_rate: 当前基线转化率（如 0.32 表示 32%）
    mde: 最小可检测效应（如 0.05 表示 5 个百分点）
    power: 统计功效，通常 0.80
    alpha: 显著性水平，通常 0.05
    """
    p1 = baseline_rate
    p2 = baseline_rate + mde
 
    z_alpha = stats.norm.ppf(1 - alpha / 2)  # 1.96
    z_beta = stats.norm.ppf(power)             # 0.84
 
    numerator = (
        z_alpha * math.sqrt(2 * ((p1 + p2) / 2) * (1 - (p1 + p2) / 2))
        + z_beta * math.sqrt(p1 * (1 - p1) + p2 * (1 - p2))
    ) ** 2
    denominator = (p2 - p1) ** 2
 
    return math.ceil(numerator / denominator)
 
# 示例：基线 32%，想检测 5% 的提升
sample = calculate_sample_size(baseline_rate=0.32, mde=0.05)
# 结果：每组约需 1475 个样本
# 如果日活 2000，50/50 分组，大约需要 7-8 天

// 「实验结束，转化率提升 2%，全量上线。」
// 问题：
// - 2% 是统计显著的吗？
// - 有没有影响其他指标？
// - 下次遇到类似场景能参考什么？
// 这种复盘等于没做。

实验名称：新用户引导流程分场景优化
决策：继续（全量上线）
 
数据发现：
- 7 日留存：实验组 36% vs 对照组 32%（+12.5%, p=0.003）
- 付费转化率：实验组 4.8% vs 对照组 4.2%（+14%, p=0.041）
- 客服工单：无显著差异（p=0.72）
 
假设验证：
- 假设成立。分场景引导确实减少了无关步骤对用户体验的打断。
- 但效果来源不是「步骤减少」（实验组平均步骤数与对照组相同），
  而是「步骤相关性提升」。
 
学习：
- 「减少步骤」和「提升每步相关性」是两回事，
  前者容易做到但效果有限，后者更难但价值更高。
- 下一步可以测试：在每步引导中加入「为什么需要这一步」的解释文案。