Prompt Engineering：从一句提示词到可维护系统

┌─────────────────────────────────────────────────────┐
│  L5 验证层：评测集、回归指标、人工审查流程              │
├─────────────────────────────────────────────────────┤
│  L4 输出契约层：字段定义、格式、长度、错误状态          │
├─────────────────────────────────────────────────────┤
│  L3 约束层：禁止行为、兜底策略、安全边界               │
├─────────────────────────────────────────────────────┤
│  L2 上下文层：输入数据、用户意图、检索结果              │
├─────────────────────────────────────────────────────┤
│  L1 目标层：任务定义、角色设定、核心指令               │
└─────────────────────────────────────────────────────┘

请根据以下客服对话生成摘要：
{conversation}

你是一个客服摘要助手。请根据对话生成客观摘要。
 
规则：
- 只记录事实，不做情绪判断
- 使用中文
- 不超过 200 字
 
对话内容：
{conversation}

# prompt/customer_summary.yaml
id: customer_summary
version: 3.1.0
model: claude-sonnet-4-20250514
temperature: 0.2
 
system: |
  你是客服对话摘要引擎。任务是将对话转为结构化记录。
 
  ## 输出契约
  严格按以下 JSON Schema 输出：
  {
    "summary": "string, 客观事实摘要, ≤200字",
    "refund": {
      "amount": "number | null, 退款金额（元）",
      "reason": "string | null, 退款原因"
    },
    "sentiment": "neutral | negative | positive, 仅标注对话整体走向",
    "action_items": ["string, 后续待办"]
  }
 
  ## 约束
  - 禁止使用「愤怒」「激动」等情绪形容词
  - 退款信息仅在对话中明确提及时填写
  - 若信息不足，对应字段填 null，不要推测
 
examples:
  - input: "用户：我买的手机屏幕碎了..."
    output:
      summary: "用户反映手机屏幕碎裂，要求维修..."
      refund: null
      sentiment: negative
      action_items: ["转接维修部门"]
 
eval_set: prompts/evals/customer_summary_v3.json

# ❌ 之前的做法：硬编码在业务逻辑里
def generate_content(topic: str, locale: str) -> str:
    if locale == "zh-CN":
        prompt = f"请写一篇关于{topic}的文章，要求专业但易懂"
    elif locale == "en-US":
        prompt = f"Write a professional article about {topic}"
    elif locale == "ja-JP":
        prompt = f"{topic}についてプロフェッショナルな記事を書いてください"
    return llm.call(prompt)

# ✅ 之后的做法：提示词作为可管理资源
# prompts/content_gen/zh-CN.yaml
id: content_generation
locale: zh-CN
version: 2.3.0
variables:
  topic: { type: string, required: true }
  tone: { type: enum, values: [professional, casual, technical], default: professional }
  max_length: { type: integer, default: 2000 }
 
system: |
  你是一位中文技术内容创作者。
 
  ## 风格要求
  - 专业术语保留英文原文，首次出现时附中文注释
  - 段落不超过 4 行，保持阅读节奏
  - 禁止使用「赋能」「抓手」等空洞词汇
 
  ## 输出结构
  1. 标题（≤20 字）
  2. 导语（≤100 字，点明读者收益）
  3. 正文（按逻辑分节，每节 300-500 字）
  4. 关键要点（3-5 条）
 
template: |
  主题：{{ topic }}
  语气：{{ tone }}
  字数上限：{{ max_length }}
 
eval_set: prompts/evals/content_gen_zh.json
quality_gates:
  - check: length_within_bound
  - check: no_banned_words
    words: ["赋能", "抓手", "打通"]
  - check: has_required_sections

# prompts/content_gen/en-US.yaml — 独立版本，独立演进
id: content_generation
locale: en-US
version: 2.1.0
variables:
  topic: { type: string, required: true }
  tone: { type: enum, values: [professional, casual, technical], default: professional }
  max_length: { type: integer, default: 2000 }
 
system: |
  You are a technical content writer for an engineering blog.
 
  ## Style Requirements
  - Use active voice
  - One idea per paragraph, max 3 sentences
  - Include code examples where relevant
 
  ## Output Structure
  1. Title (≤60 chars)
  2. Lead paragraph (≤80 words, state reader benefit)
  3. Body (H2 sections, 200-400 words each)
  4. Key takeaways (3-5 bullets)
 
template: |
  Topic: {{ topic }}
  Tone: {{ tone }}
  Max words: {{ max_length }}
 
eval_set: prompts/evals/content_gen_en.json

需求分析阶段
  ├── 明确任务目标和成功指标
  ├── 梳理输入数据来源和可信度
  └── 确定输出契约和错误处理策略
 
草稿编写阶段
  ├── 按五层模型组织提示词结构
  ├── 编写 3-5 个正例 + 2-3 个反例
  └── 定义变量 schema 和默认值
 
本地评测阶段
  ├── 在评测集上跑回归测试
  ├── 检查输出格式是否符合契约
  └── 对比上一版本的成功率变化
 
Code Review 阶段
  ├── 审查提示词逻辑和约束完整性
  ├── 确认不影响其他提示词的共享部分
  └── 检查 token 用量和成本影响
 
金丝雀发布阶段
  ├── 10% 流量使用新版本
  ├── 监控关键指标（延迟、格式错误率、用户反馈）
  └── 48 小时无异常后扩到 50%
 
全量发布 + 持续监控
  ├── 记录版本变更日志
  ├── 定期刷新评测集
  └── 模型版本升级时重新跑回归

# ❌ 所有要求混在一起
你是一个专业的客服助手，要礼貌、专业，不能泄露用户隐私，
回答要简洁不超过200字，如果不确定就说不知道，
不要编造信息，使用中文回答，遇到投诉要安抚用户情绪，
同时记录投诉内容并转接主管。
 
# ✅ 分层结构化
# 角色
你是客服对话助手，负责处理用户咨询和投诉。
 
# 输出契约
- 语言：中文
- 长度：≤200 字
- 格式：纯文本，段落间空行分隔
 
# 行为约束
- 禁止泄露用户个人信息（手机号、地址、订单号）
- 不确定的信息明确说「我不确定」，不推测
- 遇到投诉：先共情 → 记录要点 → 提供转接选项
 
# 兜底策略
- 超出能力范围的问题 → 引导转人工
- 系统异常 → 回复「请稍后重试」并记录错误

# ❌ 评测靠感觉
def test_prompt():
    result = llm.call(prompt, input="屏幕碎了怎么办")
    assert "维修" in result  # 只看关键词
    print("OK")
 
# ✅ 结构化评测
def test_customer_summary():
    eval_cases = load_eval_set("prompts/evals/customer_summary_v3.json")
    results = run_batch(prompt_version="3.1.0", cases=eval_cases)
 
    assert results.format_compliance >= 0.98  # JSON 格式合规率
    assert results.field_coverage >= 0.95    # 必填字段覆盖率
    assert results.factual_accuracy >= 0.90  # 事实准确率（LLM-as-judge）
    assert results.no_emotion_words == 1.0   # 不含情绪形容词
 
    # 与上一版本对比
    prev = load_baseline("3.0.0")
    assert results.compare(prev).no_regression()

# ❌ 版本管理缺失
# 不知道什么时候改的、为什么改、谁改的
# prompt = "生成摘要，要简短"
 
# ✅ 语义化版本 + 变更日志
# id: customer_summary
# version: 3.1.0
# changelog:
#   3.1.0 (2026-06-20): 增加 refund 字段，适配新退款流程
#   3.0.0 (2026-05-15): 重写输出契约，从自由文本改为 JSON
#   2.2.1 (2026-04-08): 修复情绪词泄露问题
#   2.2.0 (2026-03-20): 增加 action_items 字段