AI 工程案例模板
要点
- AI 工程案例记录模型选型、Prompt 设计、评估指标、成本控制
- 重点是不确定性管理——AI 系统的输出不像传统系统那样确定
- 评估指标是核心——准确率、召回率、延迟、成本
- Prompt 迭代过程要记录——怎么从 v1 优化到 v3
1. 适用场景
AI 工程案例用于记录 AI 系统的设计、调优、上线过程。
典型场景：
- 引入 LLM 做文本分类/摘要/生成
- 构建 RAG 系统
- 设计 Agent 工作流
- 优化 Prompt 效果
- 控制 AI 调用成本
2. 模板结构
# [AI 工程标题]
## 背景
什么业务场景、为什么要用 AI、期望解决什么问题。
## 约束
- 准确率要求 > 90%
- 延迟要求 < 3 秒
- 成本预算：$100/月
- 数据量：每天 1000 条
## 方案选择
### 模型选型
选择了 GPT-4o-mini，而不是 GPT-4o 或开源模型。
理由：
- GPT-4o 准确率最高，但成本太高（$0.01/次）
- 开源模型成本低，但需要自己部署和维护
- GPT-4o-mini 成本适中（$0.001/次），准确率满足要求
### Prompt 设计
#### v1：简单指令
请对以下文本进行分类：[文本]
准确率：75%。问题：分类标准不清楚，经常分错。
#### v2：添加分类标准
请对以下文本进行分类，分类标准如下：
- 类别 A：...
- 类别 B：...
文本：[文本]
准确率：85%。改善：分类标准明确后，准确率提升。
#### v3：Few-shot 示例
示例 1： 文本：... 分类：A
示例 2： 文本：... 分类：B
请对以下文本进行分类：[文本]
准确率：92%。改善：添加示例后，模型理解更准确。
## 评估
### 评估数据集
- 准备 100 条标注数据作为测试集
- 覆盖各种边界情况
### 评估指标
| 指标 | v1 | v2 | v3 | 目标 |
|------|----|----|----|------|
| 准确率 | 75% | 85% | 92% | 90% |
| 召回率 | 70% | 80% | 88% | 85% |
| 延迟 | 1.5s | 1.5s | 1.5s | < 3s |
| 成本 | $0.01/次 | $0.01/次 | $0.01/次 | < $100/月 |
### 失败案例分析
分析 8 条分类错误的案例：
- 3 条是边界情况，文本本身模糊
- 3 条是 Prompt 没有覆盖的场景
- 2 条是模型错误
改进：在 Prompt 中添加边界情况的处理说明。
## 结果
上线后运行 1 个月：
- 日均处理 1000 条，准确率 91%
- 月成本 $30，在预算内
- 用户满意度 85%
## 复盘
- Prompt 迭代是必要的，v1 直接上线会翻车
- Few-shot 示例效果最好，但需要准备高质量示例
- 评估数据集要覆盖边界情况，不然上线后会遇到
- 成本控制要靠模型选型，不是靠限制调用次数
- 后续行动：建立 Prompt 版本管理，持续迭代
3. 写作要点
模型选型要有对比
不要写「选择了 GPT-4o-mini」。要写：
- 对比了哪些模型
- 每个模型的准确率、延迟、成本
- 为什么选这个（综合权衡）
Prompt 迭代过程要记录
Prompt 设计不是一次到位的。要写：
- v1 的版本和效果
- v2 改了什么、效果改善多少
- v3 改了什么、效果改善多少
这样其他人遇到类似问题时，可以参考迭代路径。
评估指标要全面
AI 系统不能只看准确率。要写：
- 准确率、召回率、F1
- 延迟（P50/P95/P99）
- 成本（每次调用、每月总成本）
- 用户满意度
失败案例要分析
不要只写「准确率 92%」。要写：
- 分析失败的 8%
- 是边界情况、Prompt 问题、还是模型错误
- 怎么改进
4. 常见误区
只写最终方案，不写迭代过程
「Prompt 设计如下」不是案例。要写：v1 效果差、v2 改了什么、v3 改了什么，迭代过程最有价值。
没有评估数据集
「测试了几次效果不错」不是评估。要有标注的测试集，覆盖边界情况。
忽略成本
AI 调用有成本。要写清楚：每次调用成本、每月总成本、是否在预算内。
只看准确率
准确率 95% 但延迟 10 秒，用户不会用。要综合评估准确率、延迟、成本。
总结
AI 工程案例的核心是模型选型、Prompt 迭代、评估指标。写清楚对比了哪些模型、Prompt 怎么从 v1 优化到 v3、评估数据集怎么准备、失败案例怎么分析。综合评估准确率、延迟、成本。