第 7 课 · Playground 实操技巧与三大落地范例

🎯 学完这一课，你将能够

• 掌握 Playground 点 Run 后的“四眼”读结果法，看穿模型是否纠结
• 掌握 State 保持中文、试卷换英文的双跑对照调试技巧
• 深度拆解并直接套用三大生产级落地范例：客服加急、内容初审与 Agent 下一步选路

Playground 调试心法：四眼读结果法

在 Playground 点击 Run 之后，不要仅仅扫一眼哪个选项排第一。想要出好试卷，必须按顺序看这四处：

1. 第一眼：看它挑了哪个键（Choice）

确认胜出的键名是否符合直觉预期。

1. 第二眼：看第二名和第一名相差多少（Probabilities）

如果第一名 52%，第二名 48%，这在模型语义里叫做严重纠结。此时千万不能作为高把握自动执行，优先检查这两个选项的描述是不是有重叠。

1. 第三眼：看置信度（Confidence）

低置信度（例如低于 0.70）时，即便第一名挑对了，也不应当在生产中直接放行。

1. 第四眼：看三道题目有没有互相打架（Consistency）

例如：is_urgent 给出了 0.1（极不紧急），但 frustration 打分却冲到了 3.0（极度愤怒）。如果题目打架，90% 的原因在于 State 太短、材料提供的信息量不足以支撑多维判断。

中英双跑对照调试法

遇到中文分类效果飘忽不定时，不要立刻断定模型不好用。推荐使用双跑对照法：

• 第一次跑：State 用真实中文材料，Questions 和 Criteria 也用中文；
• 第二次跑：State 依然保持原始中文，但把试卷里的 instructions 和 criteria 翻译成精准的英文。

对比两次跑出来的概率和选项：

• 如果英文试卷非常准确、中文试卷漂移，说明是中文题干词汇表述不够契合；
• 如果中英两套试卷都纠结，说明选项本身边界不清，存在重叠。

三个直接可套用的实战范例

范例一：智能客服工单分流与主管抄送

• 现场材料（State）：

*“已经第三天了，我的退款一直没到账，客服电话永远占线，你们要是再不处理我就直接向消费者协会投诉！”*

• 试卷设计：
• is_urgent (Noul)：是否表达催办或极度紧迫；
• department (Choice)：billing（对账退款）、technical（技术系统）、logistics（物流配货）；
• frustration (Score)：情绪愤怒指数（1-平静，2-不满，3-严重愤怒/投诉倾向）。
• 落地逻辑：
• department === 'billing' 且 is_urgent > 0.75 $

ightarrow$ 推进加急财务通道；

• frustration 达到顶格 3 档 $

ightarrow$ 无论分配给哪个部门，均自动抄送客服主管看板。

范例二：UGC 社区内容初审与风控

• 现场材料（State）：

发帖内容：“这个软件真是垃圾，策划脑子进水了吧，纯纯圈钱，赶紧倒闭！”

• 试卷设计：
• has_explicit_abuse (Noul)：是否包含严重违规辱骂或人身攻击词汇；
• action (Choice)：approve（直接放行）、manual_review（进人工复审）、reject（直接拦截屏蔽）；
• brand_risk (Score)：品牌公共舆情风险等级（1-低，2-中，3-高）。
• 落地逻辑：
• 只有当 has_explicit_abuse < 0.2 且 action === 'approve' 且 brand_risk < 1.5 时，才允许全自动发布；任何一项指标踩线，自动转入人工运营审核流。

范例三：AI Agent 在有限步骤中做下一步动作抉择

• 现场材料（State）：

当前任务：分析用户财报。已执行动作：已读取 PDF，但表格数据格式解析失败，报错代码 502。

• 试卷设计：
• has_sufficient_info (Noul)：当前已有材料是否足以支撑给出最终分析报告？
• next_action (Choice)：
• retry_with_stronger_model（升级更强大模型重新解析文档）
• fetch_raw_text（退回纯文本提取模式）
• ask_human（停下来向人类用户求助确认格式）
• abort_task（终止任务并报错）
• 出题铁律：Agent 的 Choice 选项必须全部是具体的动词操作，绝不能写成模糊的“思考一下”或“再试试”。

✍️ 动手练习

1. 挑选上述三个范例之一，在控制台 Playground 中配置并填入材料实测一次； 2. 将题干中的 criteria 翻译成英文再次运行，比对两套语言环境下的 confidence 数值差异； 3. 体验三道题协同判定在复杂业务场景中的强大分流能力。

📌 一句话带走

第一眼看键名，第二眼看差额，第三眼看把握，第四眼看打架。