传统软件测试擅长验证确定性关系：给定输入，页面或接口应返回预期结果。生成式 AI 则可能对同一问题给出不同措辞，甚至不同结论；智能体还会调用工具、修改数据或触发外部动作。旧测试没有失效，但仅靠“通过/失败”的固定用例，已不足以说明整个系统可靠。
质量岗位因此不是简单地从人工测试切换到某个 AI 工具，而是要扩大测试对象：从功能行为扩展到模型输出、人机协作、权限控制和生产运行。
先保留确定性软件的质量底座
登录、权限、账务规则、接口契约和数据迁移仍然是确定性软件问题。核心链路应按业务风险分层，稳定路径交给自动化回归，并接入持续集成与发布门禁。覆盖率可以帮助发现空白，却不等于风险已经得到控制；一个不重要页面的百条用例，不能抵消关键交易链路缺少一条验证。
质量工程师的第一步，仍是回答“什么坏了最致命”，再决定自动化投入，而不是先追求脚本数量。
为 AI 输出建立任务级评测
AI 功能需要把抽象的“效果好”拆成场景化标准。例如客服摘要可以分别测事实一致性、关键信息覆盖、格式合规与有害内容；检索问答还要测引用是否支持结论；高风险建议则需要领域专家复核。
一套可持续的评测流程通常包括：
- 明确目标、使用环境和不可接受的失败。
- 收集能代表生产分布的数据，并加入边界案例、对抗案例和历史事故。
- 为不同风险选择确定性断言、规则评分、模型评分或人工评分。
- 用人工判断定期校准自动评分，记录评分者分歧。
- 在模型、提示词、检索库或工具变化时自动回归。
- 监控生产反馈，将新失败补入数据集。
NIST 将这类工作称为测试、评估、验证与确认（TEVV），并要求记录测试集、指标、工具和接近部署环境的表现。OpenAI 的官方指南也明确反对只靠“感觉不错”的评测，建议使用任务相关数据、持续评测，并以人工反馈校准自动指标。
智能体还要测试“能做什么”
对会调用工具的智能体，回答质量只是风险的一部分。测试还应覆盖：
- 最小权限是否成立，越权调用能否被拒绝；
- 外部内容能否通过提示注入改变既定目标；
- 高影响动作是否要求明确的人类确认；
- 重复执行、超时和部分失败能否安全恢复；
- 每一步输入、决策、工具参数和结果能否审计；
- 凭证、隐私数据和系统提示是否可能泄露。
OWASP 的 Agentic AI 威胁与缓解指南采用威胁建模方式梳理这类新风险。它不能替代团队自己的业务分析，但提醒测试范围必须越过聊天界面，覆盖智能体的规划、记忆、工具与行动链。
质量指标需要成对出现
缺陷数容易统计，却可能奖励拆单；自动化用例数容易增长，却不保证关键风险被拦截。更稳妥的做法是配对观察：发布速度与线上逃逸缺陷、自动处理率与人工返工率、评测通过率与真实投诉、模型效果与时延及成本。
质量团队的交付物也会随之变化：除了测试报告，还包括风险清单、版本化评测集、评分规则、发布门禁、生产监控和事故回放。它们共同构成可以积累的质量资产。
AI 能辅助生成用例、脚本和故障假设，但“接受什么风险、用什么证据放行、出事后如何追溯”仍需要明确责任人。质量工程的升级，正是把这些判断做成团队可以重复执行的系统。
参考资料与延伸阅读
- NIST：AI Risk Management Framework Core
- NIST：Generative AI Profile
- OpenAI：Evaluation best practices
- OWASP：Agentic AI — Threats and Mitigations
资料核验日期：2026-08-23。