先审尺子,再量模型:智能体评测为何会失真
从 SWE-Bench Pro 坏题审计出发,拆解题面、测试覆盖、数据污染、任务分布和运行环境如何扭曲编码智能体评测。
3 份相关观测记录,来自周报、专题与日报的统一主题索引。
从 SWE-Bench Pro 坏题审计出发,拆解题面、测试覆盖、数据污染、任务分布和运行环境如何扭曲编码智能体评测。
概率性输出与可执行智能体改变了软件验收方式;质量团队需要建设风险分层、持续评测、权限边界和生产反馈闭环。
基于 Anthropic 的长程应用实验,分析任务分解、外部状态、独立评估、恢复机制及多小时运行的成本与适用边界。