自我进化 Agent 的工程基石：究竟是什么在持续改变

“Agent 会越用越强”可能描述三件完全不同的事：它记住了用户偏好，它把成功流程保存成技能，或者它真的通过训练更新了模型。把它们混成“自我进化”，会同时高估现有产品并低估工程风险。

更准确的问题是：系统的哪一层发生了持久变化，变化由什么信号驱动，谁验证它确实变好？自我进化 Agent 的研究综述也常沿着“演化什么、何时演化、如何演化”组织这个领域。

六个层次，不是一个开关

层次	持久变化	是否更新模型权重	当前状态
上下文适配	当前会话中的提示与工作集	否	广泛可用，但不等于长期学习
记忆	用户、项目、事件和历史事实	否	工程可用，质量治理仍困难
技能	可复用的流程与工具说明	否	工程可用，需要审批和测试
轨迹与案例	完整执行过程、失败和恢复路径	否	可用于检索、评估和训练数据
策略或模型	参数、策略或奖励模型	是	成本高，多处于受控训练环境
系统与架构	Agent 代码、工具、提示或计算图	不一定	研究活跃，依赖强评估与沙箱

短期最实用的“进化”主要发生在模型外部：记忆、技能和轨迹改变了下一次调用时的上下文与动作选择。模型本身没有因此自动学会新能力。

运行时学习：把经验变成外部资产

Nous Research 的 Hermes Agent 提供了一个直接样本。官方文档将短小、稳定的事实放入记忆，把较长的操作流程保存为按需加载的技能，并允许 Agent 通过 skill_manage 创建或更新技能。会话搜索则让过去轨迹可以再次被找到。

OpenClaw 代表另一类常驻 Agent runtime：它管理工作区、会话存储、提示组装、工具和技能加载。两者都证明 Agent 可以在模型外部积累状态，但项目自称“self-improving”不等于有独立证据证明任务表现会随使用单调上升。

一个可解释的闭环是：

执行任务并保留轨迹；
从结果和用户纠正中提取候选事实或流程；
写入记忆或提交技能变更；
后续任务按需检索；
用可执行结果判断复用是否有帮助。

其中第 2、3 步最危险。错误经验一旦被晋升为长期资产，可能比一次错误回答影响更久。

记忆、技能和轨迹必须分开治理

记忆回答“知道什么”，例如项目使用哪个包管理器；技能回答“怎么做”，例如发布前检查顺序；轨迹记录“那一次具体发生了什么”。三者的保留周期、权限和检索方式不同。

可靠系统至少需要来源、创建者、适用范围、时间、版本和撤销机制。记忆应支持更正与删除；技能应经过静态检查、沙箱测试和人工批准；原始轨迹可能含密钥或个人数据，需要脱敏和访问控制。

从使用反馈到训练信号

OpenClaw-RL 等研究尝试从自然交互后的“下一状态”提取评价或指导信号，例如用户纠正、测试结果、工具错误和界面变化。AgentEvolver 进一步研究自生成任务、利用经验导航探索和对轨迹动作做贡献归因。

这些工作说明真实交互可以成为训练材料，但最大的困难仍是信用分配：二十步任务失败，不表示每一步都错；用户沉默也不等于满意。未经清洗的在线反馈容易把偶然相关、讨好行为或奖励漏洞写进策略。

因此生产团队通常应先建设轨迹存储、结果评估、离线回放和人工标注，再考虑在线强化学习。训练级更新比写一条记忆更难回滚，也更难解释。

可验证环境为何关键

Google DeepMind 的 AlphaEvolve 把大模型提出的程序放进自动评估器执行和打分，再由进化框架选择有前景的候选继续改进。它的能力来自“生成—验证—保留—变异”循环，而不是模型凭直觉宣布自己进步了。

这个结构也揭示了边界：候选必须能表示为程序，质量必须能自动、稳定地衡量。数学、算法和基础设施优化更容易满足条件；品牌判断、伦理权衡和开放式产品决策没有同样可靠的评估器。

STOP 研究让语言模型改进调用自身的脚手架，但模型权重不变；GPTSwarm 把多 Agent 系统建模为可优化图；Darwin Gödel Machine 让编码 Agent 修改自身代码，再通过 benchmark 经验验证变化。这些是“系统层演化”的研究样本，不应外推为无人监督的生产自修改已经成熟。

安全：经验本身也是供应链

常驻 Agent 会读取网页、邮件、文档和工具输出。恶意指令如果被总结进记忆或技能，可能在之后的任务中再次触发。系统越能持久学习，攻击影响的时间越长。

最低防线包括：所有经验标记来源；外部内容与系统指令隔离；候选技能进入隔离区而非直接激活；高权限动作要求批准；记忆和技能保留版本历史；每次晋升都有评测、审计和回滚。自修改能力不能获得修改自身安全边界的权限。

判断系统是否真的在进化

不要看它保存了多少记忆或技能，而要看固定任务集上的未来表现：成功率是否提升，重复错误是否下降，新错误是否增加，人工接管和成本如何变化，能力是否能迁移到未见任务。还要设置不学习或只检索原始轨迹的对照组，才能分辨收益来自新经验还是基础模型本身。

短期内，最可信的路线不是“让 Agent 自由改自己”，而是把经验变成可读、可测试、可撤销的资产，并用外部评估决定哪些变化能够保留。

参考资料与延伸阅读

资料核验日期：2026-08-23。本文将运行时经验积累视为“外部状态演化”，这是研究性分类，不表示相关项目已经证明会持续、自动且安全地提升。

#自我进化 #Agent #记忆 #强化学习