随笔
AI 越用越乱?我用一次“养虾式改造”把它养回稳定
从一次 AI session 被工具输出淹没的事故出发,解释为什么 AI 需要被当作复杂系统来治理。
这是「养 AI 记」的第 1 篇。先不急着讲怎么搭,先把一个更前面的问题说清楚:AI 为什么会越用越乱。
很多人用 AI 的轨迹都差不多:
刚开始挺惊艳,用着用着就开始乱。
不是偶尔答错一两次那种乱,是真开始不对劲了:
上下文会串,任务会飘,边界会松,明明工具越来越多,最后人反而更累。
这事我一开始也没太当回事。后来折腾久了才发现,很多时候不是你不会用,也不是模型不够强,而是它已经开始长歪了。你不给边界,它就会到处长;你什么都往里塞,它迟早会变浑。
我最近花了不少时间在收拾这套 AI 系统。工具、角色、分工这些东西当然重要,但比起“怎么搭”,我后来更在意的是:一个已经开始养坏的 AI,到底还能不能被慢慢救回来。
真正的乱,不是答错,而是结构塌了
AI 越用越乱,很多时候不是模型问题,是结构开始塌了。
不同的任务混在一起,长期上下文开始互相污染;
该只是陪你想的,顺手就开始动执行层;
任务一拉长,讨论越来越散,最后没人负责收口。
表面上看,它还在答,还能干活。可一旦乱到这个程度,你就会发现,自己已经不是在用 AI 了,而是在替它兜底。
我后来碰到的就是这种局面。
同一个入口要服务不同的人,但不同的人需要独立的工作区、独立的上下文、独立的发展方向。与此同时,我又不想把高权限动作都直接压在个人助手身上,尤其是代码执行、脚本处理、文件修改这类事。一个助手如果既负责陪你协作,又顺手能动系统,短期看是方便,后面大概率会出事。
一个让我彻底醒过来的事故:find 把 session 直接淹死
真正让我意识到“不能再这么搞了”的,不是什么复杂开发任务,而是一次很普通的系统备份。
需求其实不难:备份一个目录,但先把里面大量 cache 类数据排除掉,只留下真正有用的内容。为了省事,我让同一个助手一边想排除策略,一边直接跑 find 去扫目录。
然后很快就乱了。
find 吐出海量 cache 文件路径,成片往对话里灌。几百行、几千行,全是低信息密度的路径噪音。真正重要的东西——备份目标、排除规则、保留清单、失败时怎么回滚——反而被挤到后面。
更烦的是,这种洪水式输出叠加系统的记忆机制,会把一次性的噪音变成持续性的负担。这个 session 不是“这轮不太好用”,而是已经开始坏了:前面确认过的东西开始忘,问过的问题又问一遍,做过的事又重来一遍。
再往后,就不是“变笨一点”这么简单了。对话框另一头会开始不正常响应,最后甚至直接报输入长度相关错误。那次我碰到的就是这种情况——不是体感变差,而是这个 session 被一路拖到基本不可用了,只能另开新的。

这不是“感觉它越来越笨了”,而是输入长度已经被一路拖高,服务开始直接报错。到这一步,当前 session 基本就救不回来了。
如果再回头看后台报错,会更直白:Range of input length should be [1, 196601]。已经不是答得好不好的问题,而是输入本身被你喂爆了。

那次之后我才真正反应过来:很多人说的“AI 越用越不靠谱”,不是模型退化,而是你把工具输出当成对话内容喂回去了。
上下文不是无限的。你一直拿噪音去灌,它迟早会坏。
我后来下的几刀,其实都不花哨
第一刀,是把“入口”和“身份”拆开。
入口只是入口,身份得按服务对象来定。谁服务谁,谁记谁的上下文,这事不先理清,后面迟早会串。
第二刀,是把“交流”和“执行”分开。
贴身助手就老老实实负责理解需求、对齐目标、组织任务;执行交给独立的 worker 和独立环境。它们可以协作,但别混成一个角色。一个负责陪你,一个负责动手,这个边界不立住,后面多半要出事。
第三刀,是给长任务加刹车。
讨论不是目的,收口才是。任务一长,就得有里程碑;出现分歧,就把选项摊开;实在收不住,就先停,别让它继续在对话里空转。
第四刀,是把“看起来完成”改成“可复现交付”。
输出格式固定,目录边界固定,失败怎么处理也固定。系统得能恢复、能排障、能接着跑,而不是每次都指望运气好。
那次之后,我对这件事的处理方式基本就定下来了:
工具当然可以跑,但回到主对话里的,尽量只留“结论 + 证据索引 + 下一步动作”。原始输出不是绝对不能回,但不能再像之前那样直接往里灌。
AI 不是用出来的,是养出来的
回头看,这次折腾真正有价值的地方,不是多了几个 agent,也不是系统看起来更能干了,而是终于把几件事理顺了:
谁该和人交流,
谁该负责执行,
谁必须被隔离,
什么东西可以进上下文,什么东西绝对不能进。
AI 助手真正开始成熟,不是因为它突然什么都会了,而是每件事终于回到了合适的角色身上。
很多时候,问题不在工具太少,而在你喂得太杂、放得太宽、养得太急。
水质坏了,再好的虾也养不住。AI 也一样。
放在「养 AI 记」里看,这篇其实是在往前追一个更早的问题:AI 为什么会开始变乱。再往下拆,会发现很多后面的毛病,其实都是边界没先立住。