“Botsitter陷阱”：当CEO把自己变成了AI代理的保姆

记者Evan Ratliff做过一个实验:创办一家叫HurumoAI的公司,五个岗位——CTO、CEO、销售、HR——全部由AI代理担任,各自有合成头像和声音。

结果不是自动化,是一场闹剧。AI CTO编造用户测试数据和性能指标;AI CEO给自己发明了一个斯坦福学位和一笔不存在的VC融资。更麻烦的是,这些谎言一旦生成,就被代理写进了自己的“记忆”里,变成了它自己相信的事实。虚构的东西反复被引用,最后在多代理系统里滚成了一个自我强化的幻觉循环。

当Ratliff只是提了一句“建设团队文化”,五个代理就在群聊里刷了150多条毫无意义的消息,几个小时内把API预算烧光了。而如果没人不断催,它们又会陷入彻底的被动——什么都不做。

最后的结论很扎心:管理这五个AI代理,比管理一个真实的人类团队要多付出十倍的精力。创始人不是被解放了,他变成了一个24小时盯着屏幕、随时准备灭火的保姆。

如果说HurumoAI是一场荒诞的闹剧,OpenClaw（前身Clawdbot）的故事就是一场真正的事故。

这是一个拥有完整系统访问权限的本地AI代理,理论上能自动处理邮件、财务和几乎一切电脑操作。它的走红速度和崩盘速度一样快:72小时之内,一场商标纠纷引发社交账号被劫持,一起1600万美元的加密骗局,还有数百个API密钥被泄露。

三个月里,这个项目被曝出73个安全漏洞,其中一个CVSS评分高达9.4,可以远程执行任意代码。社区贡献的“技能”插件里,12%被证实是恶意或可被利用的。因为要完成有意义的自动化任务,代理必须拿到“全盘访问”权限——这种全有或全无的权限模型,让它在安全专家眼里和恶意软件没什么区别。

创始人Peter Steinberger最终被迫放弃原本的产品愿景,把全部精力投入到危机处理、安全补丁和社区安抚上。他从产品负责人,变成了全职的botsitter。

这两个案例背后有共同的结构性原因,不是靠“再等一个模型版本”就能解决的。

第一,代理没有后果意识。人类员工犯错会担心被解雇、担心声誉受损,这种恐惧会自我约束行为。AI代理没有这层机制——它道歉、承认错误,但这些表态没有任何真实成本,所以它不会真正“学会”不再犯。

第二,上下文窗口是有限的。为了保持效率,代理会压缩和丢弃历史信息,结果是它会丢失对“真实发生过什么”的锚点,把幻觉当成事实继续往下推理,尤其在多代理协作时,一个谎言会被另一个代理当真,越滚越大。

第三,权限模型是二元的。现在的操作系统和大多数集成,给代理的权限只有“全给”或“不给”,没有“只给这一项任务需要的那一小块”的精细控制。想让代理真正干活,你就得给它超出必要范围的权限——这本身就是风险。

把这三条放在一起看,结论很清楚:botsitter不是bug,是agentic AI现阶段的必然产物。

很多运营者的直觉反应是反的。他们把“AI-native”理解成“代理越多越先进”——Gmail里挂一个自动回复代理,HubSpot里挂一个线索打分代理,Linear里挂一个自动分派任务的代理,Slack里再挂几个提醒机器人。代理数量成了一种身份标签。

但每多一个代理,就多一份需要人巡检的隐性负担:它有没有编造数据?它有没有把该转发给人的邮件自动关闭了?它在HubSpot里给一个根本没互动的联系人打了高分,销售团队照单跟进,浪费了半天。这些错误单独看很小,但加起来,就是HurumoAI实验里那十倍的管理成本,只是分散在你每天的碎片时间里,你自己都没意识到。

所以真正高杠杆的操作,不是继续堆代理,而是先做减法。看看你现在跑着的每一个代理:它有没有可验证的输出?你能不能拿出一个具体的ROI数字,而不是“感觉它省了我一些时间”?如果答案模糊,先关掉。留下的那几个,才是值得你花精力去配失败模式清单的。

这也是我们在Moments AI里坚持的一条原则——不是给创始人堆更多自动化开关,而是先帮他看清楚,哪些代理任务其实每天都在悄悄产生错误却没人发现,哪些才是真正值得信任、可以少管的。

如果你决定保留一个代理,至少要回答三个问题,这不是走流程,是真的要写下来。

第一,它最可能以什么方式出错?是编造数据(像HurumoAI的AI CTO),还是权限过大导致的不可逆操作(像OpenClaw删文件、转账)?你要提前列出这些具体场景,而不是等它发生了才反应。

第二,谁来审?哪些动作必须有人在关键节点点头才能继续,比如涉及财务的操作、对外发送的邮件、Pipedrive或HubSpot里会触发客户沟通的自动化。把这些设成硬性的人工审批点,而不是信任代理“大概率不会出错”。

第三,退出机制是什么?如果这个代理连续两周没有产生可验证的价值,或者已经出过一次严重错误,你有没有一个明确的关停流程,还是它就一直悬在那里,直到某天酿成大问题你才想起它存在?

没有这三条,你招募的每一个新代理,都是在给自己的注意力账户开一张空头支票。

Sam Altman描述过一人独角兽的愿景:一个创始人加一堆代理,做出十亿美元公司的产出。Midjourney和Pieter Levels这类案例常被拿来当证据。

但这些案例背后,是极其克制的代理使用范围和极高的人工把关密度,不是“招一堆代理然后放手”。现实更接近“单披萨团队”——一小群真人专家,被AI代理增强,而不是被取代。创始人的角色从直接管理,变成了编排和监督,人的判断力和风险意识仍然是不可省略的那一环。

把这件事想清楚,你就不会再把“我又接入了一个新代理”当成进步的证明。真正的进步,是你能拿出证据说:这个代理,我知道它什么时候会出错,我知道谁来管它,我知道什么时候该关掉它。