,关键操作的双人授权,飞行员的Checklist,处方药制度,以及工业设备上的急停按钮。
它们形式各异,却共同完成了一件事——让某些事情不要太容易发生。
这是一种与互联网时代完全相反的设计哲学。互联网时代最成功的产品,都在努力让事情更容易发生;而AI Agent时代的安全系统,可能必须开始回答一个陌生的问题:哪些事情必须保持困难?甚至更进一步——哪些动作必须永远保留一个独立拒绝它的能力?
九、效率真正的边界,是不可逆性
摩擦不能被平均地加回去,那只是换一种方式浪费。真正需要回答的是:哪些地方需要摩擦。
搜索结果错了可以重搜,文章写错了可以修改,推荐不准确可以重新推荐,这些动作的现实成本很低,几乎没有理由为它们增加阻力。但另一些事情不同:钱已经转走,设备已经启动,合同已经签署,数据库已经删除,药物已经注入,机器已经移动。现实世界发生变化之后,系统无法简单地Undo。
所以未来企业真正需要区分的,也许并不是自动化与人工,而是可逆行为与不可逆行为。越不可逆的动作,越不能只用效率来评价;越接近现实世界的最终执行,越需要一个独立于执行系统本身的边界。
认知可以追求无限效率,现实执行必须拥有边界。
这也是为什么,企业的安全架构可能会逐渐从"治理AI"走向"治理执行"。它并不是要阻止AI思考,不是要阻止AI工作,甚至不是要阻止AI做决定,而是在最终改变现实之前,保留一个独立提问的位置:这件事,现在真的应该发生吗?
而这个位置之所以必须是结构性的,原因也很朴素:在一个每秒都在执行的系统里,个人的谨慎无法按需扩展,也无法被事后审计。组织最终能够依靠的,只能是从可信的人,走向可信的结构。
十、效率不是敌人,失去边界的效率才是
批判效率很容易,但那同样是一种简化。现代文明的大部分进步,本身就来自效率的提升:更低成本的通信,更便宜的计算,更高效的生产,更快速的知识传播。任何主张放慢一切的立场,最终都会以另一种方式伤害它想要保护的人。
所以真正的问题从来不是我们要不要效率,而是效率有没有上限——一家企业是否还保有能力,在某个时刻主动选择不再进一步优化,不再进一步自动化,不再进一步压缩冗余,不再进一步减少摩擦。
一个成熟组织真正重要的能力,也许不是永远知道怎样更快,而是知道什么时候不应该再快。
过去一百年,我们花了巨大的努力教会企业如何消灭浪费。接下来,人工智能可能会迫使我们学习另一件更难的事情:如何识别那些看起来像浪费,但实际上保护了系统的东西。