← articles

从公理生长:智能、行动与可修订的自我

世界可以被局部压缩,行动会制造路径依赖,真理受误差约束,自主需要边界,意义来自他者。问题不是让 AI 永远服从昨天的你,而是保护人和系统继续修订自己的能力。

这本书从六条暂定公理开始。它们不是不可怀疑的真理,只是我愿意公开承担的推理起点:

编号公理
M1任何关于世界和智能的判断都可能错,因此必须暴露修订接口。
A1世界在局部、尺度与预算内可压缩,否则学习无从发生。
A2行动会不可逆地分配时间、算力、资本和声誉。
A3真理不能被误差穷尽,但必须接受预测与干预误差的约束。
A4能长期递归的自主,必须拥有边界、停止条件与外部审查。
A5意义不是封闭系统里的私有属性,它在交互历史与他者之间形成。

初版由 Juno Overseer 分章生成和审校,留下约十万字。重写时我删掉了大量流程自述、重复模板和为了满足篇幅而展开的段落。Juno 仍是第十章的工程实例,但不再是全书必须证明正确的主角。

这次重写加入一个更接近我现在的问题:当行动、制度、群体和 AI 都会改写人的欲望与身份时,一个人如何保留参与这个改写过程的权利? 我把这种权利暂时称为生成自由。


第17章 风险与治理

强系统的风险不只来自单次灾难,也来自错误目标在正反馈中长期复利。

能力会复利,债务也会;信任会复利,沉默也会。增长速度和持续时间都不能证明方向正确。第三个变量是纠错速度。

风险不是一个总分

模型风险、工具风险、组织风险和社会风险需要不同接口。把它们压成一个「安全分」会隐藏最弱的环节。高置信文本不应自动获得高权限,低概率高损失操作也不能只看平均收益。

治理应按后果分层:只读、建议、可撤销写入、外部发布、资金与基础设施操作,各自需要不同证据和授权。

多样性是错误去相关

治理常把多样性理解成身份代表。更深的价值是让错误来源不完全相关:不同训练、利益、时间尺度和现实入口的人,更可能在共同盲点变成基础设施前发现它。

异议会降低短期速度,所以高增长系统常把它视为低效。真正可靠的组织必须在顺风时就保留反对和退出机制,而不是等事故发生后再寻找独立意见。