从公理生长:智能、行动与可修订的自我
世界可以被局部压缩,行动会制造路径依赖,真理受误差约束,自主需要边界,意义来自他者。问题不是让 AI 永远服从昨天的你,而是保护人和系统继续修订自己的能力。
这本书从六条暂定公理开始。它们不是不可怀疑的真理,只是我愿意公开承担的推理起点:
| 编号 | 公理 |
|---|---|
| M1 | 任何关于世界和智能的判断都可能错,因此必须暴露修订接口。 |
| A1 | 世界在局部、尺度与预算内可压缩,否则学习无从发生。 |
| A2 | 行动会不可逆地分配时间、算力、资本和声誉。 |
| A3 | 真理不能被误差穷尽,但必须接受预测与干预误差的约束。 |
| A4 | 能长期递归的自主,必须拥有边界、停止条件与外部审查。 |
| A5 | 意义不是封闭系统里的私有属性,它在交互历史与他者之间形成。 |
初版由 Juno Overseer 分章生成和审校,留下约十万字。重写时我删掉了大量流程自述、重复模板和为了满足篇幅而展开的段落。Juno 仍是第十章的工程实例,但不再是全书必须证明正确的主角。
这次重写加入一个更接近我现在的问题:当行动、制度、群体和 AI 都会改写人的欲望与身份时,一个人如何保留参与这个改写过程的权利? 我把这种权利暂时称为生成自由。
第14章 世界模型与 AGI 分层
「世界模型」经常同时指三种东西:能预测观测的模型,能模拟干预后果的模型,以及能在不同任务间复用的抽象表示。三者强度不同。
视频模型能生成下一帧,不自动拥有物理因果;语言模型能描述工具使用,不自动承担工具后果。AGI 讨论若把这些层混在一起,任何能力展示都能被解释成「已经理解世界」。
四个层级
我更愿意按责任而不是拟人程度分层:
- 表示:压缩观测并迁移到新样本;
- 预测:对明确分布给出可校准预期;
- 干预:选择行动并评估环境变化;
- 治理:在长期目标、他者权利和自我修改之间维持可修订结构。
前一层是后一层的必要条件,但不是充分条件。一个系统可以在表示和预测上极强,在干预时却因为分布变化失败;也可以在行动上很有效,却没有任何机制处理目标冲突。
AGI 也许不是一个点
若智能依赖域、预算和责任,AGI 更像一组跨域能力与治理接口,而不是某天突然跨过的单一阈值。通用不意味着每个域都成功,而意味着系统能识别新域、估计学习成本、声明边界,并在失败时停下。
能说「这里我不知道」并改变权限,可能比在更多 benchmark 上接近满分更接近通用。