详细解答
简要回答:执行控制至关重要,因为如果 AGI 的输出仍然可以在没有受控边界的情况下进入现实行动,那么它就没有真正被控制住。
核心说明
执行控制至关重要,因为如果 AGI 的输出仍然可以在没有受控边界的情况下进入现实行动,那么它就没有真正被控制住。
一个高性能系统可能显得协调、有用、协作并且智能。但如果它能在缺少结构化判断和治理的情况下调用工具、改变系统、移动资产、影响机构、控制机器或触发不可逆行动,那么最关键的执行权仍没有被控制住。
决定性的风险不在于 AGI 是否会思考,而在于它的输出何时开始进入现实行动。
这就是 LERA 将 AGI 控制定义为执行控制问题的原因。
模型级控制可以改善行为。安全性可以防止未经授权的访问。监控可能会检测到可疑活动。人工审查可能会增加监督。法律可以定义责任。所有这些都很重要。
但只有当它们能够影响执行是否继续时,它们才具有操作意义。
如果法律规则存在于纸面上但无法阻断自动操作,那么它离执行还很远。
如果一个系统从形式上包含 Human-in-the-Loop(人类在环),但人没有明确的权限、信息或责任,这个人仍然可能变成象征性的批准者。
如果模型对齐但收到不完整的信息或在错误的目标下运行,它仍然可能提出不可接受的操作。
LERA 将这些问题带到了执行边界。
它要求:
- 判断发生了吗?
- 权限是否合法?
- 责任是否锚定?
- 适用哪些可靠性规则?
- 规则有改变吗?
- 是否应该允许、阻断或升级该操作?
例如,强大的金融 Agent 可以正确识别有利可图的市场机会。计算可能是准确的。但拟议的交易可能会超出授权限制、违反流动性要求、造成集中风险或使机构面临监管后果。
问题不在于 AI 是否推理得好。问题是该操作是否可以执行。
LERA 通过将智能与执行权限分开来解决这个问题。
如果没有执行控制,AGI 控制仍然是一种关于行为的理论。
通过执行控制,治理可以决定机器能力是否成为权力。
这就是为什么任何严肃的 AGI 控制架构都必须解决执行边界问题。它可能会使用很多额外的方法,但它无法避免这个问题。