了解 LERA

为什么执行控制对于 AGI 控制至关重要?

详细解答

简要回答:执行控制至关重要,因为如果 AGI 的输出仍然可以在没有受控边界的情况下进入现实行动,那么它就没有真正被控制住。

核心说明

执行控制至关重要,因为如果 AGI 的输出仍然可以在没有受控边界的情况下进入现实行动,那么它就没有真正被控制住。

一个高性能系统可能显得协调、有用、协作并且智能。但如果它能在缺少结构化判断和治理的情况下调用工具、改变系统、移动资产、影响机构、控制机器或触发不可逆行动,那么最关键的执行权仍没有被控制住。

决定性的风险不在于 AGI 是否会思考,而在于它的输出何时开始进入现实行动。

这就是 LERA 将 AGI 控制定义为执行控制问题的原因。

模型级控制可以改善行为。安全性可以防止未经授权的访问。监控可能会检测到可疑活动。人工审查可能会增加监督。法律可以定义责任。所有这些都很重要。

但只有当它们能够影响执行是否继续时,它们才具有操作意义。

如果法律规则存在于纸面上但无法阻断自动操作,那么它离执行还很远。

如果一个系统从形式上包含 Human-in-the-Loop(人类在环),但人没有明确的权限、信息或责任,这个人仍然可能变成象征性的批准者。

如果模型对齐但收到不完整的信息或在错误的目标下运行,它仍然可能提出不可接受的操作。

LERA 将这些问题带到了执行边界。

它要求:

  • 判断发生了吗?
  • 权限是否合法?
  • 责任是否锚定?
  • 适用哪些可靠性规则?
  • 规则有改变吗?
  • 是否应该允许、阻断或升级该操作?

例如,强大的金融 Agent 可以正确识别有利可图的市场机会。计算可能是准确的。但拟议的交易可能会超出授权限制、违反流动性要求、造成集中风险或使机构面临监管后果。

问题不在于 AI 是否推理得好。问题是该操作是否可以执行。

LERA 通过将智能与执行权限分开来解决这个问题。

如果没有执行控制,AGI 控制仍然是一种关于行为的理论。

通过执行控制,治理可以决定机器能力是否成为权力。

这就是为什么任何严肃的 AGI 控制架构都必须解决执行边界问题。它可能会使用很多额外的方法,但它无法避免这个问题。