执行风险和系统控制

当操作无法等待实时人工审核时会发生什么?

详细解答

简要回答:LERA 不需要人类实时批准每项操作。

核心说明

LERA 不需要人类实时批准每项操作。

如果要求人类实时批准每一个动作,许多自主系统将无法运行。

深空系统、应急系统、机器人、关键基础设施、高速工业系统以及一些金融或能源系统的行动速度通常必须快于人类干预允许的速度。

LERA 原则并不是“人类在执行每个操作之前都必须点击”。

原理是:

在允许自主执行之前,人的判断、授权、责任和规则必须在结构上存在。

这意味着在系统进入自治运行之前,治理结构必须定义:

  • 哪些行动可以自动进行;
  • 在什么条件下;
  • 在什么权限内;
  • 适用哪些可靠性规则;
  • 由谁负责;
  • 哪些操作必须保持阻断;
  • 哪些操作需要升级;
  • 当通信不可用时会发生什么。

例如,火星漫游者不能等待地球批准每一个行动。

但这并不意味着它应该拥有无限的执行权。

在规定的任务条件下可以允许例行导航。

穿越不稳定的地形、消耗紧急储备、改变任务目标或冒着不可逆转的损害的风险可能需要更严格的规则或保持封锁。

在任务开始之前,责任主体和授权边界就必须被明确。

如果自主行为造成损害,则不能将责任模糊地分配给“AI”。任务设计者、当局、机构、操作规则和治理决策必须已经定义了谁接受了执行条件。

LERA 可实现受治理的自治。

它为系统提供了在需要自治时采取行动的空间,同时确保自治并不等同于不受限制的权限。

这比普通的人机在环更强,因为当人延迟、距离较远、不可用或无法以机器速度做出反应时,它仍然可以继续发挥作用。