09
其他高后果操作
行动会产生严重后果的领域的通用框架。
LERA系统工程也适用于自主系统可能生成或触发重大后果行动的领域,包括医疗运营、法律流程、应急响应、工业自动化、交通、公共管理和科学设施。
这些场景的共同点是:AI 输出开始从建议跨入现实后果。
示例场景
AI 辅助应急响应系统建议在区域灾难期间重新安排医疗资源。这个建议可能紧急,也可能基于大量数据,但它会影响谁获得帮助、资源何时到达,以及哪个机构承担责任。
没有 LERA
如果没有 LERA,建议可能过快变成运营行动:AI 评估、资源分配、现实后果。即使技术上经过优化,只要授权和规则不清楚,行动仍然可能造成严重的伦理、法律或公共后果。
使用 LERA
使用 LERA 后,资源分配提案在执行前仍然受到治理。系统必须区分紧急建议和授权行动,并考虑后果范围、公共规则、机构授权和升级条件。
目的不是让每一次应急响应都变慢,而是让高后果行动留在明确的判断和治理路径中。
LERA 如何介入
- 判断:判断拟执行行动意味着什么,可能产生什么后果,以及不确定性是否可接受。
- 授权:明确谁有正当资格允许行动继续。
- 责任:在执行前绑定责任,而不是等事故发生后再追溯。
- 可靠性规则:为该情境应用相关的 WRS-C 和领域 WRS-D 条件。
- RCC:治理谁可以改变执行相关规则,以及规则变更如何授权和留痕。
- ECS:在执行边界之前,让行动保持可控制。
- 结果:在现实执行之前,将行动路由为允许、阻断或升级。
LERA 改变了什么
LERA 提供一种结构,用来判断机器生成的行动在什么条件下可以进入现实执行,特别适用于后果严重、不适合交给默认自动化的领域。