详细解答
简要回答:组织在开始之前不需要准备完善的文档。
核心说明
LERA 执行风险诊断首先需要足够的信息,以了解 AI 系统可以提出什么建议、可以执行什么以及可能产生什么后果。
组织在开始之前不需要准备完善的文档。
初步诊断可以使用访谈、工作流描述、屏幕截图、架构图、政策文档或相关流程的演示。
有用的信息可能包括:
系统用途
- AI 系统的目的是什么?
- 谁使用它?
- 它服务于哪个业务或运营目标?
- 是咨询性、半自主性还是自主性?
- 能力和访问
- 系统可以调用哪些工具?
- 它可以访问哪些 API、机器、帐户或数据库?
- 它可以发送消息、转移资金、更改记录、操作设备或启动工作流吗?
- 它可以在没有实时人类批准的情况下行动吗?
- 行动途径
- AI 可以提出哪些行动?
- 哪些拟执行行动可以成为执行?
- 哪些外部系统执行这些操作?
- 组织认为执行边界位于哪里?
- 人类角色
- 谁审查或批准行动?
- 他们收到什么信息?
- 他们有足够的时间和专业知识吗?
- 他们是否拥有合法权力?
- 如果行为造成伤害,谁负责?
- 规则和约束
- 适用哪些操作、安全、法律、合同或制度规则?
- 这些规则存储在哪里?
- 它们如何影响执行?
- 谁可以更改它们?
- 是否记录并管理了异常情况?
- 后果
- 哪些人员、资产、系统、权利或机构可能受到影响?
- 行动是否可逆?
- 危害发生的速度有多快?
- 一项操作是否可以触发其他系统?
- 影响是否会超出组织范围?
- 现有问题
- 是否发生过事故、未遂事件、意外行为或审批争议?
- 哪些未来功能最令人担忧?
- 领导最担心什么?
诊断不需要访问每个源代码详细信息即可开始。
其最初的目标是公开 AI 输出 结果。
的组织和架构路径,稍后架构设计、实现、验证或集成工作可能需要更详细的技术信息。
保密性、访问范围、知识产权处理和信息处理条件应定义为约定的一部分。
最重要的起始信息不仅是模型如何工作,还包括周围系统允许模型输出做什么。