人工智能（AI）是一个快速发展的领域，有潜力改善和改变社会的许多方面。在2023年，随着强大的基础模型（FMs）的发展和生成式AI能力的提升，AI技术的采用速度进一步加快。

如亚马逊Bedrock和亚马逊CodeWhisperer，并通过亚马逊SageMaker JumpStart提供了一系列高性能的生成模型。这些服务旨在支持我们的客户解锁生成式AI的新兴能力，包括增强的创造力，个性化和动态的内容生成，以及创新的设计。它们还可以使AI从业者以前所未有的方式理解世界——解决语言障碍，气候变化，加速科学发现等等。

然而，要实现生成式AI的全部潜力，重要的是要认真反思任何潜在的风险。首先，这有利于AI系统的利益相关者，促进负责任和安全的开发和部署，并鼓励采取积极的措施来应对潜在的影响。因此，建立评估和管理风险的机制是AI从业者需要考虑的一个重要过程，也已经成为许多新兴的AI行业标准（例如ISO 42001，ISO 23894和NIST RMF）和法规（如欧盟AI法案）的核心组成部分。

风险有哪些不同的等级？

虽然从一个单独的机器学习（ML）模型和相关风险开始考虑可能更容易，但重要的是要考虑这样一个模型的具体应用和相应的用例作为一个完整的AI系统的一部分。事实上，一个典型的AI系统可能是基于多个不同的ML模型协同工作的，而一个组织可能想要构建多个不同的AI系统。因此，风险可以针对每个用例和不同的层次进行评估，即模型风险，AI系统风险和企业风险。

企业风险涵盖了一个组织可能面临的广泛的风险，包括财务，运营和战略风险。AI系统风险关注与AI系统的实施和运行相关的影响，而ML模型风险则特别针对ML模型固有的漏洞和不确定性。

然而，需要注意的是，组织内所有不同层次的风险管理都应该被考虑和协调。

AI系统风险如何定义？

在AI系统的背景下，风险管理可以是一种减少不确定性或潜在负面影响的效果，同时也提供了增加正面影响的机会的途径。风险本身不是一个潜在的危害，而是不确定性对目标的影响。根据NIST风险管理框架（NIST RMF），风险可以被估计为一个事件发生的概率与相应事件的后果的幅度的乘积。

风险有两个方面：固有风险和剩余风险。固有风险表示AI系统在没有缓解或控制的情况下表现出的风险量。剩余风险反映了考虑缓解策略后的剩余风险。

始终记住，风险评估是一个以人为本的活动，需要组织全面的努力；这些努力包括确保所有相关利益相关者都参与到评估过程中（例如产品，工程，科学，销售和安全团队），以及评估社会观点和规范如何影响对某些事件的可能性和后果的感知。

为什么要关心风险评估？

为AI系统建立风险管理框架可以通过促进AI系统的安全和负责任的设计，开发和运行，造福整个社会。风险管理框架也可以通过以下方式造福组织：

• 改善决策制定 – 通过了解AI系统相关的风险，组织可以更好地决定如何缓解这些风险，并以安全和负责任的方式使用AI系统
• 增加合规规划 – 风险评估框架可以帮助组织为相关法律法规中的风险评估要求做好准备
• 建立信任 – 通过展示他们正在采取措施缓解AI系统的风险，组织可以向他们的客户和利益相关者表明他们致力于以安全和负责任的方式使用AI

如何评估风险？

作为第一步，组织应该考虑描述需要评估的AI用例，并确定所有相关的利益相关者。用例是一个具体的场景或情况，描述了用户如何与AI系统交互以实现特定的目标。在创建用例描述时，可以有助于指定要解决的业务问题，列出涉及的利益相关者，描述工作流程，并提供系统的关键输入和输出的细节。

在涉及利益相关者时，很容易忽略一些。下图是一个很好的起点，用来绘制AI利益相关者的角色。

人工智能系统风险评估的一个重要下一步是确定与使用案例相关的可能造成危害的事件。在考虑这些事件时，反思负责任的AI的不同维度，例如公平性和稳健性等可能会有帮助。不同的利益相关者可能会在不同的维度上受到不同程度的影响。例如，一个终端用户的低稳健性风险可能是因为AI系统表现出的小幅中断，而低公平性风险可能是因为AI系统对不同人群产生的输出差异可以忽略不计。

为了估计某个事件的风险，你可以结合使用可能性评估尺度和严重性评估尺度来衡量发生的概率以及后果的严重程度。在开发这些尺度时，一个有用的起点可以是NIST RMF，其建议使用从非常低到非常高风险的定性非数字类别，或者半定量评估原则，例如尺度（例如1-10）、箱或其它代表性数字。在你为所有相关维度定义了可能性和严重性评估尺度后，你可以使用风险矩阵方案来量化每个相关维度上的利益相关者的整体风险。下图展示了一个风险矩阵的例子。

使用这个风险矩阵，我们可以将严重性低且发生概率很少的事件视为非常低风险。请记住，最初的评估将是固有风险的估计，风险缓解策略可以帮助进一步降低风险水平。然后可以重复这个过程，为每个事件剩余的残余风险生成一个评级。如果在同一维度上识别出多个事件，选择所有事件中风险最高的以创建最终的评估总结可能会很有帮助。

使用最终评估总结，组织必须为他们的AI系统定义可接受的风险水平，并考虑相关的法规和政策。

AWS的承诺

通过与白宫和联合国等机构的接触，我们致力于分享我们的知识和专长，以推动负责任和安全使用AI。沿这一路线，亚马逊的Adam Selipsky最近代表AWS出席了国家元首和行业领袖出席的AI安全峰会，进一步证明了我们致力于合作推动人工智能的负责任进步。

随着AI的不断进步，风险评估对于希望负责任地构建和部署AI的组织来说变得越来越重要和有用。通过建立风险评估框架和风险缓解计划，组织可以减少潜在的AI相关事故的风险，并赢得客户的信任，同时获得如提高可靠性、为不同人群提高公平性等好处。