在很大程度上，当代应急管理的重点是自然、技术和人为危害，如洪水、地震、龙卷风、工业事故、极端天气事件和网络攻击。

然而，随着人工智能的可用性和功能的增加，我们可能很快就会看到与这些技术相关的新的公共安全隐患，我们需要降低这些隐患发生的概率并且做好解决这些问题的准备。



在过去的20年里，我和我的同事以及许多其他研究人员一直在利用人工智能开发模型和应用程序，这些模型和应用程序可以识别、评估、预测、监测和检测危害，为应急行动和决策提供信息。

我们现在正处于一个转折点，人工智能正在成为潜在的风险来源，其规模应纳入风险和应急管理阶段——减轻或预防、准备、应对和恢复。

人工智能和危害分类

人工智能危害可分为两类：故意和非故意。非故意危害是指由人为错误或技术故障引起的危害。

随着人工智能使用的增加，人工智能模型中的人为错误或基于人工智能的技术故障将导致更多的不良事件。这些事件可能发生在各种行业，包括交通运输(如无人机、火车或自动驾驶汽车)、电力、石油和天然气、金融和银行、农业、卫生和采矿。

人工智能故意危害是指使用人工智能伤害人身和财产安全的危害。人工智能还可以通过破坏安保系统来获取非法利益。

在我看来，这种简单的故意和非故意的分类可能是不够的。在这里，我们需要增加一类新出现的威胁——人工智能取代人类控制和决策的可能性。这可能是故意或非故意触发的。

许多人工智能专家已经对此类潜在威胁发出了警告。最近，研究人员、科学家和其他参与人工智能发展的人士发表了一封公开信，呼吁暂停人工智能的进一步发展。

公共安全风险

公共安全和应急管理专家使用风险矩阵来评估和比较风险。使用这种方法，根据其频率和后果对危害进行定性或定量评估，并将其影响分为低、中、高三个等级。

频率低、后果或影响小的危害被认为是低风险的，不需要采取额外的措施来管理它们。具有中等影响和中等频率的危害被认为是中等风险。这些风险需要密切监测。

发生频率高或影响大或影响和发生频率都高的危险归为高风险。需要通过采取额外的措施来减少和缓解这些风险。如果不立即采取适当的行动，可能会造成严重的人身和财产损失。

到目前为止，人工智能的危害和风险还没有被添加到风险评估矩阵中，我们应该迅速开始将潜在的人工智能风险纳入地方、国家和全球风险和应急管理。

人工智能风险评估

人工智能技术正越来越广泛地应用于不同领域的机构、组织和公司，与人工智能相关的危害也开始出现。

2018年，KPMG会计师事务所开发了一个“人工智能风险和控制矩阵”。它强调了企业使用人工智能的风险，并敦促他们认识到这些新出现的风险。该报告警告说，人工智能技术正在迅速进步，必须在其超出系统控制范围之前采取风险控制措施。

各国政府也开始为使用基于人工智能的技术和解决方案制定一些风险评估指南。然而，这些指导方针仅限于算法偏见和侵犯个人权利等风险。

在政府层面，加拿大政府发布了“自动化决策指令”，并建立适当的治理机制，以确保联邦机构最大限度地减少与人工智能系统相关的风险。

该指令的主要目标是确保在部署人工智能系统时，降低用户、联邦机构和加拿大社会的风险。根据该指令，每个部门必须进行风险评估，以确保根据政府安全政策采取适当的保障措施。

2021年，美国国会责成美国国家标准与技术研究院为国防部制定人工智能风险管理框架。拟议的自愿人工智能风险评估框架建议禁止使用存在不可接受风险的人工智能系统。

威胁与竞争

国家层面对人工智能的政策关注大多是从国家安全和全球竞争的角度出发的，即落后的人工智能技术所带来的国家安全和经济风险。

美国人工智能国家安全委员会强调了与人工智能相关的国家安全风险。这些并不是来自技术本身的威胁，而是来自在与包括中国在内的其他国家的人工智能发展的全球竞争中失利的风险。

世界经济论坛在其《2017年全球风险报告》中强调，人工智能只是可能加剧全球风险的新兴技术之一。该报告在评估人工智能带来的风险时认为超智能人工智能系统仍然是一个理论上的威胁。

然而，最新的《2023年全球风险报告》甚至没有提到人工智能和人工智能相关的风险，这意味着为全球风险报告提供建议的全球公司的领导者并未将人工智能视为直接风险。

比政策更快

在理解、预见和管理风险方面，人工智能的发展速度远远快于政府和企业的政策。当前的全球形势，加上人工智能技术的市场竞争，让政府很难有机会暂停人工智能并发展风险治理机制。

虽然我们应该共同积极地尝试这样的治理机制，但我们都需要为人工智能对我们的系统和社会的重大灾难性影响做好准备。