几乎任何人都可以毒害机器学习（ML）数据集，从而永久性地大幅改变其行为和输出。通过谨慎、主动的检测工作，企业可以保留数周、数月甚至数年的工作时间，否则他们就需要用这些时间来消除中毒数据源造成的损害。

什么是数据中毒？

数据中毒是一种恶意篡改数据集以误导或混淆模型的对抗性 ML 攻击。其目的是使模型做出不准确的响应或以非预期的方式运行。实际上，这种威胁可能会损害人工智能的未来。

随着人工智能应用的扩大，数据中毒变得越来越普遍。有意操纵造成的模型幻觉、不恰当的反应和错误分类越来越频繁。公众的信任度已经在下降--只有 34% 的人坚信他们可以在人工智能治理方面信任科技公司。

机器学习数据集中毒实例

虽然存在多种类型的毒害，但它们的共同目标是影响ML模型的输出。通常，每一种都涉及提供不准确或误导性的信息以改变行为。例如，有人可以将速度限制标志的图像插入到停车标志的数据集中，以欺骗自动驾驶汽车错误分类路标。

即使攻击者无法访问训练数据，他们仍然可以利用模型调整行为的能力对其进行干扰。他们可以同时输入数千封目标邮件，以歪曲其分类过程。几年前，谷歌就遇到过这种情况，当时攻击者同时发送了数百万封电子邮件，迷惑谷歌的电子邮件过滤器，将垃圾邮件误归为合法信件。

常见的数据集毒害技术

毒害技术可分为三类。第一类是数据集篡改，即有人恶意更改训练材料以影响模型的性能。注入攻击——攻击者插入不准确、冒犯性或误导性数据——是一个典型的例子。

标签翻转是另一种篡改的例子。在这种攻击中，攻击者只是简单地切换训练材料来混淆模型。目标是让模型错误分类或严重误算，最终显著改变其性能。

第二类是在训练过程中和训练结束后对模型进行操纵，攻击者对模型进行增量修改，以影响算法。后门攻击就是一个例子。在这种情况下，攻击者会在数据集的一个小子集上下毒--在数据集发布后，他们会触发一个特定的触发器，从而导致意想不到的行为。

第三类是在部署后操纵模型。其中一个例子是分割视图中毒，即有人控制了算法索引的源，并在其中填入不准确的信息。一旦 ML 模型使用了新修改的资源，就会采用中毒数据。

主动检测工作的重要性

关于数据中毒，主动检测对于确保 ML 模型的完整性至关重要。聊天机器人的无意行为可能具有攻击性或贬损性，但中毒的网络安全相关 ML 应用程序会产生更严重的影响。

如果有人进入 ML 数据集进行篡改，就会严重削弱安全性，例如在威胁检测或垃圾邮件过滤过程中造成错误分类。由于篡改通常是渐进发生的，因此平均 280 天内都不会有人发现攻击者的存在。为了防止它们被忽视，企业必须未雨绸缪。

不幸的是，恶意篡改非常直接。2022 年，一个研究小组发现，他们只需花费 60 美元，就能使 COYO-700M 或 LAION-400M 最大数据集的 0.01% 中毒。

虽然这么小的比例看似微不足道，但少量的数据也会带来严重的后果。仅 3% 的数据集中毒就能将 ML 模型的垃圾邮件检测错误率从 3% 提高到 24%。考虑到看似微不足道的篡改也可能带来灾难性后果，主动检测工作至关重要。

检测机器学习数据集中毒的方法

好消息是，企业可以采取几种措施来确保训练数据的安全、验证数据集的完整性并监控异常情况，从而最大限度地降低中毒几率。

1：数据净化

净化是指在训练材料到达算法之前对其进行 "清洗"。它包括数据集过滤和验证，由专人过滤掉异常和异常值。如果发现可疑、不准确或看起来不真实的数据，就会将其删除。

2：模型监控

部署后，公司可以实时监控其 ML 模型，以确保它不会突然出现意外行为。如果他们发现可疑的响应或不准确性急剧增加，就可以寻找中毒的源头。

异常检测在这方面发挥着重要作用，因为它有助于识别中毒实例。公司可以实施这项技术的一种方法是创建一个参考和审计算法，以与其公开模型进行比较。

3：来源安全

确保 ML 数据集的安全比以往任何时候都更为重要，因此企业只能从值得信赖的来源获取数据。此外，企业还应在训练模型前验证其真实性和完整性。这种检测方法也适用于更新，因为攻击者可以轻易毒害以前索引过的网站。

4：更新

对 ML 数据集进行例行消毒和更新可减轻分割视图中毒和后门攻击。确保模型训练所依据的信息准确、适当和完整是一个持续的过程。

5：用户输入验证

企业应过滤和验证所有输入，防止用户通过有针对性的、广泛的恶意贡献来改变模型的行为。这种检测方法可以减少注入、分割视图中毒和后门攻击的危害。

企业可防止数据集中毒 

虽然人工智能数据集中毒很难检测，但积极主动、协调一致的努力可以大大降低篡改影响模型性能的几率。这样，企业就能提高安全性，保护算法的完整性。