在互联网上过滤色情，毒品，血腥和其他令人反感的内容并不容易。Facebook目前在全球拥有7500名内容版主，而2017年5月为4500名。而在4月份，谷歌旗下的YouTube表示，在截至2017年12月的三个月内，它删除了超过800万部与其政策相悖的视频，其中20％是由数千名员工组成的团队确定的。

纽约市创业公司Clarifai认为它可以借助AI来减轻负担。它今天宣布了一种端到端的审核解决方案，该解决方案利用计算机视觉来解析用户生成的照片和视频的内容，并且当它检测到令人反感或令人反感的内容时，适当地标记它们。它于本周推出公开测试版。

“在Clarifai，我们致力于不断改进AI以造福人类，我们为新的端到端解决方案建立的工具可以满足客户迫切的市场需求，”Clarifai创始人兼首席执行官Matt Zeiler表示，“内容审核对于保护日常消费者在浏览他们喜欢的社交平台时免受令人讨厌和不受欢迎的内容至关重要。”

Clarifai的审核解决方案利用公司现有的机器学习模型，将用户生成的内容与预先配置的过滤器列表进行比较，例如“明确的”，“暗示的”，“血腥的”，“毒品”，“工作时不宜浏览的”。和自定义概念。客户首先将他们的图像发送给Clarifai，以帮助可视化系统如何分析他们的数据。对于分析的每条内容，生成指示匹配可能性的概率分数。

将AI应用于内容审核并不是一个新想法。微软的Azure拥有内容管理器，这是一种自动审核服务，融合了AI和人工审核功能，可以检测可能令人反感的图片，文字和视频。阿里巴巴云在内容审核方面拥有可比较的产品，它使用深度学习在用户生成的图片和视频中查找暴力，恐怖主义和垃圾邮件，亚马逊在其AI对象检测服务Rekognition中也是如此。

在生产中，这些系统已被证明远非万无一失。例如，Facebook的算法标记了性暗示的历史雕像图片，并自动删除了标志性的越战照片。YouTube不小心将合法的行为标记为垃圾邮件。

但Clarifai表示已采取措施缓解任何潜在问题。

Web控制面板提供的控件允许用户自动执行内容审批和拒绝，并在内容未达到指定置信度阈值时为人工审核人提供集成支持。根据Zeiler-Moderator用户界面调查团队来验证模型的准确性，这是一个“人在循环中”的方法，每个被审查和标记的内容都用于重新训练系统，以不断提高其准确性。

除了审核解决方案外，Clarifai还宣布了一项增强型通用模型，并公开了其适度，名人，人脸检测，纹理和模式，通用嵌入和Faceb嵌入系统。它表示，它们可以提供高达99％的图像和视频识别准确度。

General Model是Clarifai最早的产品，够识别多达11000件物品，以及情绪和主题等物品。10月初升级到1.5版本带来了更高的准确性，部分原因是训练数据是机器标记而不是人工标记。

“它还将帮助人们在我们的平台上构建自定义模型，并在我们的平台上更好地进行视觉搜索，因为通用模型是所有技术的基础，因此这不仅仅是预先构建的概念。它也提高了我们平台上其他工具的准确性，”Zeiler在今年早些时候的电话采访中表示。

Clarifai成立于2013年，其客户包括West Elm，OpenTable，Trivago和9Gag。它的服务每月对照片和视频中超过30亿个概念进行分类和预测。到目前为止，Clarifai筹集了超过4000万美元。