本周一，Cloudflare 宣布计划创建一个市场，网站所有者可以在其中出售内容访问权限，以供 AI 模型训练使用。此举是 Cloudflare 更广泛计划的一部分，旨在让发布者更好地控制 AI 机器人与其网站的交互方式。

Cloudflare 首席执行官 Matthew Prince 解释了这一决策背后的原因：“我们认为，无论网站规模大小，都应因其内容的使用而获得公平补偿。”该市场计划在未来一年内推出，届时内容创作者将能够为 AI 公司设置访问和抓取其网站的价格。

此公告还伴随着 AI Audit 的即时发布，这是一款面向所有 Cloudflare 客户的免费工具。AI Audit 为网站所有者提供 AI 机器人活动的详细分析，包括哪些公司在抓取其内容、抓取频率以及哪些网站部分最受 AI 爬虫欢迎等信息。

新工具将 AI 相关机器人分为三类：AI 数据抓取器、AI 搜索爬虫和存档器。这种区分至关重要，因为每种类型对网站的影响可能不同。例如，AI 搜索引擎可能会为网站带来流量，而数据抓取器则主要收集用于模型训练的信息，而不一定会注明信息来源。

此外，Cloudflare 还推出了一键阻止所有 AI 爬虫的功能，让网站所有者能够“暂停”并评估其关于 AI 内容使用的策略。对于需要更精细控制的管理员，现在可以创建自定义规则来允许或阻止特定的 AI 提供商或机器人类型。

Prince 强调了当前人工智能生态系统中存在的不平衡现象，即许多网站被爬取数据时既没有得到补偿，甚至也没有被察觉。“如果你没有以某种方式补偿创作者，那么他们就会停止创作，这是必须解决的问题，”他在接受 TechCrunch 采访时说道。

这些新工具旨在解决日益增长的关于人工智能对在线内容创作影响的担忧。一些网站所有者报告称，过度的 AI 爬取数据行为导致了类似于分布式拒绝服务（DDoS）攻击的服务器问题。Cloudflare 的解决方案允许网站所有者阻止特定的 AI 机器人，同时允许其他机器人访问，从而使他们对内容的使用具有更细致的控制权。

对于已经与 AI 公司达成合作协议的出版商，Cloudflare 现在提供工具来审核这些协议。网站所有者可以生成报告，以验证 AI 服务提供商是否遵守了关于扫描频率和内容访问的商定条款。

虽然市场概念仍处于开发阶段，但它有可能使 AI 训练的内容许可民主化。目前，只有大型出版商能够与像 OpenAI 这样的大型 AI 公司达成合作。Cloudflare 的平台可能会将这种机会扩展到小型内容创作者，并为内容扫描处理定价、访问控制和价值捕获。

然而，一个重大问题是 AI 模型开发人员将如何应对可能需要为当前免费访问的内容付费的情况。Prince 认为，这种方法对于 AI 生态系统和更广泛的互联网的长期可持续性来说是必要的。

Cloudflare 的客户现在可以通过其仪表板立即使用 AI 审计工具，并受邀加入市场测试版的等待名单（Cloudflare AI Value Tool Waitlist）。该公司还将在 9 月 26 日的 Builder Day 直播活动中进一步展示这些进展。