前谷歌工程师及知名人工智能（AI）研究者弗朗索瓦·肖莱特共同创立了一个非营利组织，旨在开发能够评估AI“人类级别”智能的基准测试。该组织名为ARC Prize Foundation，将由前Salesforce工程总监及AI产品工作室Leverage创始人格雷格·卡姆拉德特担任主席及董事会成员。

ARC Prize Foundation计划于今年1月晚些时候开始筹款。肖莱特在该组织网站上发布的一篇文章中提到，他们正在成长为一个正式的非营利基金会，旨在为人工智能通用智能（AGI）的发展提供一个有用的指引。他强调，他们试图通过缩小AI与人类基本能力之间的差距来推动进步。

该基金会将扩展ARC-AGI测试，这是肖莱特开发的一种评估AI系统能否在未经训练的数据之外有效获取新技能的方法。测试包括一系列类似谜题的题目，AI需要从不同颜色的方块集合中生成正确的“答案”网格。这些题目旨在迫使AI适应之前未见过的新问题。

肖莱特于2019年推出了ARC-AGI（抽象推理语料库，用于人工智能通用智能）。尽管许多AI系统能在数学奥林匹克竞赛中取得优异成绩，并解决博士级别的问题，但截至今年，表现最好的AI也只能解决ARC-AGI中不到三分之一的任务。

肖莱特在文章中提到，与大多数前沿AI基准测试不同，他们并不试图通过超人类难度的考试来衡量AI的风险。未来版本的ARC-AGI基准测试将专注于缩小与人类能力之间的差距，直至几乎为零。

去年6月，肖莱特与Zapier联合创始人迈克·克诺普发起了一项竞赛，旨在构建能够超越ARC-AGI的AI。OpenAI的未发布o3模型是首个达到合格分数的AI，但这需要巨大的计算能力。肖莱特明确表示，ARC-AGI存在缺陷，许多模型能够通过暴力破解的方式获得高分，他并不认为o3具备人类级别的智能。

据去年12月的一份声明称，初步数据表明，即将推出的ARC-AGI后续版本基准测试将对o3构成重大挑战，即使在高计算能力下，其分数也可能降至30%以下（而一个聪明的人无需训练就能获得95%以上的分数）。“当创建对人类来说简单但对AI来说困难的任务变得不可能时，你就知道人工智能通用智能已经到来了。”肖莱特说道。

克诺普表示，计划在第一季度推出第二代ARC-AGI基准测试及新竞赛。同时，该非营利组织还将着手设计第三代ARC-AGI。

目前尚不清楚ARC Prize Foundation将如何应对有关肖莱特过度宣传ARC-AGI作为实现AGI基准的批评。AGI的定义目前正受到热烈争议；OpenAI的一位员工最近声称，如果将AGI定义为“在大多数任务上比大多数人更好的AI”，那么AGI“已经”实现。

值得一提的是，OpenAI首席执行官萨姆·奥特曼去年12月表示，该公司计划与ARC-AGI团队合作，共同构建未来的基准测试。然而，在本次公告中，肖莱特并未提及可能的合作关系。

不过，ARC Prize Foundation在一系列关于X的帖子中提到，他们将建立一个“学术网络”，以进一步推动AGI的进步和评估，并建立“前沿AI实验室合作伙伴联盟”，以合作制定行业AGI基准测试。