那个震惊世界的AI语音生成平台正在进行更新以打击滥用行为。ElevenLab的语音克隆功能已经被用于正面和负面的用例。最新的更新能否阻止滥用行为呢？

生成式人工智能具有生成各种类型的内容的能力，包括文本、艺术、图像，甚至语音。



AI初创公司ElevenLabs自一月份的测试版推出以来，一直支持文本到语音的生成和声音克隆，并积累了超过一百万注册用户。

周二，ElevenLabs宣布完成了一轮1900万美元的A轮融资，并对平台进行了一些重大更新，其中包括解决其最大争议的问题。

自从推出以来，Elevenlabs的语音生成技术产生了积极和消极的影响。

Elevenlabs明确指出了一些积极的用途，包括“独立作者创建有声书，开发人员为视频游戏中的角色配音，帮助视力受损者访问在线书面内容，并为世界首个人工智能广播频道提供动力”。

尽管这些应用案例对于许多不同行业的业务流程是积极的并推动了进步，但也存在同样有害的应用。

这个语音克隆工具可以获取个人声音片段来生成新的音频，已经被用于恶意用途，使公众人物似乎发表了可怕的、歧视性的言论。

发布测试版后的几个星期，Elevenlabs立即在Twitter上回应了“语音克隆的滥用案例”。该公司提出了解决该问题的潜在方法，如附加的账户验证、声音版权验证、将语音克隆转移到付费级别，甚至是手动验证每个请求。

今天，该公司向公众发布了这个似乎是应对问题的解决方案——AI语音分类器。该工具可以判断上传的音频是否包含了Elevenlabs的人工智能生成音频。

Elevenlabs在发布中表示：“AI语音分类器的发布是该公司追求透明度的最新一步，也是他们致力于创建安全生成媒体环境的基石。”

根据之前宣布该工具的帖子，该工具在识别未经修改的音频时保持了超过99%的准确率。

然而，如果音频经过了编解码器或混响的转换，准确率会下降到90%以上，音频的处理越多，准确率下降越多。

该工具不能防止滥用，只能在最初的损害发生后帮助澄清混淆。它解决问题的效果是可疑的，但这是一个小的步骤。

这并不是首次发生将人工智能生成技术滥用来针对公众人物的情况。例如，一个人工智能音乐生成器可以生成一首听起来像是Drake和The Weekend合作的曲子，尽管实际上两位艺术家并没有参与其中。

AI艺术和图像生成器也被用来生成公众人物进行某些活动的虚假、逼真的图像。其中一些图像被用作政治宣传的负面材料，而其他的则仅用于娱乐目的，比如教皇Pope Francis穿着羽绒服的表情包。

除了AI语音分类器之外，Elevenlabs还宣布将“Projects”引入其产品套件。

“Projects”是一个编辑和创建长篇语音内容的工作流程，现在可以提前访问。它旨在为音频编辑需求提供一站式服务，并为音频创作提供“谷歌文档级别的简单性”。

“Projects”功能的添加与我们在其他创意平台上看到的类似，如Vimeo、TikTok和Adobe Express。这些平台的目标是以一种优化用户工作流程的方式实施人工智能，并实现简化、优化内容的创作。

 

来源：https://www.zdnet.com/article/the-ai-voice-generating-platform-that-shocked-the-world-is-getting-an-update-to-fight-abuse/