您尚未登录账户
您的企业账号申请正在审核中
ElevenLabs推出视频转声音效果AI工具
在AI语音技术领域的创业公司ElevenLabs发布了其文本转声音AI产品Sound Effects不久后，该公司又迅速推出了一款开源工具，以展现其技术的巨大潜力。这款应用能够在“大约15秒内”为视频创作者生成声音效果样本，通过解析导入的视频片段并提供多种选择来实现。
尽管开发者可以在GitHub上访问这款应用的源代码，但ElevenLabs还特意为公众准备了一个网站，让他们能够轻松尝试使用Sound Effects API。
当你上传一个视频时，这款“视频转声音效果”应用会在客户端以一秒的间隔选取四个关键帧。随后，这些帧和一段提示信息会被发送到OpenAI的GPT-4模型，用于生成一个定制化的文本转声音效果提示。这个提示再经过ElevenLabs的Sound Effects API处理，生成对应的声音效果。最后，视频和音频在客户端合并成一个文件，用户可以下载使用，这个文件时长可以达到22秒。
ElevenLabs的设计主管Ammaar Reshi在接受采访时表示：“我们认为这是对我们SFX API功能的一个有力验证。AI视频创作者常常在寻找完美的声音效果，我们觉得通过理解他们视频中的帧，并据此提出最佳的声音输出，可以智能地加速他们的工作流程。”他还表示，公司对这个API可能带来的各种创新体验感到兴奋，并特别提到了沉浸式视频游戏，其中声音可以根据玩家的互动实时生成。
这款API允许开发者使用简短的描述来构建完全自定义的AI声音效果。ElevenLabs根据生成的音频时长收费，每生成一次收费100个字符，或者按照设定的时长计费，每秒25个字符。
在简短的测试中，这款视频转声音效果应用展现出了它的便捷性。在导入了一个没有音频的汽车在全地形环境中行驶的电影片段后，ElevenLabs的AI生成了四个选项，每个听起来都像是一辆汽车在砾石路上行驶的声音。尽管将声音效果应用到片段中很有趣，但真正的潜力可能在于将这种能力集成到更大的系统中，以发挥更大的作用。
随着AI视频生成领域的热度不断上升，ElevenLabs可能会继续探索新的音频解决方案，以满足开发者、电影制作人和创作者们日益增长的需求，保持其在行业中的领先地位。
