Pocket FM携手ElevenLabs推动AI文本转语音技术

2024年06月21日 由 daydream 发表 135 0

Lightspeed Ventures支持的音频平台Pocket FM宣布,已经与语音克隆公司ElevenLabs达成合作,通过AI技术迅速将文本内容如脚本等转化为音频系列。


微信截图_20240621110522


Pocket FM在3月成功获得了1.03亿美元的D轮融资,并透露他们正在尝试借助ElevenLabs的技术实现文本到音频的转换。如今,这家印度公司进一步扩大了与ElevenLabs的合作关系,计划在未来数周内向所有创作者提供这一转换工具。


在测试阶段,Pocket FM已经运用ElevenLabs的AI技术制作了30,000小时的音频系列。随着新工具的上线,该公司预计今年其超过100,000小时的音频内容库将增长三倍。Pocket FM还表示,在试验阶段,AI工具帮助他们降低了90%的音频制作成本。


微信截图_20240621110540


Pocket FM的联合创始人兼首席技术官Prateek Dixit表示,此次合作旨在帮助作家更轻松地将他们的作品转化为音频系列。


“我们拥有超过250,000名作家(包括旗下Pocket Novel写作平台的作家),这一合作降低了他们设置和录制音频的成本。”他说道。


“即使拥有先进的录音工具和设备,作家每天也只能制作大约30分钟的高质量音频内容。而借助AI工具,这一产出量可以提高10倍。”他补充说。


Pocket FM已经开发了一个集成了ElevenLabs技术的工具,通过该工具,它为希望将内容转化为音频的作家提供了50种声音选择。ElevenLabs的联合创始人Mati Staniszewski表示,该公司的工具能够理解写作的上下文,并自动通过声音表达情感。


“与Pocket FM合作,我们正在部署我们的新模型,这些模型更了解写作的体裁,并且在情感表达上更加出色”Staniszewski说。


Dixit还透露,基于用户与这类内容的互动数据,该平台计划为特定体裁的作家推荐合适的声音。


Pocket FM并非唯一一家尝试使用AI驱动工具的音频系列平台。谷歌支持的Kuku FM也在利用GPT-4、Claude、BandLab和Even ElevenLabs等工具,帮助作家完成创作的各个阶段,包括完善剧本、生成缩略图、添加音效和将文本转化为音频。


Kuku FM说,他们还在尝试使用Midjourney和Runway等视觉生成工具来创作与内容相关的广告。


尽管AI驱动的工具承诺能更快地生成更多内容,但内容质量和对艺术家的影响仍是一个重要问题。Pocket FM通过使发现算法更为复杂并鼓励用户参与来辅助发现和呈现优质内容。


“如果一位作家发布了一个音频系列,我们会将该内容呈现给一定数量的用户,并观察参与指标。如果这些指标是积极的,我们会进一步推广它。”Dixit说。


AI的应用可能会使这些平台更快地实现目标并扩大内容库,但也会减少与它们合作的配音演员的角色。印度配音演员协会(AVA)对AI的介入表示担忧。


“如果AI全面接管,我们就完了。作为配音演员,我们需要制定一些规定来保护我们的生计。”该协会秘书长Amarinder Singh Sodhi告诉印度媒体Scroll。


Sodhi还告诉Scroll,有些配音演员被叫到录音棚录制样本以训练AI,但并未得到他们的同意或告知他们。


“从情感层面来说,这让我感到害怕。使用AI本质上是在稀释人类讲故事的体验。你会失去情感联系。”德里配音演员Aditya Mattoo告诉TechCrunch。


他还补充说,将优质声音提供给那些没有品味和技能制作优质内容的人,将导致市场充斥着劣质内容。


当被问及AI驱动的语音生成对Pocket FM的影响时,该公司并未直接回答这个问题。然而,Dixit指出,在他们的实验中,AI生成内容的参与度“与人类配音制作一样好”。值得注意的是,该公司还在研发技术,以在单个音频输出中融入多个声音。


目前,Pocket FM和Kuku FM都没有对其内容进行标记,以表明在创作过程中是否使用了AI。

文章来源:https://techcrunch.com/2024/06/20/pocket-fm-partners-with-elevenlabs-to-convert-scripts-into-audio-content-quickly/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
写评论取消
回复取消