近日,初创公司Hotshot宣布推出一款名为Hotshot的文本转视频AI生成器,并公开了其早期预览版本。该公司的三位创始人Aakash Sastry、John Mullan以及Duncan Crawbuck在2023年创立了Hotshot。Sastry在X社交网络上发表声明称:“借助我们的模型,我们能够为用户构建出强大的新型视频应用。这仅是开端,我们将持续分享更多进展。”
公众现在可以免费使用Hotshot服务,网址为Hotshot.co。用户每天可生成两个无水印视频。此前,Hotshot曾是一款AI照片创建及编辑应用程序,但现在已不再维护。
通过X Direct Message,Sastry透露他们团队在过去十一年里一直致力于消费者应用程序的开发,并获得了来自Lachy Groom、Alexis Ohanian以及SV Angel等投资者的支持。
根据团队发布的一篇论文介绍,Hotshot是一款可以生成长达10秒、分辨率为720p的视频的文本转视频模型。这项工作由四名工程师耗时四个月完成。在此之前,Hotshot还训练过一个开源模型Hotshot-XL,它能生成每秒8帧、时长为一秒的视频,目前有超过2万名月活跃用户。此外,团队还开发了一个后续模型Hotshot Act-One,用于制作三秒长的视频片段,同样保持每秒8帧的速度。
此次发布的Hotshot模型是迄今为止最雄心勃勃的作品。论文提到,在训练过程中,团队使用了6亿个视频片段和数千台GPU。由于硬件经常出现故障,特别是当它们处于极限状态时,因此整个训练过程需要不断监控。论文指出,管理这一流程对团队成员来说是一项全天候的工作。
为了压缩视频的空间和时间数据,团队训练了一个新的自动编码器,使视频能够在减小体积的同时保留所有内容信息,以便进一步训练AI模型。
Hotshot的文本转视频模型具有高度灵活性,未来可能扩展至更长时间的视频、更高分辨率以及包含音频等其他模态。Sastry在X上展示了Hotshot能够产生不同风格的视频示例,包括类似漫画书动画或转描技术制作的视频。他还预测,人工智能生成的内容将成为数字媒体的重要组成部分。预计在未来12个月内,整个视频都可通过AI生成,创作者将能够控制从文本到视频再到音频的整个生成过程。