NVIDIA已经更新了NVIDIA Avatar Cloud Engine (ACE),为AI驱动的虚拟人物和数字化人类提供了新的动画和语音能力。这些增强功能侧重于自然对话和情感表达。
开发者现在可以通过早期访问程序,访问云API,用于自动语音识别(ASR)、文本到语音(TTS)、神经机器翻译(NMT)和Audio2Face(A2F)。这些工具,结合像Unreal Engine 5这样的流行渲染工具,使得创作者能够构建先进的虚拟人物体验。
ACE AI动画功能现在包括了对A2F情绪支持的增加,以及用于身体、头部和眼部动作的Animation Graph微服务。这些新增功能旨在创造更富有表现力的数字化人类。新的微服务便于渲染制作和实时推理,并且A2F质量改进增强了唇部同步,使数字人类的表示更加逼真。
ACE套件现在支持包括意大利语、欧盟西班牙语、德语和普通话在内的额外语言,并且提高了ASR技术的准确性。云API简化了对Speech AI功能的访问。新的Voice Font微服务允许自定义TTS输出,使得在各种场景下能创建独特的语音应用。
ACE Agent,一个新的对话管理和系统集成工具,通过协调微服务之间的连接,提供了无缝的体验。开发者现在可以集成NVIDIA NeMo Guardrails、NVIDIA SteerLM和LangChain,以获得更加受控和精确的响应。
这些更新使得在不同的渲染和编码环境中使用这些工具变得更加容易。新功能包括在Avatar配置器中对blendshapes的支持,以与如Unreal Engine这样的渲染器集成,为Python用户的一个新的A2F应用,以及用于在客户服务中开发虚拟助理的参考应用程序。