NVIDIA在语言理解方面成功突破，它在BERT的训练和推理方面创下了纪录，使开发人员有机会使用BERT和实时推理工具（如TensorRT）更自然地开发会话AI应用程序，从而大大加快其AI语音应用程序的速度。

NVIDIA AI平台是第一个在不到一个小时的时间内训练出BERT的平台，并在2毫秒左右的时间完成完整的AI推理。这种突破性的性能水平使开发人员能够将最先进的语言理解用于应用程序，并向全球数亿消费者提供。

此外，NVIDIA目前已经训练出了世界上最大的语言模型MegatronLM。包含83亿个参数，比谷歌的 BERT 大24倍，比 OpenAI 的 GPT-2 大5.6倍。

有限的会话AI服务已存在多年。但是到目前为止，聊天机器人，智能个人助理和搜索引擎一直很难以人类的理解水平运行，因为它们无法实时部署超大的人工智能模型。

NVIDIA通过在其人工智能平台上添加关键优化来解决这一问题，该平台在人工智能训练和推理方面实现了速度记录，并构建了迄今为止同类语言中最大的语言模型。

NVIDIA应用深度学习研究副总裁Bryan Catanzaro说，“大型语言模型正在为自然语言革新AI，它们正在帮助我们解决特别困难的语言问题，使我们更接近真正对话AI的目标，NVIDIA开创性的工作加速了这些模型，使组织能够创建新的，最先进的服务。”

最快的训练与推理

由自然语言理解提供支持的人工智能服务有望在未来几年呈指数级增长。据Juniper Research预计，未来四年，仅数字语音助手一项就将从25亿美元增至80亿美元。此外，Gartner预测，到2021年，15%的客户服务互动将完全由人工智能处理，比2011年增加400%。

NVIDIA帮助引领了这个新时代，通过关键优化对其AI平台进行了微调，从而产生了三种新的自然语言理解性能记录：

• 最快的训练：使用92台运行1472台运行NVIDIA V100 gpu的DGX- 2h系统，运行世界上最先进的人工智能语言模型BERT，将BERT-Large的训练时间从几天缩短到53分钟。此外，NVIDIA在2.8天内仅在一个NVIDIA DGX-2系统上训练了BERT-Large，这展示了NVIDIA GPU对会话AI的可扩展性。


• 最快的推理：使用运行NVIDIA TensorRT的NVIDIA T4 GPU，NVIDIA仅在2.2毫秒内对BERT-Base SQuAD数据集进行了推理，远低于许多实时应用的10毫秒处理阈值，与使用高度优化的CPU代码测量超过40毫秒相比，这是一个显著的改进。


• 最大的模型：NVIDIA Research专注于开发人员对大型模型不断增长的需求，建立并训练了基于Transformers的世界上最大的语言模型，NVIDIA的定制型号具有83亿个参数，是BERT-Large的24倍。

生态系统采用

全球数百名开发人员已经在使用NVIDIA的AI平台来推进他们自己的语言理解研究并创建新服务。

例如，Microsoft Bing正在利用其Azure AI平台和NVIDIA技术的强大功能来运行BERT并推动更准确的搜索结果。

通过与NVIDIA的密切合作，Bing使用NVIDIA GPU（Azure AI基础架构的一部分）进一步优化了流行的自然语言模型BERT的推理，这使得Bing在去年部署的搜索质量排名得到了最大的提升。

NVIDIA的Inception计划中的几家初创公司，包括Clinc，Passage AI和Recordsure，也在使用NVIDIA的AI平台为银行，汽车制造商，零售商，医疗保健提供商，旅游和酒店公司等构建最前沿的会话AI服务。

NVIDIA AI平台提供的性能使公司能够突破对话AI的界限，并提供革命性的服务，帮助客户以强大，更有意义的方式与客户互动。

可用的优化

NVIDIA已经为开发人员提供了用于实现会话人工智能突破的软件优化：

使用PyTorch的NVIDIA GitHub BERT训练代码

TensorFlow的NGC模型脚本和检查点

TensorRT在GitHub上优化了BERT样本

更快的Transformer：C ++ API，TensorRT插件和TensorFlow OP

MXNet Gluon-NLP，支持AMP的BERT（训练和推理）

AI Hub上的TensorRT优化BERT Jupyter笔记本

Megatron-LM：用于训练大型变压器模型的PyTorch代码

NVIDIA的BERT实现是流行的Hugging Face回购的优化版本

博客详情：

nvidianews.nvidia.com/news/nvidia-achieves-breakthroughs-in-language-understandingto-enable-real-time-conversational-ai

GitHub：

github.com/NVIDIA/Megatron-LM