本周在拉斯维加斯举行的年度AWS会议re：Invent上，亚马逊发布了几个与AI相关的新闻公告。亚马逊宣布了一些新产品和新功能：推出一款由AWS设计的芯片Inferentia，专门用于部署带有GPU的大型AI模型；AWS SageMaker Ground Truth，主要为自定义AI模型、人类训练AI模型提供数据标记；全新GPU instance。

Inferentia

亚马逊宣布推出一款由AWS设计的芯片Inferentia，专门用于部署带有GPU的大型AI模型，该芯片预计于明年推出。

Inferentia将适用于TensorFlow和PyTorch等主要框架，并与EC2instance类型和亚马逊的机器学习服务SageMaker兼容。

AWS首席执行官Andy Jassy在re：Invent会议上表示，“你将能够在每个芯片上获得数百个TOPS，而且如果你愿意的话，你可以将它们组合在一起以获得数千个TOPS。”

Inferentia还适用于Elastic Inference，后者是一种加速使用GPU芯片部署AI的方法。Elastic Inference可以处理1到32 teraflops的数据范围。Inferentia检测EC2instance何时使用主要框架，然后查看神经网络的哪些部分将从加速中获益最多，之后，它将这些部分移动到Elastic Inference，以提高效率。

Jassy表示，今天推出AI模型所需的两个主要流程是训练和推理，而推理的成本占了近90％。“我们认为运营成本可以通过Elastic Inference节省75％，如果你将Inferentia放在上层，成本将再优化10倍，所以这将是一个巨大的改变，这两款产品的推出为我们的客户带来了重大的启发。”

全新GPU instance

亚马逊还推出全新的GPU instance产品。新的P3dn GPU instance是分布式机器学习和高性能计算应用的理想选择。这些instance由NVIDIA Tesla Tensor Core V100 GPU组成，每个GPU具有32GB内存。

团队表示，“这使开发人员能够在多个instance中线性扩展模型训练性能，加速预处理并消除数据传输瓶颈，并迅速提高其机器学习模型的质量。”

新的GPU instance具有100 Gbps网络吞吐量，可实现HPC和机器学习训练的分布式工作负载的横向扩展。

Jeff Barr表示，GPU内存是p3.16xlarge instance的两倍，vcpu数量是p3.16xlarge instance的1.5倍，这些instance将让你探索更大、更复杂的深度学习算法、渲染3D图像、实时转换视频代码、模拟金融风险等等。与现有的P3 instance相比，新的P3dn instance的网络吞吐量提高了4倍。

新的GPU instance将于下周上市。

AWS SageMaker Ground Truth

AWS SageMaker Ground Truth，主要为自定义AI模型或人类训练AI模型提供数据标记，SageMaker是亚马逊用于构建，训练和部署机器学习模型的服务。

SageMaker于一年前首次在re：Invent上推出，并与其他服务开展竞争，如微软的Azure机器学习和谷歌的AutoML。

在此之前，亚马逊上周为SageMaker添加了GitHub集成和内置算法。而今年早些时候，引入了在自己的机器上本地训练模型的能力。

此外，亚马逊今天还宣布：推出AWS市场，供开发人员销售他们的AI模型；DeepRacer League和AWS DeepRacer汽车，该汽车在模拟环境中使用强化学习训练的AI模型上运行。

在今天预览中还提供了许多无需预先知道如何构建或训练AI模型的服务，包括Textract用于从文档中提取文本，Personalize用于客户建议，以及Amazon Forecast，一种生成私有预测模型的服务。