开发一个能够理解自然语言的AI系统不仅耗时，而且成本高昂。开发人员必须收集数千个语音样本并手动注释，这个过程通常需要数周。

现在，亚马逊Alexa研究人员寻求迁移学习解决方案，它利用神经网络，在先前注释的样本的大型数据集上训练，以便在用稀少的数据在新领域中进行训练。去年，团队表明，对于少量的训练数据，迁移学习可以将自然语言理解（NLU）的错误率平均降低14％。

在新发表的论文“Unsupervised Transfer Learning for Spoken Language Understanding in Intelligent Agents”中，Alexa AI团队描述了一种技术，利用亚马逊语音助手数百万次无注释的交互，将自然语言理解错误率比原来再降低8％。他们将在夏威夷檀香山的人工智能促进协会（AAAI）展示具体成果。

这些交互用于训练AI系统以生成嵌入（单词的数字表征），使得具有相似功能的单词紧密地组合在一起。正如Alexa AI的应用科学家Anuj Goyal和该研究的共同作者所解释的那样，嵌入倾向于通过与其他单词的共现来对单词进行分组，也就是说，它们以特定顺序出现在一起的频率。

Goyal表示，“两个词的共现词越多，它们在嵌入空间中的距离就越近。嵌入因此捕获关于单词的语义相似性的信息，而不需要人类对训练数据的注释。”

嵌入基于一种称为自语言模型的嵌入（ELMo）的方案，简化为使其足够有效地用于像Alexa这样的实时系统。独特的是，研究人员的变体是上下文敏感的 - 像“树皮”这样的词在“狗的树皮响亮”和“树的树皮很硬”中接受不同的嵌入。该方案经过了简化，使其对于Alexa这样的实时系统足够有效。特别是研究人员的变体是对上下文敏感的一个词，如“bark”，接受不同的嵌入结果是，“狗的‘吠声’是响亮的”“‘树皮’是坚硬的”。

在测试中，Alexa研究人员将ELMo及其优化版本ELMo Light（ELMoL）与未使用嵌入方案的网络进行了比较。通过ELMo和ELMoL，他们用Alexa的2.5亿个未注释请求对嵌入层训练，并对现有的Alexa服务使用了另外400万个带注释的请求，以便在两个标准的自然语言处理任务上训练这三个网络。

具体而言，网络的任务是（1）意图分类，或确定Alexa用户想要执行的操作，（2）插槽标记，或确定操作应该应用于哪些实体。

一旦网络经过训练，就会对有限数据进行再训练，以执行新任务。使用ELMo嵌入的网络表现最佳，ELMoL网络紧随其后。上述错误减少8％是通过100到500个训练样例实现的。

Goyal写道，“当最终再训练的数据量很小，这些改进是最大的，但这正是迁移学习最有用之处。”

论文：
arxiv.org/pdf/1811.05370.pdf