今年7月，Loup Ventures公布了一项“年度智能助理智商测试”的结果，该测试将谷歌助手与苹果的Siri，亚马逊的Alexa和微软的Cortana进行对比，在回答800个真实问题后，将这四款人工智能系统排序。

现在，公司又开始进行一项“年度智能音箱智商测试”，重点关注同一位助手如何通过诸如Google Home、Apple HomePod和Amazon Echo等扬声器进行测试，测试结果十分有趣。

与先前的情况一样，Home Mini上的Google助理再次以100%的问题理解率在小组中排名第一，回答正确率为87.9%，高于7月份在智能手机测试时的85.5%和2月份Loup最后一次智能音箱测试的81%。助理的回答在五个类别中的四个类别（即本地、商业、导航和信息请求）中击败了所有的竞争对手，仅在“命令”请求中排名第二，准确率为73%。

苹果公司的Siri在HomePod上的表现较2月份的中等水平有了强劲增长，但在iPhone上测试时，其7月份的表现不及7月份。通过语音助手，Siri正确回答了74.6%的问题，高于2月份的52.3%，而理解问题的几率为99.6%。这与7月份通过iPhone获得的78.5%的正确率相似，但有所下降。有趣的是，Loup注意到Siri将“除了音乐以外的任何东西”的请求传回iOS设备进行处理。即便如此，HomePod在“命令”类别中仍领先所有竞争对手，准确率达85%。



亚马逊的Alexa和微软的Cortana再次分列第三和第四位，但它们在通过智能音箱正确回答问题方面都有所进步。Alexa通过Echo的应答正确率为72.5%，相比之下，2月份通过智能音箱的应答正确率为64%，7月份使用手机的应答正确率为61.4%，这一增长使其几乎与昂贵得多的HomePod并驾齐驱。Cortana通过Harman Kardon Invoke的智能音箱获得了63.4%的正确答复，比二月份的智能音箱测试和七月份的智能手机测试分别提高了57%和52.4%。根据Loup的说法，专有名词仍然是说话者最大的难点，否则他们几乎可以理解用户对他们说的一切。然而，除了这些，所有的助手都在进行“有意义的”改进，Siri从增加额外的专业领域中获益，而Alexa则可能从Alexa Answers等众包知识中受益。一些ai还添加了挂钩，以便与第三方合作伙伴进行更大的交互。

虽然Loup预计7月份会再次更新其智能手机数字助理，但它并不期望人工智能会正确地回答他们提出的所有问题，他们能做的事情，大多是控制更广泛的设备阵列，或在现有能力范围内提供诸如此类的功能。平时使用电子邮件、日历和发消息时，每项改进都会为用户增加实际价值，所以我们很期待看到明年的预测。