编译:温煦
出品:ATYUN订阅号
今年7月,Loup Ventures公布了一项“年度智能助理智商测试”的结果,该测试将谷歌助手与苹果的Siri,亚马逊的Alexa和微软的Cortana进行对比,在回答800个真实问题后,将这四款人工智能系统排序。
现在,Loup公司又开始进行一项“年度智能音箱智商测试”,重点关注智能助手如何通过诸如Google Home、Apple HomePod和Amazon Echo等扬声器进行测试。
与先前的情况一样,Home Mini上的Google助理再次以100%的问题理解率在小组中排名第一,回答正确率为87.9%,高于7月份在智能手机测试时的85.5%和2月份Loup最后一次智能音箱测试的81%。助理的回答在五个类别中的四个类别(即本地、商业、导航和信息请求)中击败了所有的竞争对手,仅在“命令”请求中排名第二,准确率为73%。
苹果公司的Siri在HomePod上的表现较2月份的中等水平有了强劲增长,但在iPhone上测试时,其7月份的表现不及7月份。通过语音助手,Siri正确回答了74.6%的问题,高于2月份的52.3%,而理解问题的几率为99.6%。这与7月份通过iPhone获得的78.5%的正确率相似,但有所下降。有趣的是,Loup注意到Siri将“除了音乐以外的任何东西”的请求传回iOS设备进行处理。即便如此,HomePod在“命令”类别中仍领先所有竞争对手,准确率达85%。
马逊的Alexa和微软的Cortana再次分列第三和第四位,但它们在通过智能音箱正确回答问题方面都有所进步。Alexa通过Echo的应答正确率为72.5%,相比之下,2月份通过智能音箱的应答正确率为64%,7月份使用手机的应答正确率为61.4%,这一增长使其几乎与昂贵得多的HomePod并驾齐驱。Cortana通过Harman Kardon Invoke的智能音箱获得了63.4%的正确答复,比二月份的智能音箱测试和七月份的智能手机测试分别提高了57%和52.4%。根据Loup的说法,专有名词仍然是使用者最大的难点,除了专有名词,智能音箱几乎可以理解用户对他们说的一切。除了这些,所有的智能助手都在进行改进,Siri从其他专业领域中学习更多知识,而Alexa则可能从Alexa Answers等众包知识中受益。一些ai还添加了接口,以便与第三方合作伙伴进行更大的交互。
虽然Loup预计7月份会再次更新其智能手机智能助理,但并不期望人工智能会正确地回答他们提出的所有问题,目前人工智能能做的事情,大多是控制更广泛的设备,或者在现有能力范围内提供信息服务的功能,所以我们很期待看到明年的预测。