Google speech summit 2018 第三天

这两天都在青旅摸爬滚打,空间比较小,写不了东西,所以拖到了今天。

5月4号的会只有1上午,两个讲座一个roundtable。

讲座1: Conversational recommendation system

讲的是系统设计的思路,无关技术细节。

(1)对话系统是用户对系统说一些话,系统给出回答。

(2)用户会将系统看作一个具有道德的个体,但是现在的使用系统还是停留在给一些feedback的层面。

(3)User revealment:系统跟进想知道用户到底要什么,有很多时候用户自己并不清楚。比如第一次买婴儿车,店员可能会问很多问题,来明确用户到底想要什么。

(4)记忆力:系统需要记住用户说过的信息,并且推理当前的问题。

(5)System revealment:用户给出一些信息,可能比较模糊,比如: 能把上个信息从国外某个大学做语音识别那个教授(忘了教授的名字)的email找到吗?系统需要从这个问题中提取相关的信息。

问题:

(1)Google的对话系统有多好?不够好,有些任务做的还不行。对话系统没法用metric来评价,没有参考,没有数据库。

(2)数据库会随着用户的对话增加吗?会

(3)系统会充当销售人员的角色吗?取决于如何描述query的结果,应该从满足用户需要的角度考虑。

讲座2: Conversational system demo

位于Zurich的负责人介绍了手机端对话系统,做了很多演示。

(1)用户可能有上千种方式问同一个问题。比如问天气,可能问“明天会下cats and dog吗?”或是简单几个词“明天、天气”。

(2)越细节的问题越是long tail的问题。

(3)举了个teleport的例子,问google能否带他去tour eiffel,google打开street view,把他带到了tour eiffel。

(4)如果问了一个问题后,继续追加提问,不需要问之前问过的context。比如第一个问题是“tour eiffel是谁建的?”第二个问题“什么时候建的?”不需要提及tour eiffel。

(5)可以教系统记住一些信息。举例先说“如果Zurich气温低于25摄氏度,我就不会去湖里游泳。”第二个问题“今天我能去湖里游泳吗?”答案是气温太低。

(6)对话系统可以进入相册,gmail去查找信息。所以有不同的机器学习模块,比如图像识别,NLP处理。

(7)举例扫描一张名片,会打开contact,问你要不要添加联系人。

问题:

(1)可以从语音识别用户的情感吗?不能现在。

(2)怎样让开发过程managable?老得developer会带新人,避免他们做重复的工作。

(3)问了现场有多少人用对话系统,举手的只有4、5个。他分析说,这一代人熟悉了google打字搜索的interface,以后会习惯对话的方式。

Roundtable: ASR

(1)Google做ASR的大部分人在Mountain view。

(2)提到了ASR里面的context modeling,应该是指按照用户所处的空间环境做不同的应答,属于conversational system的问题。

(3)提到了music recommendation,按照用户所处的地点,推荐不同的歌曲。

(4)有人设想说google应该分析用户所处的环境使用不同的模型。比如识别噪音环境,然后ASR根据噪音调整。识别Reverb的环境,ASR做调整。

(5)有考虑言语障碍的人吗?他立即show出unbiasing的t-shirt logo。说google dictation对于重复某个词非常robust。识别一个有较长停顿的utterrance可能可以通过调整end pointer。

(6)music recommendation可能是google music做的,他们不了解。跟youtube的推荐类似。

(7)在多语言环境下的ASR比如新加坡,有不同的口音。比如一个德国人开车到法国,法国的地名用德语的发音。

(8)有人问在google实习怎么搞。先联系团队负责人,看工作是否对口。然后技术面,比较难。

下午Olga Slizovskaia和Jordi Pons去Queen Mary University做了两个报告。Olga做了音视频多模态的报告,state-of-the-art讲的有点过多。

Jordi做了Musically-motivated CNN,https://arxiv.org/pdf/1805.00237.pdf

见到了Queen Mary C4DM梁贝茨、汪长虹、盛迪,她们都挺好!

第二天下午见到了University of Surrey的孔秋强,他也好。一起去吃了拉面,拉面也很好。哈哈。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180506G17J0600?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券