Google speech summit 2018 第三天

这两天都在青旅摸爬滚打，空间比较小，写不了东西，所以拖到了今天。

5月4号的会只有1上午，两个讲座一个roundtable。

讲座1: Conversational recommendation system

讲的是系统设计的思路，无关技术细节。

（1）对话系统是用户对系统说一些话，系统给出回答。

（2）用户会将系统看作一个具有道德的个体，但是现在的使用系统还是停留在给一些feedback的层面。

（3）User revealment：系统跟进想知道用户到底要什么，有很多时候用户自己并不清楚。比如第一次买婴儿车，店员可能会问很多问题，来明确用户到底想要什么。

（4）记忆力：系统需要记住用户说过的信息，并且推理当前的问题。

（5）System revealment：用户给出一些信息，可能比较模糊，比如： 能把上个信息从国外某个大学做语音识别那个教授（忘了教授的名字）的email找到吗？系统需要从这个问题中提取相关的信息。

问题：

（1）Google的对话系统有多好？不够好，有些任务做的还不行。对话系统没法用metric来评价，没有参考，没有数据库。

（2）数据库会随着用户的对话增加吗？会

（3）系统会充当销售人员的角色吗？取决于如何描述query的结果，应该从满足用户需要的角度考虑。

讲座2: Conversational system demo

位于Zurich的负责人介绍了手机端对话系统，做了很多演示。

（1）用户可能有上千种方式问同一个问题。比如问天气，可能问“明天会下cats and dog吗？”或是简单几个词“明天、天气”。

（2）越细节的问题越是long tail的问题。

（3）举了个teleport的例子，问google能否带他去tour eiffel，google打开street view，把他带到了tour eiffel。

（4）如果问了一个问题后，继续追加提问，不需要问之前问过的context。比如第一个问题是“tour eiffel是谁建的？”第二个问题“什么时候建的？”不需要提及tour eiffel。

（5）可以教系统记住一些信息。举例先说“如果Zurich气温低于25摄氏度，我就不会去湖里游泳。”第二个问题“今天我能去湖里游泳吗？”答案是气温太低。

（6）对话系统可以进入相册，gmail去查找信息。所以有不同的机器学习模块，比如图像识别，NLP处理。

（7）举例扫描一张名片，会打开contact，问你要不要添加联系人。

问题：

（1）可以从语音识别用户的情感吗？不能现在。

（2）怎样让开发过程managable？老得developer会带新人，避免他们做重复的工作。

（3）问了现场有多少人用对话系统，举手的只有4、5个。他分析说，这一代人熟悉了google打字搜索的interface，以后会习惯对话的方式。

Roundtable: ASR

（1）Google做ASR的大部分人在Mountain view。

（2）提到了ASR里面的context modeling，应该是指按照用户所处的空间环境做不同的应答，属于conversational system的问题。

（3）提到了music recommendation，按照用户所处的地点，推荐不同的歌曲。

（4）有人设想说google应该分析用户所处的环境使用不同的模型。比如识别噪音环境，然后ASR根据噪音调整。识别Reverb的环境，ASR做调整。

（5）有考虑言语障碍的人吗？他立即show出unbiasing的t-shirt logo。说google dictation对于重复某个词非常robust。识别一个有较长停顿的utterrance可能可以通过调整end pointer。

（6）music recommendation可能是google music做的，他们不了解。跟youtube的推荐类似。

（7）在多语言环境下的ASR比如新加坡，有不同的口音。比如一个德国人开车到法国，法国的地名用德语的发音。

（8）有人问在google实习怎么搞。先联系团队负责人，看工作是否对口。然后技术面，比较难。

下午Olga Slizovskaia和Jordi Pons去Queen Mary University做了两个报告。Olga做了音视频多模态的报告，state-of-the-art讲的有点过多。

Jordi做了Musically-motivated CNN，https://arxiv.org/pdf/1805.00237.pdf

见到了Queen Mary C4DM梁贝茨、汪长虹、盛迪，她们都挺好！

第二天下午见到了University of Surrey的孔秋强，他也好。一起去吃了拉面，拉面也很好。哈哈。