摆脱键盘输入 百度在线图片问答系统

【嘉德点评】百度基于图片识别的问答处理方法，不同于以往需要用户手动输入文字以对话的形式进行检测的方式，用户在遇到问题时，直接针对于目标问题进行截图即可。

集微网消息，随着计算机网络技术的发展，各种互联网应用，例如网页应用、或是终端应用会提供与互联网用户交互的问答平台或窗口，互联网用户可以通过问答平台或窗口提交在使用应用过程中遇到的问题，以期获得问题的答案。

现有技术中，通常是由应用相关的人工客服或是智能客服系统对用户提交的问题进行分析和解答，一般情况下智能客服系统仅能够通过文本形式的内容与用户进行交流，即需要用户输入文本形式的问题。

而人工客服虽然能够对用户提交的各种形式的内容，例如文本形式或是图片形式等多种形式的问题进行处理，但是此种方式的运用需要的人力成本较高，并且问题处理的效率较低，且受不同人工客服的操作经验的影响、易出现整体上问题处理水平不一致的情况。

对于用户量较大的互联网应用，通常用户的提问频率较高且问题种类较多，此时，不论是现有的智能客服系统，或是人工客服都无法兼顾方便用户操作、提高问题处理的效率、并且降低资源成本等各种有益效果。

针对于上述问题，百度在17年8月25日申请了一项名为“一种基于图片识别的问答处理方法与设备”的发明专利（申请号：201710743444.8），申请人为百度在线网络技术（北京）有限公司。

根据现有的专利公开资料，让我们一起来看看这项基于图片的在线问答方法吧。

如上图所示为一种基于图片识别的问答处理方法流程图，主要包括三个步骤。首先，S11从问答请求用户提交的目标图片中提取对应的检索信息，其中检索信息包括一个或多个文本信息及文本信息在图片中的相对位置信息。

这里的图片来源很广泛，例如当用户在浏览网页时遇到的问题以及主动编辑生成的问题，只需要截图即可，系统会在用户提交的图片中进行信息检索，而不需要用户刻意的将问题转换为文本格式再使用搜索引擎或者其他方式去搜索问题的答案，这里就可以利用到OCR（光学字符识别）字符识别方法对目标图片进行文本识别。如下图所示，这一步从图片中提取出相应的问题内容是极其关键的一步，只有在正确的文字以及信息提取的基础上，才能给予用户满意的答案。

如上图所示为一种基于目标图片进行检索信息提取及匹配查询的示例图，其中对于目标图片进行文字识别可以得到相对位置信息：位置1、位置2、位置3、位置 4 ......以及对应相对位置信息的文本信息，即文本1、文本2、文本3、文本4......以此类推。

接着，在步骤S12中，基于检索信息在参考图片库中匹配查询，以获得与文本信息及相对位置信息相匹配的参考图片。参考图片库中包含多个参考图片，通常这个实现过程为：可以为参考图片匹配相应的问答信息，问答信息包括与参考图片匹配的一个或多个问题，每个问题可以匹配一个或多个答案。在此问题可以通过参考图片的内容直接得到、同时也可以通过对参考图片的内容进行分析而综合确定，具体示例如下图所示。

参考上图，当N取3时，目标图片中位置1-文本信息1、位置2-文本信息2、位置3-文本信息3；相应的候选参考图片1中位置1- 参考文本1、位置2-参考文本2、位置3-其他文本1，则计算：(文本信息1和参考文本1的文本相似度+文本信息2和参考文本2的文本相似度+文本信息3和其他文本2的文本相似度)/文本信息数量，即得到候选参考图片与目标图片的匹配度信息。

最后，在步骤S13中，若检索到参考图片，基于参考图片对应的问答信息确定目标图片所对应问题的回答信息，否则向问答请求用户发送问题描述请求，其中问题描述请求用于指示用户确定问题请求。在实际应用中，存在检索不到参考图片的情况，例如基于目标图片提取出的文本信息，匹配查询不到对应的参考图片的参考文本。此时可以向问答请求用户发送问题描述请求，以引导问答请求用户描述或确定问题请求，例如向问答请求用户发送“请问您的问题是什么？”等文本信息，后续可以由人工客服，或是智能客服与问答请求用户进行交互。

以上就是百度基于图片识别的问答处理方法，不同于以往需要用户手动输入文字以对话的形式进行检测的方式，用户在遇到问题时，直接针对于目标问题进行截图即可，可以说极大的方便了用户，尤其是在用户处于紧急情形或其他无法进行正常输入打字的情况，使用这样的方式即可快速的得到想要的答案。（校对/Jurnan）