德企开发出基于人工智能的新型文本分析技术

新闻门户网站和社会媒体都含有丰富的信息资源，例如对股票市场趋势的预测信息。如今，很多服务提供商允许通过向其搜索引擎输入描述性关键字来搜索大量的文本集。然而关键词往往是高度模糊的，目前的搜索技术常常捉襟见肘。德国的一家企业开发了一种新的文本分析技术，大大提高了利用人工智能技术搜索巨大文本集合的速度。除了搜索之外，这项技术还能协助作者进行研究，甚至能够通过自动提供背景信息帮助编写文本，并给出相关的网站链接建议。

Ambiverse是马普学会信息学院的一家衍生公司。该公司在3月14日到18日的汉诺威CeBIT 2016会议期间展示了这一新技术。生活在商业智能手机和企业聊天室的时代，公司的大部分信息不是通过语言发布的，而是通过电子邮件、分布式数据库，以及内部的新闻门户网站来完成。马普学会情报研究所研究员与Ambiverse公司的创始人Johannes Hoffart表示，根据市场分析公司Gartner的调查显示，目前仅25%的公司在使用自动方法来分析他们的文本信息。Gartner预测到2021年将有65%以上的公司会这样做。这是因为公司的数据量在不断增长，因此保持这些数据的结构化及进行搜索将变得越来越昂贵。他的团队开发了一种新的文本分析技术，用于分析海量文本。在这个背景下，强大的计算能力与人工智能不断“协同思考”来完成任务。

Hoffart表示，对于文本的分析，我们依靠的是非常大的知识图谱。这些图谱有免费的来源，如维基百科或网络上的大型媒体门户网站。这些图谱可以通过领域知识或公司的专业知识进行增强，如产品目录或客户信函。通过使用复杂的算法，这些文本会得到进一步的筛选，并借助语言工具进行分析。他解释说：“随后，我们的软件会将企业和业务领域分配到相应的类别，这使我们能够收集宝贵的意见，指导我们如何在市场中将自己的产品与竞争对手进行对比定位”。特别具有挑战性的是，产品或公司名称在不同的环境中往往有完全不同的含义，导致它们非常难以识别。

这位计算机科学家解释说：“我们的技术可以将单词和短语映射到真实世界的正确目标，从而可以自动解决模糊问题。例如，“巴黎”这个词可以表示光之城和法国首都，也是希腊神话中的一个角色，或是大家耳熟能详的一个具有德国祖先的派对女孩-其真实含义总是依赖于上下文的。只有当名称或概念的不同含义得到正确解决，才可能有效地搜索巨大的文本集合。随着时间的推移，由他的团队开发出的智能搜索引擎会得到不断的学习与提高，从而可以自动将新的文本条目匹配到合适的类别。于是，对利用分析网络媒体或社交网络来衡量产品的知名度或营销活动的成功度的公司来说，这些算法就具有了吸引力。”