自然语言处理技术

自然语言处理技术在应用上的困难主要在于技术门槛高，广泛存在的需求无法满足。（1）NLP技术的专业性很强。要处理一段文本，中间涉及很多个步骤，如自动分词、词性标注、句法分析、篇章分析等；也涉及很多个算法，如深度学习的CNN、LSTM、BERT等，每个算法都有其自身的约束条件，在条件满足的前提下，才能得到较好的效果；需要有大量的标注语料，让机器自动训练；当然也需要很强的算力资源，如GPU服务器等。NLP技术开发的过程，从外人看起来，更像是艺术创造。NLP技术是零散的，需要把各种NLP技术拼凑起来，还需要进行语料训练、参数优化等大量的工作。而调参的过程，经常是个黑盒子，需要技术人员反复尝试。（2）NLP的应用，需要与场景知识结合起来，需要有业务规则、标注语料等数据资源。（3）NLP人才缺乏，从事NLP开发的人员，要么是研究机构的学术研究人员，要么是BATJ大厂的“深度学习实验室”中的高端人才。

大量的传统行业解决方案提供商，在某个行业有很好的客户资源和落地能力，他们希望在自己的产品和解决方案中增加NLP技术，提升非结构化数据的处理能力。这些需求过于零散，再加上给NLP的预算有限，所以头部企业很难为他们提供支持。另外，自己组建NLP团队，代价太大，也很难吸引到高端人才。

头部技术公司，如Google、微软、BAT、华为，通过人工智能平台开放NLP API，如句子向量表示、文本相似度计算等。可以看出，这些服务基本是以输出技术框架和基础技术为主，希望“授人以渔”。应用开发人员可以利用这些技术接口，二次开发满足业务场景需要的NLP应用。这些开放的技术框架和基础技术无法保证NLP应用的效果，依然需要用户具有一定的专业知识来完成效果优化。