试验知识挖掘途径分析

【试验工程师·公益学习营】第八期第2讲

【试验工程师·公益学习营】总第37讲，于2020年9月18日如期举行，本期讲师是瑞风协同技术总监，具有20余年软件开发和架构设计经验，参与多个领域的设计仿真平台、材料库、知识库系统建设，重点研究方向为大数据技术和人工智能技术，专注于文本挖掘技术、自然语言处理技术在知识库自动构建、知识自动分类、知识智能推送、知识关联挖掘、知识图谱方面的应用研究。

本期课程重点分为以下四个方面：人工智能概述、人工智能关键技术、试验知识挖掘案例分享和试验知识挖掘应用探索。

一、人工智能概述

人工智能（Artificial Intelligence），简称AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学，它是了解智能的实质并生产出一种新的类似人类智能的方式做出反应的智能机器，该领域的研究包括：机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能是对人的意识、思维的信息过程的模拟，人工智能不是人的智能，但能像人那样思考，也可能超过人的智能。

人工智能分为：弱人工智能、通用人工智能和强人工智能三中类型。

人工智能的发展分为以下八个重要的阶段：

目前，人工智能生态可以总结为基础资源层、技术层和应用层三个方面，其中，基础资源层主要是计算平台和数据中心，属于计算智能；技术层可以通过机器学习建模，开发面向不同领域的算法和技术，包含感知智能和认知智能；应用层主要实现人工智能在不同场景下的实际应用。人工智能的三个研究阶段分别为：推理期、知识期和机器学习期。

人工智能可以做很多事情，可以实现精准搜索、知识图谱、智能关联等。总的来说，人工智能的特点是可以模仿人的一些行为方式、具有自我学习和深度学习的能力，使用人工智能带来的好处是：自动化、智能化、高效率，局限性是：没有数据没法学、智能程度取决于算法、数据预处理很重要。

二、人工智能关键技术

人工智能的实施过程中，面向的领域不同其技术侧重点也不同。人工智能的关键技术主要有两类：一类是数据挖掘，数据挖掘最为核心的内容是算法；另一类是文本挖掘，是指结构化数字以外的内容。

数据挖掘包括：是聚类、分类、回归、预测、神经网络、决策树等，其适用范围是：适合结构化数值的分析处理、试验速采的通道数据、时序数据等。

文本挖掘：切句、切词、切字、无用词、无效词、句法分析、词性标注、专业术语实体识别、关系抽取、上下文语义理解等；其适用范围是：PDF、WORD、EXCEL、PPT、TXT等，包括文献、期刊、杂志、试验报告、任务书、试验标准规范、工具书、会议纪要、论文。文本挖掘的关键技术是NLP（自然语言处理技术），NLP是人类认知、理解、交流、沟通的基础，也是知识挖掘的重点。

三、试验知识挖掘案例分享

1、试验参考文献自动打标签

背景：

某单位积累了大量试验文档，按照国家“数据抢救”工程标准，需要给每一个文档打上标签并编码，方便快速查找、理解、分类。

特点：

（1）单位预先编制了数据编码：试验-01，环境试验-0101，海水试验-010102

（2）要求自动打标签：效率高

（3）准确度达到90%以上

（4）通过人工干预，可进一步提高准确度

（5）可根据编码或者标签进行精准检索

步骤：

第一步：预处理

第二步：自动语义化

第三步：验证

第四步：人工参与

第五步：人工纠错+机器学习

2、知识场景化：智能推送

背景：

某单位主要负责各类高端复杂产品的试验验证和性能评估工作，经常编写各类试验任务单、试验工况、试验报告、性能评分报告等文档，因此，产生了以下几个需求：

（1）在编写文档报告时，可以快速参考历史类似的试验文档和报告，以此来加快工作效率

（2）在编写文档报告时，给出一些信息，可以把该信息相关的标准、规范主动推送到文档中，方便编写人查看、引用

（3）评估试验立项报告时，能及时、主动获取相关试验立项报告，为评估立项决策提供参考

解决方案：

（1）采用人工智能技术，把历史文档、报告、任务单等语义化，并训练成相似模型，存放在知识库系统下，即时应用。

（2）在文档中开发一个场景插件，实现快速搜索、主动推送功能。

知识插件原理

知识插件工作流程

智能推送结果：

（1）在结果中可以看到，相似度高的排在前面

（2）可以查看文档内容，右键可以引用部分或全部内容

四、试验知识挖掘应用探索

人工智能在知识库中的应用主要分为自动建库(解决建库难问题)和知识智能应用(解决知识如何用、快速用问题)两大类。

1、自动建库：知识自动采集入库、自动打标签、自动智能分类、文本自动语义化、知识智能校验、知识智能纠错

2、知识智能应用：知识自动关联挖掘、知识图谱、知识精准搜索、智能推送、知识自动评分、自动推荐、自动问答、预测