专栏首页华章科技手把手教你用Python搭建一个AI智能问答系统

手把手教你用Python搭建一个AI智能问答系统

导读:智能问答系统是自然语言处理的一个重要分支。今天我们将利用分词处理以及搜索引擎搭建一个智能问答系统。 本文经授权转自公众号CSDN(ID:CSDNnews)

作者:李秋键

具体的效果如下所示:

下面简单了解下智能问答系统和自然语言处理的概念,智能问答系统是自然语言处理的一个重要分支。现在普遍认为智能问答能够独立解决很多问题,但是必须要承认现在技术所处的初级阶段的性质。也就是说,智能问答系统在现阶段最大的价值在于为客服人员赋能,而并非独立于人自行解决众多目前还有巨大错误率和不确定性的问题。

一旦具有这样的思想基础——通过智能问答系统为客服人员附能,那么将智能问答系统做成一个工具和产品的基础就有了,只有通过产品化、工具化的方式,才能够实现这个预期。

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。

因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系,但又有重要的区别。自然语言处理并不是一般地研究自然语言,而在于研制能有效地实现自然语言通信的计算机系统,特别是其中的软件系统。

下面开始搭建我们的智能问答系统,首先我们需要导入的库:

import requests
from lxml import etree
import jieba
import re
import sys,time
import os

其中requests库用来向搜索引擎搜索答案,lxml用来获取答案,jieba库用来提取问题以及做出问题分析,re是处理语言的正则匹配库,sys以及time库用来调试输出效果,os模块用来写入文件以搭建模式选择。

我们知道一个真正的语言回答应该是逐字回答的才符合人的回答习惯,下面为了达到语言对话的效果,我们定义一个函数:

def print_one_by_one(text):
    sys.stdout.write("\r " + " " * 60 + "\r") # /r 光标回到行首
    sys.stdout.flush() #把缓冲区全部输出
    for c in text:
        sys.stdout.write(c)
        sys.stdout.flush()
        time.sleep(0.1)

就是用来逐字输出的效果。

下面是真正搭建的部分,为了对语言进行处理,首先我们要加载停用词,去除掉语言中无意义的词,比如“了”,“啊”等等:

stop = [line.strip() for line in open('stopwords.txt',encoding='utf-8').readlines() ]

开始执行的判断输出一下,以及使用者的输入:

print("小智:您好,请问您需要问什么呢(对话(快,慢),可控制输出速度)")
input_word=input("我:")

为了控制文字输出的速度,我们借助文件读取控制模式:

#默认为慢速
print(input_word)
if input_word == "快":
        f = open("1.txt", "w")
        f.write("0")
        f.close()
elif input_word =='慢':
        f = open("1.txt", "w")
        f.write("1")
        f.close()

下面用Jieba分词,去除掉无用的停用词:

sd=jieba.cut(input_word,cut_all=False)
final=''
for seg in sd:
    #去停用词
        print(seg)
        if seg not in stop :
            final +=seg
 process=final

此时process是仅仅最简单语言的处理结果,为了适应更多语言习惯,使用正则表达式匹配另一种语言习惯,一个“问”时的处理:

#匹配问后面全部内容
pat=re.compile(r'(.*?)问(.*)')
#一个“问”时的处理
try:
        rel=pat.findall(final)
        process=rel[0][1]
except:
        pass

另外再添加语言习惯,两个“问”的处理:

#两个问时的处理
try:
        rel=pat.findall(final)
        rel0=rel[0][1]
        print(rel0)
        rel1=pat.findall(rel0)
        process=rel1[0][1]
except:
        pass

这样输出的效果就可以适应多种语言习惯,为了区分问答句和模式选择句加入判断语句:

print("问题:"+process)
if process=='':
        print("小智:OK")

在else中使用搜索引擎获取答案,首先使用请求头,百度百科网址:

header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
        url=requests.get("https://baike.baidu.com/search/word?word="+process,headers=header)

为了防止中文乱码问题,使用编码如下:

#为了防止中文乱码,编码使用原网页编码
        url.raise_for_status()
        url.encoding = url.apparent_encoding

下面使用匹配获取内容:

bject=etree.HTML(url.text)
        print(object)
#正则匹配搜索出来答案的所有网址
#获取词条
head =object.xpath('/html/head//meta[@name="description"]/@content')
#详细内容
        para=object.xpath('/html/body//div[@class="para"]/text()')

然后为了判断提问者提出的问题是否可行,以及模式匹配的选择,加入判断:

result='小智:'
        for i in para:
            result+=i
        if result=='小智:':
            print("小智:对不起,我不知道")
        else:
            f = open("1.txt", "r")
            s=f.read()
            if s=="1":
                print_one_by_one(result)
            else:
                print(result)

然后循环执行问答系统即可:

while(True):
    if os.path.exists('1.txt'):
        chuli()
    else:
        f = open("1.txt", "w")
        f.write("1")
        f.close()
        chuli()

如下图所示,提问的语句可以任意,不需要固定格式,这样才具有智能性不是吗?

关于作者:李秋键,CSDN 博客专家,CSDN达人课作者。

本文分享自微信公众号 - 大数据(hzdashuju)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 实体知识+字典树辅助jieba的分词(并对三国演义进行简单分析)

    在做中文NLP的时候,分词可谓是基础中的基础。然而这个基础部分的内容直到今天还是让人不省心,在实际应用中【尤其是在人名等实体的识别上】总是显得漏洞百...

    blmoistawinde
  • 谷歌T5模型刷新GLUE榜单,110亿参数量,17项NLP任务新SOTA

    在最新发布的论文《Exploring the Limits of Transfer Learning with a Unified Text-to-Text T...

    机器之心
  • NLP 的四大技术图谱,带你系统设计学习路径

    自然语言处理很多时候都是一门综合性的学问,它远远不止机器学习算法。相比图像或语音,文本的变化更加复杂,例如从预处理来看,NLP 就要求我们根据对数据的理解定制一...

    Sam Gor
  • 自然语言处理中注意力机制综述 | 文末福利

    近些年来,注意力机制一直频繁的出现在目之所及的文献或者博文中,可见在nlp中算得上是个相当流行的概念,事实也证明其在nlp领域散发出不小得作用。这几年的顶会pa...

    磐创AI
  • 谷歌搜索用上BERT,10%搜索结果将改善

    「如果要让我说出一条这些年学到的东西,那我会说『人类的好奇心是永无止境的』,」在谷歌搜索部门工作了 15 年的搜索副总裁在谷歌博客中写道。谷歌每天的搜索量多达数...

    机器之心
  • 【必读】2019年深度学习自然语言处理最新十大发展趋势, 附报告下载

    【导读】自然语言处理在深度学习浪潮下取得了巨大的发展,FloydHub 博客上Cathal Horan介绍了自然语言处理的10大发展趋势,是了解NLP发展的非常...

    Datawhale
  • GPU解码提升40倍,英伟达推进边缘设备部署语音识别,代码已开源

    这篇论文提出了一种经过优化的加权式有限状态变换器(WFST/ weighted finite-state transducer)解码器,能够使用图像处理单元(G...

    机器之心
  • 【NLP】 深入浅出解析BERT原理及其表征的内容

    了解自然语言处理的同学,应该没有不知道BERT的;甚至连很多自然语言处理圈外的开发的同学,都知道这个模型的厉害。不得不佩服谷歌的影响力和营销水平,当然,也确实是...

    Datawhale
  • 102个模型、40个数据集,这是你需要了解的机器翻译SOTA论文

    机器翻译一直是非常吸引研究者的「大任务」,如果某些方法被证明在该领域非常有效,那么它很可能可以扩展到其它问题上。例如 Transformer,它出生于机器翻译家...

    机器之心
  • 深度学习遇见代码搜索,一篇论文概览神经代码搜索

    论文地址:https://arxiv.org/pdf/1905.03813v3.pdf

    机器之心

扫码关注云+社区

领取腾讯云代金券