专栏首页机器学习AI算法工程python利用结巴分词做新闻地图

python利用结巴分词做新闻地图

应用语言学的期末Pre花了差不多一个月零零碎碎的时间完成了。最初的打算爬取网易、新浪、腾讯的国内新闻,再通过提取关键词,比较这三个网站社会新闻报道的内容的倾向性。使用结巴分词进行切分,再统计地名词频,进而数据可视化得出到底哪些地方大新闻比较多。

本来作为一个语言学学生,非常希望从专业的角度分析一下结巴分词的错误案例,于是我爬取了300个新闻标题,并且进行了分类,但是发现……看不懂源码的话,最多说这个是什么成分什么成分的错,但是显然有语感的人都看得出这些分词是错的(摊手)。

但是不管怎么说,也算是一次较为完整的代码实践,打算依次记录下来。

爬虫爬取新浪新闻

#encoding = utf-8 import requests import json def getnews(pages): global newsbag newsbag = [] for page in range(1, pages + 1): raw_url = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_' \ '2==gdxw1||=gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=10&show_num=100' \ '&tag=1&format=json&page={}&callback=newsloadercallback&_=1487824946231' url = raw_url.format(page) res = requests.get(url) jd = json.loads(res.text.lstrip(' newsloadercallback(').rstrip(');')) diclist = jd['result']['data'] for ent in diclist: newsbag.append(ent['title']) continue return newsbag pages = int(input("你想查询(返回输入值的100倍):")) #因为使用的是控制下拉页加载的链接,所以每次都是抓取固定值,我设置的是100,可以通过调节 show_num 自己调整。使用一个数值较大的效率会高点。 getnews(pages)

后来想能够查指定日期的新闻标题,于是把时间戳也爬取了下来,并且做成了时间-标题的元组放到了列表里方便以后使用。修改的逻辑是首先抓取一定量的标题,然后再在这个标题里抓指定日期的新闻。这样就会有两个不便:

  • 抓的数量要尽可能大才能满足调用需求
  • 每次抓取都是定量的,可能最后抓的一部分并没有把最后一天的新闻抓全

我当时是先去查询爬取到的最后一条新闻的时间,然后再扩大爬取的总量,确保能把我要的日期的新闻都框在里面。

改进后的可以按日期查询新闻的代码如下

#encoding = utf-8 import requests import json def getnews(pages): global newsbag newsbag = [] titlelist = [] timelist=[] for page in range(1,pages+1): raw_url = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_2==gdxw1||=gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=1&show_num=100&tag=1&format=json&page={}&callback=newsloadercallback&_=1487824946231' url=raw_url.format(page) res = requests.get(url) jd = json.loads(res.text.lstrip(' newsloadercallback(').rstrip(');')) diclist = jd['result']['data'] for ent in diclist: timestamp =float(ent['createtime']) newstime = datetime.fromtimestamp(timestamp).strftime('%Y-%m-%d') timelist.append(newstime) titlelist.append(ent['title']) newsbag = zip(timelist,titlelist) return newsbag print('新浪国内新闻查询器v2.0,在定量数据范围内查询特定日期的新闻。') pages=int(input('请输入一共想要查询的页数,仅支持输入正整数,1页显示100条:')) date = str(input('请输入想查询的日期,格式以2017-04-25为例:')) getnews(pages) for i in newsbag: if i[0] == date: print(i)

使用结巴分词进行标题的切分

在结巴分词的安装上遇到了一些坑,一开始解压安装包,使用cmd安装一直安装失败,显示的信息是什么也忘记了。后来使用最简单的pip的方法安装好了。

结巴分词是一个优秀的开源项目,虽然后来我得知玻森分词也提供给开发者少量(但处理我的作业绰绰有余)的调用次数时已经完成了数据采集部分的工作了,不然我一定会使用玻森分词的。所以如果调用数量不大,从准确度的角度考虑,还是选用玻森分词比较好。

结巴分词的使用文档写的也很简单,但是简单的另一面是对Python新手不大友好,一开始以为结巴只能输出迭代对象,后来才发现原来也可以输出列表。

使用结巴分词切分新闻标题

# encoding = utf-8 import jieba def cutseg(): seg_list = [] for i in newsbag: seg_list = jieba.lcut(i,cut_all=True)+seg_list return "/".join(seg_list) print(cutseg())

使用结巴分词后对指定日期的新闻进行切分

结合一下改进过的查询代码后,我们直接使用结巴分词切分日期的标题,这样提高了切分的效率。这样,我们就能得到我们所需要的原始语料了。

#encoding = utf-8 import requests import json import jieba from datetime import datetime print ('haha') def getnews(pages): global newsbag newsbag = [] titlelist = [] timelist=[] for page in range(1,pages+1): raw_url = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_2==gdxw1||=gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=1&show_num=100&tag=1&format=json&page={}&callback=newsloadercallback&_=1487824946231' url=raw_url.format(page) res = requests.get(url) jd = json.loads(res.text.lstrip(' newsloadercallback(').rstrip(');')) diclist = jd['result']['data'] for ent in diclist: timestamp =float(ent['createtime']) newstime = datetime.fromtimestamp(timestamp).strftime('%Y-%m-%d') timelist.append(newstime) titlelist.append(ent['title']) newsbag = zip(timelist,titlelist) return newsbag def cutseg(): title_list = [] for i in timetitle: title_list = title_list+jieba.lcut(i) return title_list print('新浪国内新闻查询器v2.0,在定量数据范围内查询特定日期的新闻。') pages=int(input('请输入一共想要查询的页数,仅支持输入正整数,1页显示100条:')) date = str(input('请输入想查询的日期,格式以2017-04-25为例:')) getnews(pages) global timetitle timetitle = [] for i in newsbag: if i[0] == date: timetitle.append(i[1]) print(cutseg())

下一篇,我们将使用搜狗细胞词库将新闻标题中的地名挑选出来并且使用pandas进行数据整理!

本文分享自微信公众号 - 大数据挖掘DT数据分析(datadw)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-05-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 特征工程(一):

    在深入研究特征工程之前,让我们花点时间看看整个机器学习流水线。这将帮助我们更好地了解应用的大方向。为此,让我们从数据和模型等基本概念入手。

    机器学习AI算法工程
  • 词云可视化——中文分词与词云制作

    随着微博研究的深入,社会网络分析和可视化技术的需要,面临中文处理问题,开始钻研文本挖掘的问题,过去的传统的数据挖掘一直研究的是结构化数据,文本挖掘和意见挖掘涉...

    机器学习AI算法工程
  • 基于Bert-NER构建特定领域中文信息抽取框架

    本文通过多个实验的对比发现,结合Bert-NER和特定的分词、词性标注等中文语言处理方式,获得更高的准确率和更好的效果,能在特定领域的中文信息抽取任务中取得优异...

    机器学习AI算法工程
  • 渗透测试实战之运气

    > 在渗透测试的过程中,总会碰到各种各样有意思的事情,在今年护网的过程中碰到了不少,有一些处于外网不方便记录,有一些上报后甲方及时响应修复,所以到了现在才有记录...

    重生信息安全
  • Linux电源管理-wakelock

    之前说过Google为了在user space阻止系统suspend,为Android设计出一套新的电源管理: wakelocks, early_suspen...

    DragonKingZhu
  • 4399AT界面版使用说明(一)

    至于工具可以解决的问题,可以查看公众号其他文档,说多了也累,可以说解决了你们认为UI自动化存在提示框,不同控件,多设备,adb稳定等问题,具体自己 去微信公众号...

    厦门-安仔
  • 从输入url到页面返回到底发生了什么

    1. 前言 Google应该是开发者平日里用得最多的网站之一,今早笔者在浏览器地址栏里键入www.google.com的时候,突然想了解下这背后的网络通信过程究...

    潘成涛
  • 百度网盘上传也限速?不怕。

    之前发过很多关于百度网盘下载的软件,但是,百度网盘可不是只有下载限速,上传也是限速的。

    课代表
  • 如何在Power Query中提取数据?——时间篇(2)

    DateTime.FixedLocalNow() 这个函数虽然解释是能够固定数值,但是目前还没找到前提条件,如果有高手能够解释下固定时间的前提操作,忘告知。

    逍遥之
  • TCP/IP Cheat Sheet

    实质上,TCP/IP协议族的结构与ISO-OSI的七层协议经典架构稍有不同,通常来讲,我们将之分为四层或者五层。分别是:

    李郑

扫码关注云+社区

领取腾讯云代金券