专栏首页小红豆的数据分析毕业设计:爬虫及数据分析

毕业设计:爬虫及数据分析

本科阶段即将落幕,我本科最后一项任务毕业设计也进入尾声。

指导老师跟我说,本科毕业设计不需要创新,但是工作量一定要够,我就知道又要搞事情了。

我选择的毕业设计题目是网络爬虫与数据分析,在当下可以说很时髦,很流行。

我将我的毕业设计分为四部分。每一部分都会有具体代码与注释,也会有一些外延知识的提及与讨论,欢迎大家一起学习进步。

爬虫简单介绍

所谓爬虫就是编写代码从网页上爬取自己想要的数据,代码的质量决定了你能否精确的爬取想要得到的数据,得到数据后能否直观正确的分析。

Python无疑是所有语言中最适合爬虫的。Python本身很简单,可是真正用好它需要学习大量的第三方库插件。比如matplotlib库,是一个仿照matalab的强大的绘图库,用它可以将爬下来的数据画出饼图、折线图、散点图等等,甚至是3D图来直观的展示。

Python第三方库的安装可以手动安装,但是更为简便的是在命令行直接输入一行代码即可自动搜索资源并安装。而且非常智能,可以识别自己电脑的类型找到最合适的版本

Pip install +你所需要的第三方库

或者是easy install +你所需要的第三方库

这里建议大家使用pip安装,因为pip可以安装也可以卸载,而另一种方法只能安装。如果遇到你想使用新的版本的第三方库,使用pip的优势就会显现出来。

第一部分:交互界面设计

交互界面.png

为了增加工作量,我设计了一个交互界面来凑数。其实很简单,用的是python自带的第三方库Tkinter。注意,引用这个库的时候呢,必须大写。我就因为这个大小写问题,纠结了一下午才发现出错误。

def web():
    root = Tk()
    Label(root,text='请输入网址').grid(row=0,column=0)           #对Label内容进行表格式布局
    Label(root,text='请输入User-Agent :').grid(row=1,column=0)
    v1=StringVar()    #设置变量
    v2=StringVar()   
    e1 = Entry(root,textvariable=v1)            #用于储存 输入的内容
    e2 = Entry(root,textvariable=v2)
    e1.grid(row=0,column=1,padx=10,pady=5)      #进行表格式布局                
    e2.grid (row=1,column=1,padx=10,pady=5)
    url = e1.get()                              #将从输入框中得到的网址赋值给url
    head = e2.get()

我这只是简单的设计一个交互界面,python有更为丰富的框架可以让界面更加友好以及美观。

第二部分:python爬虫

(这部分代码参考简书ID方志朋的文章)

我这里爬虫所爬取的是一位知名博主的博客,并对其所有的文章进行结巴分词。从而提取关键词,分析这位博主使用当下比较热的与互联网相关的词汇的频率。

工作台数据.png

思路是这样的。

先编写一个函数download()获取url,接着编写一个函数parse_descrtion()解析从 url中获取的html,最后结巴分词。

def download(url):                          #通过给定的url爬出数据
    if url is None:
        return None
    try:
        response = requests.get(url, headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36', })
    if (response.status_code == 200):
        return response.content
    return None
    except:
        return None

 

def  parse_descrtion(html):                                                         
    if html is None:
        return None
    soup = BeautifulSoup(html, "html.parser")         #html字符串创建BeautifulSoup
    links = soup.find_all('a', href=re.compile(r'/forezp/article/details'))
    for link in links:
        titles.add(link.get_text())



def jiebaSet():
    strs=''
    if titles.__len__()==0:
        return
    for item in titles:
        strs=strs+item;
    tags = jieba.analyse.extract_tags(strs, topK=100, withWeight=True)
    for item in tags:
        print(item[0] + '\t' + str(int(item[1] * 1000)))

第一个函数没什么好说的。

第二个函数用到了beautifulsoup,通过对网页的分析,从而寻找所有的满足条件为 href=re.compile(r'/forezp/article/details')的a标签里的内容。

第三个函数就是结巴分词。接下来对结巴分词作简单的介绍。

支持三种分词模式。

精确模式:试图将句子最精确地切开,适合文本分析。

全模式:把句子中所有的可以成词的词语都扫描出来,速度非常快,但是不能解决歧义。

搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。

举个例子,结巴分词“我来到北京清华大学”这句话。

【全模式】:我/来到/北京/清华/清华大学/华大/大学

【精确模式】:我/来到/北京/清华大学

第三部分:连接mongoDB数据库

client = pymongo.MongoClient("localhost", 27017)

这句是使用给定主机位置和端口。pymongo的Connection()方法不建议使用,官方推荐新方法MongoClient()。

db = client['local']

这句是将创建好mongoDB后默认存在的两个数据库中的其中一个“local”赋给db,这样 db在以后的程序里就代表数据库local。

posts = db.pymongo_test
post_id = posts.insert(data)

将local里默认的一个集合“pymongo_test”赋值给posts,并且用insert方法单个插入数据。最后回到结巴分词里的一个循环程序里,将数据依次插入。

以上是有关连接数据库的核心代码,接下来介绍如何启动mongoDB数据库。(我一开始编程怎么都连接不上,后来发现是数据库自身没有启动,唉,编程里发生的傻逼事情实在是太多了。)

微软徽标+R,输入cmd,找“mongodb”的路径,然后运行mongod开启命令,同时用--dbpath指定数据存放地点为“db”文件夹。

启动mongoDB

我这里是放在了E盘,大家根据需要自己设置。最后要看下是否开启成功,从图中的信息中获知,mongodb采用27017端口,那么我们就在浏览器输http://localhost:27017,打开后mongodb告诉我们在27017上Add 1000可以用http模式查看mongodb的管理信息。

第四部分:数据分析

最后一部分就是数据分析了,我这里用了两个工具。

一个是用artword在线工具,地址:[https://wordart.com]

云图效果

另一个就是使用matplotlib第三方库绘图更直观更系统的表现数据。第一个工具很简单,大家进入网站就会使用,现在主要介绍第二种工具的使用。

先介绍饼图的使用。

plt.figure(figsize=(6,9))     #调节图形大小,宽,高
labels = [u'springboot',u'Cloud',u'spring']    #定义饼状图的标签,标签是列表
sizes = [47.2,30.5,22.3,]#每个标签占多大,会自动去算百分比
colors = ['red','yellowgreen','lightskyblue']
explode = (0.05,0,0)#将某部分爆炸出来, 使用括号,将第一块分割出来,数值的大小是分割出来的与其他两块的间隙

patches,l_text,p_text = plt.pie(sizes,explode=explode,labels=labels,colors=colors,
labeldistance = 1.1,autopct = '%3.1f%%',shadow = startangle = 90,pctdistance = 0.6)#labeldistance,文本的位置离远点有多远,1.1指1.1倍半径的位置

#autopct,圆里面的文本格式,%3.1f%%表示小数有三位,整数有一位的浮点数
#shadow,饼是否有阴影
#startangle,起始角度,0,表示从0开始逆时针转,为第一块。一般选择从90度开始比较好看
#pctdistance,百分比的text离圆心的距离
#patches, l_texts, p_texts,为了得到饼图的返回值,p_texts饼图内部文本的,l_texts饼图外label的文本
#改变文本的大小
#方法是把每一个text遍历。调用set_size方法设置它的属性
for t in l_text:
    t.set_size(15)
for t in p_text:
    t.set_size(15)
#设置x,y轴刻度一致,这样饼图才能是圆的
plt.axis('equal')
plt.legend()
plt.show()

饼图.png

然后是条形图的使用。

people = ('springboot', 'Cloud', 'spring')
y_pos = np.arange(len(people))
performance = 3 + 10 * np.random.rand(len(people))
performance = (307,189,144)
error = np.random.rand(len(people))
plt.barh(y_pos, performance, xerr=error, align='center', alpha=0.4)
plt.yticks(y_pos, people)
plt.xlabel('time')
plt.ylabel('name')
plt.title('blog bar chart')
plt.show()

条形图.png

总结

python给人的整体感觉就是代码简洁,功能强大。针对数据分析有其独特的功能和精确的分析能力。

我们学院软件工程一位大神去了今日头条,干的就是python工程师,本科就拿到了28W的年薪。

在目前的大数据时代,python语言的使用频率也在日渐上升,其用途也会越来越广。

还在等什么,赶紧学python去吧

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 小蛇学python(3)两百行代码实现微信好友数据爬取与可视化

    前段时间发现了一个好玩的东西,一个python的第三方库itchat,它的功能很强大。只要你扫一下它所生成的二维码即可模拟登陆你的微信号,然后可以实现自动回复,...

    用户2145057
  • 小蛇学python(19)装饰器

    python的装饰器是python的特色高级功能之一,言简意赅得说,其作用是在不改变其原有函数和类的定义的基础上,给他们增添新的功能。

    用户2145057
  • acmer之路(2)三月第四周日志

    这周比较繁忙,周一到周四课比较多,周五为了准备中科院软件园的一个面试早上五点多就起床赶公交,周天又参加了院里的一场足球赛。在这周里,我一共只写了十道题,现在贴出...

    用户2145057
  • 《你不知道的JavaScript》:迭代器Iterator的背景梳理

    本篇复习下上篇用到的Symbol.iterator,它是ES6内置的十一个Symbol值之一。ES6中规定对象的Symbol.iterator属性指向该对象的默...

    前端_AWhile
  • Scrounger:一款功能强大的移动端应用程序安全测试套件

    今天给大家介绍的是一款名叫Scrounger 的工具,广大研究人员可以使用这款工具来对移动端应用程序的安全性进行测试。首先,这款工具参考和借鉴了很多目前安全社区...

    FB客服
  • 程序员:分享几个好玩的东东(上)

    非著名程序员
  • Silverlight中也玩屏幕截图

    先上演示地址:http://images.24city.com/jimmy/QQCapture/ 注:首次点击,会提示未安装ActiveX插件,下载安装成功后...

    菩提树下的杨过
  • 15分钟教你使用 Spring Boot+Thymeleaf自定义一个的图床管理工具!

    疫情之下,每天都是好吃懒做啊!反正在家闲着没有事情,于是乎,花了一天时间写了这个简单项目。其实我本来是准备继续完善一下,然后部署到自己的云服务器上当作自己的相册...

    Guide哥
  • golang的哪些坑爷事: package实践--转

    在golang中package是个困惑的概念, 特别是package还可以与folder不同名, 委实让我恶心了一把. 关于golang的package的最佳实...

    李海彬
  • 解密 apiserver 日志报错之 TLS handshak eerror

    http: TLS handshake error from x.x.x.x:52493: read tcp x.x.x.x:30443->x.x.x.x:52...

    keepyan

扫码关注云+社区

领取腾讯云代金券