毕业设计:爬虫及数据分析

本科阶段即将落幕,我本科最后一项任务毕业设计也进入尾声。

指导老师跟我说,本科毕业设计不需要创新,但是工作量一定要够,我就知道又要搞事情了。

我选择的毕业设计题目是网络爬虫与数据分析,在当下可以说很时髦,很流行。

我将我的毕业设计分为四部分。每一部分都会有具体代码与注释,也会有一些外延知识的提及与讨论,欢迎大家一起学习进步。

爬虫简单介绍

所谓爬虫就是编写代码从网页上爬取自己想要的数据,代码的质量决定了你能否精确的爬取想要得到的数据,得到数据后能否直观正确的分析。

Python无疑是所有语言中最适合爬虫的。Python本身很简单,可是真正用好它需要学习大量的第三方库插件。比如matplotlib库,是一个仿照matalab的强大的绘图库,用它可以将爬下来的数据画出饼图、折线图、散点图等等,甚至是3D图来直观的展示。

Python第三方库的安装可以手动安装,但是更为简便的是在命令行直接输入一行代码即可自动搜索资源并安装。而且非常智能,可以识别自己电脑的类型找到最合适的版本

Pip install +你所需要的第三方库

或者是easy install +你所需要的第三方库

这里建议大家使用pip安装,因为pip可以安装也可以卸载,而另一种方法只能安装。如果遇到你想使用新的版本的第三方库,使用pip的优势就会显现出来。

第一部分:交互界面设计

交互界面.png

为了增加工作量,我设计了一个交互界面来凑数。其实很简单,用的是python自带的第三方库Tkinter。注意,引用这个库的时候呢,必须大写。我就因为这个大小写问题,纠结了一下午才发现出错误。

def web():
    root = Tk()
    Label(root,text='请输入网址').grid(row=0,column=0)           #对Label内容进行表格式布局
    Label(root,text='请输入User-Agent :').grid(row=1,column=0)
    v1=StringVar()    #设置变量
    v2=StringVar()   
    e1 = Entry(root,textvariable=v1)            #用于储存 输入的内容
    e2 = Entry(root,textvariable=v2)
    e1.grid(row=0,column=1,padx=10,pady=5)      #进行表格式布局                
    e2.grid (row=1,column=1,padx=10,pady=5)
    url = e1.get()                              #将从输入框中得到的网址赋值给url
    head = e2.get()

我这只是简单的设计一个交互界面,python有更为丰富的框架可以让界面更加友好以及美观。

第二部分:python爬虫

(这部分代码参考简书ID方志朋的文章)

我这里爬虫所爬取的是一位知名博主的博客,并对其所有的文章进行结巴分词。从而提取关键词,分析这位博主使用当下比较热的与互联网相关的词汇的频率。

工作台数据.png

思路是这样的。

先编写一个函数download()获取url,接着编写一个函数parse_descrtion()解析从 url中获取的html,最后结巴分词。

def download(url):                          #通过给定的url爬出数据
    if url is None:
        return None
    try:
        response = requests.get(url, headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36', })
    if (response.status_code == 200):
        return response.content
    return None
    except:
        return None

 

def  parse_descrtion(html):                                                         
    if html is None:
        return None
    soup = BeautifulSoup(html, "html.parser")         #html字符串创建BeautifulSoup
    links = soup.find_all('a', href=re.compile(r'/forezp/article/details'))
    for link in links:
        titles.add(link.get_text())



def jiebaSet():
    strs=''
    if titles.__len__()==0:
        return
    for item in titles:
        strs=strs+item;
    tags = jieba.analyse.extract_tags(strs, topK=100, withWeight=True)
    for item in tags:
        print(item[0] + '\t' + str(int(item[1] * 1000)))

第一个函数没什么好说的。

第二个函数用到了beautifulsoup,通过对网页的分析,从而寻找所有的满足条件为 href=re.compile(r'/forezp/article/details')的a标签里的内容。

第三个函数就是结巴分词。接下来对结巴分词作简单的介绍。

支持三种分词模式。

精确模式:试图将句子最精确地切开,适合文本分析。

全模式:把句子中所有的可以成词的词语都扫描出来,速度非常快,但是不能解决歧义。

搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。

举个例子,结巴分词“我来到北京清华大学”这句话。

【全模式】:我/来到/北京/清华/清华大学/华大/大学

【精确模式】:我/来到/北京/清华大学

第三部分:连接mongoDB数据库

client = pymongo.MongoClient("localhost", 27017)

这句是使用给定主机位置和端口。pymongo的Connection()方法不建议使用,官方推荐新方法MongoClient()。

db = client['local']

这句是将创建好mongoDB后默认存在的两个数据库中的其中一个“local”赋给db,这样 db在以后的程序里就代表数据库local。

posts = db.pymongo_test
post_id = posts.insert(data)

将local里默认的一个集合“pymongo_test”赋值给posts,并且用insert方法单个插入数据。最后回到结巴分词里的一个循环程序里,将数据依次插入。

以上是有关连接数据库的核心代码,接下来介绍如何启动mongoDB数据库。(我一开始编程怎么都连接不上,后来发现是数据库自身没有启动,唉,编程里发生的傻逼事情实在是太多了。)

微软徽标+R,输入cmd,找“mongodb”的路径,然后运行mongod开启命令,同时用--dbpath指定数据存放地点为“db”文件夹。

启动mongoDB

我这里是放在了E盘,大家根据需要自己设置。最后要看下是否开启成功,从图中的信息中获知,mongodb采用27017端口,那么我们就在浏览器输http://localhost:27017,打开后mongodb告诉我们在27017上Add 1000可以用http模式查看mongodb的管理信息。

第四部分:数据分析

最后一部分就是数据分析了,我这里用了两个工具。

一个是用artword在线工具,地址:[https://wordart.com]

云图效果

另一个就是使用matplotlib第三方库绘图更直观更系统的表现数据。第一个工具很简单,大家进入网站就会使用,现在主要介绍第二种工具的使用。

先介绍饼图的使用。

plt.figure(figsize=(6,9))     #调节图形大小,宽,高
labels = [u'springboot',u'Cloud',u'spring']    #定义饼状图的标签,标签是列表
sizes = [47.2,30.5,22.3,]#每个标签占多大,会自动去算百分比
colors = ['red','yellowgreen','lightskyblue']
explode = (0.05,0,0)#将某部分爆炸出来, 使用括号,将第一块分割出来,数值的大小是分割出来的与其他两块的间隙

patches,l_text,p_text = plt.pie(sizes,explode=explode,labels=labels,colors=colors,
labeldistance = 1.1,autopct = '%3.1f%%',shadow = startangle = 90,pctdistance = 0.6)#labeldistance,文本的位置离远点有多远,1.1指1.1倍半径的位置

#autopct,圆里面的文本格式,%3.1f%%表示小数有三位,整数有一位的浮点数
#shadow,饼是否有阴影
#startangle,起始角度,0,表示从0开始逆时针转,为第一块。一般选择从90度开始比较好看
#pctdistance,百分比的text离圆心的距离
#patches, l_texts, p_texts,为了得到饼图的返回值,p_texts饼图内部文本的,l_texts饼图外label的文本
#改变文本的大小
#方法是把每一个text遍历。调用set_size方法设置它的属性
for t in l_text:
    t.set_size(15)
for t in p_text:
    t.set_size(15)
#设置x,y轴刻度一致,这样饼图才能是圆的
plt.axis('equal')
plt.legend()
plt.show()

饼图.png

然后是条形图的使用。

people = ('springboot', 'Cloud', 'spring')
y_pos = np.arange(len(people))
performance = 3 + 10 * np.random.rand(len(people))
performance = (307,189,144)
error = np.random.rand(len(people))
plt.barh(y_pos, performance, xerr=error, align='center', alpha=0.4)
plt.yticks(y_pos, people)
plt.xlabel('time')
plt.ylabel('name')
plt.title('blog bar chart')
plt.show()

条形图.png

总结

python给人的整体感觉就是代码简洁,功能强大。针对数据分析有其独特的功能和精确的分析能力。

我们学院软件工程一位大神去了今日头条,干的就是python工程师,本科就拿到了28W的年薪。

在目前的大数据时代,python语言的使用频率也在日渐上升,其用途也会越来越广。

还在等什么,赶紧学python去吧

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏玩转全栈

flutter中使用BloC模式

BloC【Business Logic Component】模式是paolo soares 和 cong hui 在2018年Google dartconf上提...

5.9K7
来自专栏大数据和云计算技术

数据组织核心技术

要高效地使用数据,就必须要有组织,因此业界对数据的结构化组织有很多探索。 1)Cube技术概念 OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表...

3067
来自专栏UML

用例图示例:包含和扩展用例

用例提供了系统的高级视图。用例建模是与用户和其他利益相关者就系统和目标进行沟通的有效方式。用例描述了系统执行的动作序列,其为特定的actor产生可观察的值结果。...

3979
来自专栏开源FPGA

时序逻辑电路基础

建立时间Tsu(setup):触发器在时钟上升沿到来之前,其数据输入端的数据必须保持不变的最小时间。

1382
来自专栏Python中文社区

用Python玩转微信的正确姿势!

0. itchat 最近研究了一些微信的玩法,我们可以通过网页版的微信微信网页版,扫码登录后去抓包爬取信息,还可以post去发送信息。 然后发现了itchat这...

5468
来自专栏瓜大三哥

yaffs_bitmap

1.static inline u8 *yaffs_block_bits(struct yaffs_dev *dev, int blk)//计算给定块的字节数 ...

1865
来自专栏开源优测

[大数据测试]ETL测试或数据仓库测试入门

概述 在我们学习ETL测试之前,先了解下business intelligence(即BI)和数据仓库。 什么是BI? BI(Business Intell...

3736
来自专栏CSDN技术头条

像Apache Storm一样简单的分布式图计算

介绍 计算可能很复杂。对我们来说,这种复杂主要就是软件世界的人类驱动力。甚至有一个学科整个都围绕着问题解决和计算——计算机科学。 当一个人开始学习计算机科学时,...

2626
来自专栏IT派

用Python画一个中国地图

先来聊聊为什么做数据分析一定要用Python或R语言。编程语言这么多种,Java, PHP都很成熟,但是为什么在最近热火的数据分析领域,很多人选择用Python...

3445
来自专栏施炯的IoT开发专栏

Windows Mobile上的小宇宙

  在codeproject上看到了一个非常有意思的应用,windows mobile上看星座图。试想下面一个场景,在北京寒冷冬天的一个晚上,西北风把城市上空的...

1726

扫码关注云+社区