用Python爬虫获取自己感兴趣的博客文章

来源: CDA数据分析师

在CSDN上有很多精彩的技术博客文章,我们可以把它爬取下来,保存在本地磁盘,可以很方便以后阅读和学习,现在我们就用python编写一段爬虫代码,来实现这个目的。

我们想要做的事情:自动读取博客文章,记录标题,把心仪的文章保存到个人电脑硬盘里供以后学习参考。

过程大体分为以下几步:

  • 1. 找到爬取的目标网址;
  • 2. 分析网页,找到自已想要保存的信息,这里我们主要保存是博客的文章内容;
  • 3. 清洗整理爬取下来的信息,保存在本地磁盘。

打开csdn的网页,作为一个示例,我们随机打开一个网页:

http://blog.csdn.net/u013088062/article/list/1。

可以看到,博主对《C++卷积神经网络》和其它有关机计算机方面的文章都写得不错。

爬虫代码按思路分为三个类(class),下面3个带“#”的分别给出了每一个类的开头(具体代码附后,供大家实际运行实现):

采用“类(class)”的方式属于Python的面向对象编程,在某些时候比我们通常使用的面向过程的编程方便,在大型工程中经常使用面向对象编程。对于初学者来说,面向对象编程不易掌握,但是经过学习习惯之后,会逐步慢慢从面向过程到面向对象编程过渡。

特别注意的是,RePage类主要用正则表达式处理从网页中获取的信息,正则表达式设置字符串样式如下:

用正则表达式去匹配所要爬取的内容,用Python和其它软件工具都可以实现。正则表达式有许多规则,各个软件使用起来大同小异。用好正则表达式是爬虫和文本挖掘的一个重要内容。

SaveText类则是把信息保存在本地,效果如下:

用python编写爬虫代码,简洁高效。这篇文章仅从爬虫最基本的用法做了讲解,有兴趣的朋友可以下载代码看看,希望大家从中有收获。

附相关Python代码:

 1#-*-coding:UTF-8-*-
 2import re
 3import urllib2
 4import sys
 5#目的:读取博客文章,记录标题,用Htnl格式保存存文章内容
 6#版本:python2.7.13
 7#功能:读取网页内容
 8class GetHtmlPage():
 9        #注意大小写
10        def __init__(self,strPage):
11            self.strPapge = strPage
12        #获取网页
13        def GetPage(self):
14                req = urllib2.Request(self.strPapge)            # 建立页面请求
15                rep = req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0")
16                try:
17                   cn = urllib2.urlopen(req)                    #网页请求
18                   page = cn.read()                          #读网页
19                   uPage = page.decode("utf-8")               #网页编码
20                   cn.close()
21                   return uPage
22                except urllib2.URLError, e:                     #捕获异常
23                        print 'URLError:', e.code
24                        return
25                except urllib2.HTTPError, e:                     #捕获异常
26                        print 'HTTP Error:' + e.reason
27                        return
28                return rePage
29#正则表达式,获取想要的内容
30class RePage():
31#正则表达式提取内容,返回链表
32    def GetReText(self,page,recode):
33        rePage = re.findall(recode,page,re.S)
34        return rePage
35#保存文本
36class SaveText():
37    def Save(self,text,tilte):
38        try:
39            t="blog\\"+tilte+".html"
40            f = file(t,"a")
41            f.write(text)
42            f.close()
43        except IOError,e:
44            print e.message
45if __name__ == "__main__":
46    s = SaveText()
47    #文件编码
48    #字符正确解码
49    reload(sys)
50    sys.setdefaultencoding( "utf-8" ) #获得系统的默认编码
51    #获取网页
52    page = GetHtmlPage("http://blog.csdn.net/u013088062/article/list/1")
53    htmlPage = page.GetPage()
54    #提取内容
55    reServer = RePage()
56    reBlog = reServer.GetReText(htmlPage,r'<span class="link_title"><a href="(.+?)">.*?(\s.+?)</a></span>')   #获取网址链接和标题
57    #再向下获取正文
58    for ref in reBlog:
59        pageHeard = "http://blog.csdn.net/"         #加链接头
60        strPage = pageHeard+ref[0]
61        tilte=ref[1].replace('<font color="red">[置顶]</font>', "")     #用替换的功能去除杂的英文
62        tilte=tilte.replace("\r\n","").lstrip().rstrip()
63        #获取正文
64        htmlPage = GetHtmlPage(strPage)
65        htmlPageData = htmlPage.GetPage()
66        reBlogText = reServer.GetReText(htmlPageData,'<div id="article_content" class="article_content">(.+?)</div>')
67    #保存文件
68        for s1 in reBlogText:
69            s1='<meta charset="UTF-8">\n'+s1
70            s.Save(s1,tilte)

动手去试试吧。

本文分享自微信公众号 - 大数据杂谈(BigData07)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-03-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏农夫安全

浅说驱动程序的加载过程

在开始之前,首先简要介绍一下本文的主题,这篇文章是关于将内核模块加载到操作系统内核的方法的介绍。所谓“内核模块”,指的便是通常所说的驱动程序。不过因为加载到内核...

42590
来自专栏Java Web

Java学习笔记(4)——并发基础

前言 当我们使用计算机时,可以同时做许多事情,例如一边打游戏一边听音乐。这是因为操作系统支持并发任务,从而使得这些工作得以同时进行。 那么提出一个问题:如果我...

35230
来自专栏木东居士的专栏

从0写一个爬虫,爬取500w好友关系数据

75160
来自专栏沈唁志

PHP新手必须认识的一些建议

19820
来自专栏Java成神之路

【转】JAVA之网络编程

网络编程对于很多的初学者来说,都是很向往的一种编程技能,但是很多的初学者却因为很长一段时间无法进入网络编程的大门而放弃了对于该部分技术的学习。

21170
来自专栏小巫技术博客

推荐:Mac下高效静态代码分析神器Unstand详解

26910
来自专栏枕边书

代码迁移之旅(二)- 渐进式迁移方案

说在前面 这是代码迁移的第二篇文章,也是最后一篇了,由于个人原因,原来的迁移我无法继续参与了,但完整的方案我已经准备好了,在测试环境也已经可以正常进行了。 上篇...

28190
来自专栏葡萄城控件技术团队

Windows 7样式地址栏(Address Bar)控件实现

介绍 从Vista开始,地址栏就有了很大的改变,不知道大家有什么感觉,笔者觉得很方便,同时又兼容之前的功能,是个很不错的创新。不过,微软并不打算把这一很酷的功能...

23660
来自专栏北京马哥教育

看完你就会!Python自动化开发必备项目之博客网站全实现

本文由马哥教育Python自动化实战班6期学员推荐,转载自互联网,作者为 lm409,内容略经小编改编和加工,观点跟作者无关,最后感谢作者的辛苦贡献与付出。 断...

72170
来自专栏灯塔大数据

技术 | Python从零开始系列连载(二十八)

之前我水平有限,对于淘宝评论这种动态网页,由于数据在网页源码中是找不到的,所以无法抓取数据,只能使用selenium模仿人操控浏览器来抓数据,

18730

扫码关注云+社区

领取腾讯云代金券