专栏首页python3Python:网页的抓取、过滤和保存

Python:网页的抓取、过滤和保存

Python:网页的抓取、过滤和保存

环境:Python 2.7.3,win10

一、抓取

目的地是ZOL笑话大全 地址:http://xiaohua.zol.com.cn/new/2.html 网址的组成要灵活点,这个网站的地址后面是可变的,比如3.html、4.html 所以这样搞:url=”http://xiaohua.zol.com.cn/new/%d.html”%(page) page是动态赋值的

导包:import urllib Python的urllib和urllib2模块都是做请求URL相关操作的。 它们最显著的差异为: urllib2可以接受一个Request对象,并以此可以来设置一个URL的headers,但是urllib只接收一个URL。 urllib模块可以提供进行urlencode的方法,该方法用于GET查询字符串的生成,urllib2的不具有这样的功能. python 2.7.x提供了urllib与urllib2,鉴于上述异同两个库通常搭配使用。

抓取:urllib.urlopen(url).read() 因为这个网站不需要什么东西就可以爬取,所以就这么简单一句话,复杂点的请参考这个:http://blog.csdn.net/u013632854/article/details/52970775

urllib.urlopen(url)是打开一个url的方法,返回一个文件对象,然后可以进行类似文件对象的操作,通过read()方法读取内容

二、过滤 过滤就离不开正则表达式,这是一个谁也绕不开的恶梦 参考这个:http://www.ziqiangxuetang.com/python/python-reg-expressions.html

这里分为两部分

先import re re是负责正则表达式的

1、过滤

list=re.findall(r'<div class="summary-text">(.*?)</div>',html,re.I|re.M|re.S)

这个方法是查找字符串内所有匹配的内容,并以列表的形式返回 findall(正则表达式,要处理的字符串,可选内容)

描述 如下: re.I 使匹配对大小写不敏感 re.L 做本地化识别(locale-aware)匹配 re.M 多行匹配,影响 ^ 和 $ re.S 使 . 匹配包括换行在内的所有字符 re.U 根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B. re.X 该标志通过给予你更灵活的格式以便你将正则表达式写得更.decode

正则处理的方法二:

    #过滤
    #reg=r'<div class="summary-text">(.*?)</div>'
    #方法1,需要转换编码
    #re是python自带的处理正则表达式的包
    #获取pattern对象来处理字符串
    #pattern=re.compile(reg)
    #这个是查找此字符串中所有符合条件的内容并返回一个列表
    #list=pattern.findall(html)
    #for item in list:
    #网页是gbk的,查找到之后的内容也是gbk的,要解码
    #   print item.decode('gbk')
    #返回的内容为空,应该是匹配不成功,可以看下页面返回的是否与你匹配的一致
    #return pattern.findall(html)
    #转码的方式
    #print unicode(item,'gbk')
    #print pattern.findall(html.decode('gbk').encode('utf-8'))

2、替换

list[index]=re.sub(r'<p>(.*?)</p>',"",list[index])

因为技术关系,没能一次性过滤或者替换掉所有目标内容,唯有对数据进行多次处理,汗 此方法是替换掉匹配的内容,sub(正则表达式,要替换成什么内容,待处理的字符串) 要替换成什么内容这个我填的是空字符串

list=re.findall(r'<div class="summary-text">(.*?)</div>',html,re.I|re.M|re.S)
        #过滤
        for index in range(len(list)):
            list[index]=re.sub(r'<p>(.*?)</p>',"",list[index])
            list[index]=re.sub(r'<p>',"",list[index])
            list[index]=re.sub(r'</p>',"",list[index])
            list[index]=re.sub(r'\s*',"",list[index])+'\r'
            print list[index]
        return list

三、保存 也就两句话,打开一个文件,写进去

txtFile=open('PaChongFile.txt','w')
txtFile.writelines(list)

参考这个http://www.ziqiangxuetang.com/python/python-files-io.html

总体代码如下:

_author_='iamzhuwh'
#coding=utf-8

import urllib
import re

class PaChong:

    #初始化
    def __init__(self,tagetUrl):
        global txtFile
        self.tagetUrl=tagetUrl
        txtFile=open('PaChongFile.txt','w')

    #输入网址,返回内容列表
    def getHtmlContent(self,html):
        #爬取页面的指定内容
        list=re.findall(r'<div class="summary-text">(.*?)</div>',html,re.I|re.M|re.S)
        #过滤
        for index in range(len(list)):
            list[index]=re.sub(r'<p>(.*?)</p>',"",list[index])
            list[index]=re.sub(r'<p>',"",list[index])
            list[index]=re.sub(r'</p>',"",list[index])
            list[index]=re.sub(r'\s*',"",list[index])+'\r'
            print list[index]
        return list

    #获取
    def getHtml(self,url):
        return urllib.urlopen(url).read()

    #获取url
    def getHtmlUrl(self,html):
        reg='<div.*?class="summary-text">.*?</div>'
        reg_sub=r'<p></p>'
        reg_sub2=r'<p>.*?</p>'
        list=re.findall(reg,html,re.I|re.M|re.S)
        print ""

    def saveToFile(self,list):
        try:
            txtFile.writelines(list)
        except IOError as err:
            print('Error:'+str(err))
        #finally:
        #   txtFile.close()

    #url递归
    def urlRecursion(self,url):
        print '待续'

    def start(self,pageCount):
        page=0
        for index in range(pageCount):
            if index==0:continue
            page=index
            url="http://xiaohua.zol.com.cn/new/%d.html"%(page)
            self.saveToFile(self.getHtmlContent(self.getHtml(url)))

spider=PaChong(None)
spider.start(50)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • python运维开发笔记4

    ['mysql','-u','root','-p123','-e','show processlist']

    py3study
  • python中去掉文件的注释

        re.VERBOSE | re.MULTILINE | re.DOTALL

    py3study
  • python re模块常见函数

    如果想要从源字符串的起始位置匹配一个模式,我们可以使用re.match()函数。re.match()函数的使用格式是: re.match(pattern, st...

    py3study
  • java内部类----安全问题-----访问外围类的私有变量

    这个是有风险的,因为任何人都可以通过access$0方法很容易的读取到外围类的私有域

    wust小吴
  • 数据结构-数组

    杨小杰
  • Qt编译完成后自动执行脚本

    Qt君
  • HashMap、LRU、散列表

    获取对象的hashcode以后,先进行移位运算,然后再和自己做异或运算,即:hashcode ^ (hashcode >>> 16),这一步甚是巧妙,是将高16...

    六月的雨
  • 芯片大神离职特斯拉,马斯克造芯梦碎可能会抱黄仁勋大腿

    新智元
  • Python正则表达式的运用与常用的正则表达式(附超有用的小项目练习)

    在前天我们详细讲解了Python正则表达式相关知识点。那么本文带来的是偷学Python第三十二天:Python正则表达式的运用(附超有用的小项目练习),其他内容...

    刘早起
  • IntersectionObserver API 使用教程

    网页开发时,常常需要了解某个元素是否进入了"视口"(viewport),即用户能不能看到它。 ? 上图的绿色方块不断滚动,顶部会提示它的可见性。 传统的实现方法...

    ruanyf

扫码关注云+社区

领取腾讯云代金券