专栏首页python3Mechanize实战二:获取音悦台公告

Mechanize实战二:获取音悦台公告

有些网站或论坛为了防止暴力破解,在登录框设置了一个验证码,目前针对验证码的解决方案可谓是千奇百怪,考虑到爬虫所需要的只是数据,完全可以绕过验证码,直接使用COOKIE登陆就可以了

(所有代码均在python2.7环境下测试)

直接利用Cookie获取目标页面数据

这种方法好处在于不管有没有验证码,也不管验证码有多么复杂,它都是有效的,它利用的只是Cookie,跟用户名,密码,验证码都没有关系。缺点就是操作复杂,还有就是Cookie的生存期可能不长,过一段时间就得重新操作一遍

获取Cookie的方法

获取Cookie的方法很多,不管使用哪种方法,首先都得登陆后再操作,打开登陆页面,输入用户名密码

登陆网站后进入目标页面http://u.yinyuetai.com/site-notice.html,如下:

从目标页面可以获取个人的信件,站内通知,系统消息等等...现在只需要从目标界面获取Cookie就可以了,其它的数据留给bs4处理,获取Cookie的方法很多,以下只列出比较典型的几种

1  JavaScript获取Cookie

所有的浏览器默认情况下都是支持JavaScript的,因此获取Cookie最常见的方法就是在浏览器中打开目标页面,然后在地址栏输入JavaScript命令:  --- F12打开,Console里面输入

javascript:document.write(document.cookie)

执行结果如下:

这种方法的好处在于无须借助任何工具就可以获取到Cookie信息,缺点是获取的Cookie信息有时会不完整,缺少关键的几项。有的网站用这种获取的Cookie可以登录,有的又不行,不通用,不可取

2  浏览器记录中获取Cookie

浏览器在登陆站点后将Cookie信息保存到文件中(以Chrome谷歌浏览器为例),这个文件的位置在C:\Users\taoru\AppData\Local\Google\Chrome\User Data\Default,文件名为Cookies,如下图

这个Cookies文件实际上是一个sqlite3的数据库,Chrome将浏览器上的所有Cookie都保存到这个数据库中,将这个Cookies文件复制一个备份,命名为:Cookies.db(尽量避免直接操作源文件)

在该目录下按Shift并单击鼠标右键,在弹出的菜单中选取"在此处打开命令窗口",在此处打开Powershell窗口

import sqlite3
conn = sqlite3.connect('Cookies.db')
for row in conn.execute('select * from cookies where host_key like "%yinyuetai.com%"'):
    print(row)

运行结果:

已经将所有相关的Cookie列出来了,如果要把这些数据换成可使用Cookie,还的继续将其中的encrypted_value字段解码。使用这种方法获取Cookie,好处是所有的Cookie内容都一网打尽,连用户名密码都可以用明文解读出来;坏处则是要把这种数据转换成Mechanize可用的Cookie比较麻烦,还需要安装其他的第三方模块

3  利用工具获取Cookie

最后的方法就是利用网络工具,在浏览器向服务器发送数据时截取这些数据,这些数据不仅仅包括Cookie,还有一些其他的信息,而且这些信息Mechanize还都用得上,简直就是完美.

截取浏览器和服务器之间的网络工具有很多,比如:Fiddler,Wireshark,BurpSuite,也有浏览器自带的,也就是F12开发工具

3.1 Chrome开发工具获取Cookie

这里不单单只有Cookie信息,还有Header信息等等....

将这个Request Headers里的所有数据都复制到一个文本文件headersRaw,txt中

3.2 BurpSuite获取Cookie

BurpSuite工具简单方便,跨平台运行,功能强大

BurpSuite下载地址:https://portswigger.net/burp/communitydownload,安装一个合适的版本

BurpSuite监控的端口是本机的8080端口,所以必须将浏览器的代理端口设置为127.0.0.1:8080

谷歌浏览器设置如下:

打开Burp Suite,重新刷新浏览器页面:

主要是获取Cookie和User-Agent的数据,将这个Raw标签内的所有内容复制到文本文件headersRaw.txt中备用

上面两种获取headersRaw.txt文件的方法任选一种都可以,然后为它写一个程序,将所需的数据按照所需的格式导出来

创建一个getHeaders.py代码如下:

#!/usr/bin/env python
# coding: utf-8

def getheaders(filename):
    headers= []
    headerList = ['User-Agent', 'Cookie']
    with open(filename, 'r') as f:
        for line in f.readlines():
            name, value = line.split(':', 1)
            if name in headerList:
                headers.append((name.strip(), value.strip()))
    return headers


if __name__ == '__main__':
    headers = getheaders('headersRaw.txt')
    print(headers)

运行结果如下:

已经将Cookie和User-Agent过滤出来并按照格式排列好了,最后所得到的headers是一个包含2个元组的列表

上面讲了那么多,都是下面做铺垫的

重点: 使用Cookie登陆并获取数据

创建一个getYinyuetai.py代码如下:

#!/usr/bin/env python
# coding: utf-8

import mechanize
from bs4 import BeautifulSoup
from mylog import MyLog as mylog
from getHeaders import getheaders
import urllib2
import codecs
import sys
import json
import re


# py2.7声明使用utf-8编码
reload(sys)
sys.setdefaultencoding('utf-8')

class Item(object):
    class_ification = None  # 分类
    title = None  # 标题
    content = None  # 内容


class GetLogin(object):
    def __init__(self):
        self.url = 'http://u.yinyuetai.com/site-notice.html'
        self.start_url = 'http://uapi.yinyuetai.com/i/news/announcement?callback=jQuery110201542904708315788
        7_1531728216131&page='
        self.end_url = '&pageSize=10'
        self.log = mylog()
        self.headerFile = 'headersRaw.txt'
        self.outFile = 'Login_content.txt'
        self.spider()

    def getResponseContent(self, url):
        self.log.info('开始使用mechanize模块得到响应')
        br = mechanize.Browser()
        br.set_handle_equiv(True)
        br.set_handle_redirect(True)
        br.set_handle_referer(True)
        br.set_handle_robots(False)
        br.set_handle_gzip(False)
        br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)
        headers = getheaders(self.headerFile)
        br.addheaders = headers
        br.open(url)
        return br.response().read().decode('utf8')

    def spider(self):
        self.log.info("开始运行爬虫模块")
        items = []
        responsecontent = self.getResponseContent(self.url)
        soup = BeautifulSoup(responsecontent, 'lxml')
        tag = soup.find('head').find('title').get_text().strip()
        item = Item()
        item.class_ification = tag
        urls = self.geturls()
        for url in urls:
            fakeHeaders = {
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'}
            request = urllib2.Request(url, headers=fakeHeaders)
            response = urllib2.urlopen(request)
            html_content = response.read()
            ss = re.findall("{.*}", html_content)
            msg = json.loads(ss[0])['messages']
            for i in msg:
                item.title = i['subject']
                item.content = i['content']
                with codecs.open(self.outFile, 'a', 'utf8') as f:
                    self.log.info(item.class_ification)
                    f.write(item.class_ification + '\r\n')
                    self.log.info(item.title)
                    f.write(item.title + '\r\n')
                    self.log.info(item.content)
                    f.write(item.content + '\r\n')
                    f.write('\r\n' * 4)


    def geturls(self):
        urls = []
        num = [i for i in range(1, 5)]
        for i in num:
            url = self.start_url + str(i) + self.end_url
            urls.append(url)
        return urls


if __name__ == '__main__':
    GB = GetLogin()

创建一个mylog.py的日志模块

#!/usr/bin/env python
# coding: utf-8
import logging
import getpass
import sys


# 定义MyLog类
class MyLog(object):
    def __init__(self):
        self.user = getpass.getuser()  # 获取用户
        self.logger = logging.getLogger(self.user)
        self.logger.setLevel(logging.DEBUG)

        # 日志文件名
        self.logfile = sys.argv[0][0:-3] + '.log'  # 动态获取调用文件的名字
        self.formatter = logging.Formatter('%(asctime)-12s %(levelname)-8s %(message)-12s\r\n')

        # 日志显示到屏幕上并输出到日志文件内
        self.logHand = logging.FileHandler(self.logfile, encoding='utf-8')
        self.logHand.setFormatter(self.formatter)
        self.logHand.setLevel(logging.DEBUG)

        self.logHandSt = logging.StreamHandler()
        self.logHandSt.setFormatter(self.formatter)
        self.logHandSt.setLevel(logging.DEBUG)

        self.logger.addHandler(self.logHand)
        self.logger.addHandler(self.logHandSt)

    # 日志的5个级别对应以下的5个函数
    def debug(self, msg):
        self.logger.debug(msg)

    def info(self, msg):
        self.logger.info(msg)

    def warn(self, msg):
        self.logger.warn(msg)

    def error(self, msg):
        self.logger.error(msg)

    def critical(self, msg):
        self.logger.critical(msg)


if __name__ == '__main__':
    mylog = MyLog()
    mylog.debug(u"I'm debug 中文测试")
    mylog.info(u"I'm info 中文测试")
    mylog.warn(u"I'm warn 中文测试")
    mylog.error(u"I'm error 中文测试")
    mylog.critical(u"I'm critical 中文测试")

运行主程序getYinyuetai.py

pycharm运行截图:

Login_content.txt截图:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • python 长连接 mysql数据库

    python链接mysql中没有长链接的概念,但我们可以利用mysql的ping机制,来实现长链接功能

    用户2398817
  • python伪造udp数据包

    用户2398817
  • python3 - 文本读音器

    本篇分享的是使用python3制作一个文本读音器,简单点就是把指定的文本文字转语音说出来;做这么个小工具主要是为了方便自己在平时看一些文章眼累的时候,可通过语音...

    用户2398817
  • 基于图形项的复杂形状和动画--千足虫

    在本篇中,会看到利用图形项来绘制复杂形状和动画,模拟“千足虫”的运动和消亡过程。程序有一个内部的定时器,在没段时间间隙中,这些千足虫都在不停的移动。如果它们的头...

    用户6021899
  • 跨平台PHP调试器设计及使用方法——通信

            首先引用《跨平台PHP调试器设计及使用方法——探索和设计》中的结构图(转载请指明出于breaksoftware的csdn博客)

    方亮
  • vn.py源码解读(七、回测代码解析)

            原本想开始讲策略类的编写,后来觉得,结合回测代码其实能够更好的理解,所以先解读一下vnpy回测的代码吧,后续自己也想把vnpy回测的部分优化一下...

    钱塘小甲子
  • 事件与信号

    所有的应用都是事件驱动的。事件大部分都是由用户的行为产生的,当然也有其他的事件产生方式,比如网络的连接,窗口管理器或者定时器等。调用应用的exec_()方法时,...

    小飞侠xp
  • python pyqt5仿window任务计划程序

    from PyQt5 import QtCore, QtWidgets import sys,os import win32api import win3...

    用户5760343
  • selenium爬取拉勾网python职位信息

    菲宇
  • 对话框

    对话框是一个现代GUI应用不可或缺的一部分。对话是两个人之间的交流,对话框就是人与电脑之间的对话。对话框用来输入数据,修改数据,修改应用设置等等。

    小飞侠xp

扫码关注云+社区

领取腾讯云代金券