展开

关键词

cookielib模块学习

cookielib一般用于客户端处理HTTP cookie信息,通过它可以从服务器端获取cookie信息,反过来又可以通过它将获取到的cookie发送给服务器。 cookielib提供了不同的类来自动处理HTTP的cookie信息,使用比较多的类包括了CookieJar、MozillaCookieJar以及Cookie。 打印cookie信息 import urllib2 import cookielib cookies = cookielib.CookieJar() opener = urllib2.build_opener # coding:utf-8 import urllib2 import cookielib #设置保存cookie的文件 filename = 'cookie.txt' #声明一个MozillaCookieJar #创建一个MozillaCookieJar对象 cookie = cookielib.MozillaCookieJar() #从文件中的读取cookie内容到变量 cookie.load('cookie.txt

22910

Python网络爬虫(三)- 爬虫进阶1.爬虫进阶cookielib2.具体代码操作

Soup Python网络爬虫(六)- Scrapy框架 Python网络爬虫(七)- 深度爬虫CrawlSpider Python网络爬虫(八) - 利用有道词典实现一个简单翻译程序 1.爬虫进阶cookielib Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密) cookielib模块的主要作用是提供可存储cookie的对象,以便于与urllib2模块配合使用来访问 Cookielib模块非常强大,我们可以利用本模块的CookieJar类的对象来捕获cookie并在后续连接请求时重新发送,比如可以实现模拟登录功能。 对象实例来保存cookie cookiejar = cookielib.CookieJar() # 使用HTTPCookieProcessor()来创建cookie处理器对象,参数为CookieJar import urllib2 # 创建MozillaCookieJar(有load实现)实例对象 cookiejar = cookielib.MozillaCookieJar() # 从文件中读取

44240
  • 广告
    关闭

    什么是世界上最好的编程语言?丨云托管征文活动

    代金券、腾讯视频VIP、QQ音乐VIP、QB、公仔等奖励等你来拿!

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python的cookie处理分享

    只是拿来的文章,留个存档,可不保证能用 使用已有的cookie访问网站 import cookielib, urllib2 ckjar = cookielib.MozillaCookieJar f = opener.open(req) htm = f.read() f.close() 访问网站获得cookie,并把获得的cookie保存在cookie文件中 import cookielib ) req.add_header(’User-Agent’, \ ‘Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)’) ckjar = cookielib.MozillaCookieJar f.close() ckjar.save(ignore_discard=True, ignore_expires=True) 使用指定的参数生成cookie,并用这个cookie访问网站 import cookielib , urllib2 cookiejar = cookielib.CookieJar() urlOpener = urllib2.build_opener(urllib2.HTTPCookieProcessor

    22910

    Python使用cookie

    2.Cookielib cookielib模块的主要作用是提供可存储cookie的对象,以便于与urllib2模块配合使用来访问Internet资源。 Cookielib模块非常强大,我们可以利用本模块的CookieJar类的对象来捕获cookie并在后续连接请求时重新发送,比如可以实现模拟登录功能。 #声明一个CookieJar对象实例来保存cookie cookie = cookielib.CookieJar() #利用urllib2库的HTTPCookieProcessor对象来创建cookie 这时,我们就要用到 FileCookieJar这个对象了,在这里我们使用它的子类MozillaCookieJar来实现Cookie的保存 import cookielib import urllib2 3)从文件中获取Cookie并访问 那么我们已经做到把Cookie保存到文件中了,如果以后想使用,可以利用下面的方法来读取cookie并访问网站,感受一下 import cookielib import

    53220

    python网络爬虫(4)结构与基本概念

    =response.read() print(html) Cookie处理 呵呵 import urllib.request as urllib2 import http.cookiejar as cookielib cookie = cookielib.CookieJar() opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie)) response response.read() Timeout处理 设置局部的Timeout 超时会抛出异常 import urllib.request as urllib2 import http.cookiejar as cookielib import urllib.request as urllib2 import http.cookiejar as cookielib response = urllib2.urlopen('http import urllib.request as urllib2 import http.cookiejar as cookielib proxy = urllib2.ProxyHandler({'

    30920

    python通过生成cookie文件,并

    /usr/bin/python import urllib2 import urllib import cookielib import re auth_url = 'http://a.test.com /usr/bin/python import urllib2 import urllib import cookielib import re auth_url = 'http://a.test.com /usr/bin/python import cookielib import urllib2 import sys reload(sys) sys.setdefaultencoding('utf-8' ) cookie=cookielib.MozillaCookieJar() cookie.load('cookie.txt',ignore_expires=True,ignore_discard=True /usr/bin/python                              import cookielib                                import urllib2

    39810

    python爬虫(六)_urllib2:handle处理器和自定义opener

    cookielib库 和 HTTPCookieProcessor处理器 在Python处理Cookie,一般是通过cookielib模块和urllib2模块的HTTPCookieProcessor处理器一起使用 cookielib模块:主要作用是提供用户存储cookie的对象 HTTPCoolieProcessor处理器:主要作用是处理这些cookie对象,并构建handler对象。 cookielib库 该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。 和post登陆人人网 import urllib import urllib2 import cookielib # 1. 构建一个CookieJar对象实例来保存cookie cookie = cookielib.CookieJar() # 2.

    52480

    Python:爬虫系列笔记(5) -- cookie的使用

    2.Cookielib cookielib模块的主要作用是提供可存储cookie的对象,以便于与urllib2模块配合使用来访问Internet资源。 Cookielib模块非常强大,我们可以利用本模块的CookieJar类的对象来捕获cookie并在后续连接请求时重新发送,比如可以实现模拟登录功能。 #声明一个CookieJar对象实例来保存cookiecookie = cookielib.CookieJar()#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器 注意:密码我改了啊,别偷偷登录本宫的选课系统 o(╯□╰)o 12345678910111213141516 import urllibimport urllib2import cookielib filename = 'cookie.txt'#声明一个MozillaCookieJar对象实例来保存cookie,之后写入文件cookie = cookielib.MozillaCookieJar(filename)

    56190

    博客群发(2)--实现登陆

    baidu HI登陆 baidu HI登陆源代码 # _*_ coding:utf-8 _*_ # name login_baidu.py import urllib,urllib2,httplib,cookielib login" #设置cookie cookie=cookielib.CookieJar() cj=urllib2.HTTPCookieProcessor(cookie) name,password) print h.read() 登陆博客园 登录博客园的代码: # _*_ coding:utf-8 _*_ import urllib,urllib2,httplib,cookielib ReturnUrl=http%3A%2F%2Fwww.cnblogs.com%2F" #设置cookie cookie=cookielib.CookieJar() cj=urllib2 _connect_info['cookie'] = cookielib.LWPCookieJar() try: self.

    45660

    Python:urllib2模块Handler处理器 和 自定义Opener

    cookielib库 和 HTTPCookieProcessor处理器 在Python处理Cookie,一般是通过cookielib模块和 urllib2模块的HTTPCookieProcessor处理器类一起使用 cookielib模块:主要作用是提供用于存储cookie的对象 HTTPCookieProcessor处理器:主要作用是处理这些cookie对象,并构建handler对象。 cookielib 库 该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。 和post登录人人网 import urllib import urllib2 import cookielib # 1. 构建一个CookieJar对象实例来保存cookie cookie = cookielib.CookieJar() # 2.

    6420

    19.SimLogin_case07

    import urlretrieve import requests from bs4 import BeautifulSoup from os import remove try: import cookielib except BaseException: import http.cookiejar as cookielib try: from PIL import Image except BaseException 'Accept-Language': 'zh-CN,zh;q=0.8'} # 尝试使用cookie信息 session = requests.session() session.cookies = cookielib.LWPCookieJar

    12410

    python爬虫----(1. 基本模块)

    f.close() (4) #coding:utf-8 ''' 模拟登陆163邮箱并下载邮件内容 ''' import urllib import urllib2 import cookielib None mailBaseUrl='http://twebmail.mail.163.com' def __init__(self): self.cookie = cookielib.CookieJar ('utf8'),mail163.getMailMsg(i['url']).encode('utf8')) (5)需要登陆的情况 #1 cookie的处理 import urllib2, cookielib cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar()) opener = urllib2.build_opener(cookie_support

    25010

    Python模拟登陆 —— 征服验证码 1 豆瓣

    import urlretrieve import requests from bs4 import BeautifulSoup from os import remove try: import cookielib except: import http.cookiejar as cookielib try: from PIL import Image except: pass url 'Accept-Language': 'zh-CN,zh;q=0.8'} # 尝试使用cookie信息 session = requests.session() session.cookies = cookielib.LWPCookieJar

    62450

    自学Python十一 Python爬虫总结

    urllib.urlencode(values) 8 response = urllib2.Request(url,data = postdata)   4.Cookies 1 import urllib2,cookielib 2 cookie_handler = urllib2.HTTPCookieProcessor(cookielib.CookieJar()) 3 opener = urllib2.build_opener return '' 12 return data   根据以上内容,我们可以写出便于配置解决重复性工作的自己的helper类: 1 # -*- coding: utf-8 -*- 2 import cookielib , urllib, urllib2, socket 3 import zlib,StringIO 4 class HttpClient: 5 __cookie = cookielib.CookieJar return c.value 64 return '' 65 66 def setCookie(self, key, val, domain): 67 ck = cookielib.Cookie

    56120

    Python爬虫模拟登录带验证码网站

    因此我们需要用Cookielib模块来保持网站的cookie。 可以发现这个验证码是动态更新的每次打开都不一样,一般这种验证码和cookie是同步的。 import urllib2 import cookielib import urllib import re import sys '''模拟登录''' reload(sys) sys.setdefaultencoding 202.115.80.153/CheckCode.aspx" PostUrl = "http://202.115.80.153/default2.aspx" 验证码地址和post地址 cookie = cookielib.CookieJar urllib2.HTTPCookieProcessor(cookie) opener = urllib2.build_opener(handler) 将cookies绑定到一个opener cookie由cookielib

    42230

    Python模拟登陆 —— 征服验证码 2 B站

    import rsa import os.path import binascii import datetime from bs4 import BeautifulSoup try: import cookielib except: import http.cookiejar as cookielib try: from PIL import Image except: pass x-www-form-urlencoded; charset=UTF-8', } # 使用登录cookie信息 session = requests.session() session.cookies = cookielib.LWPCookieJar

    59860

    python 匿名代理访问浏览器

    /usr/bin/python coding=utf-8 import mechanize import cookielib import random class anonBrowser(mechanize.Browser = user_agents + ['Mozilla/4.0 ', 'FireFox/6.01','ExactSearch', 'Nokia7110/1.0'] self.cookie_jar = cookielib.LWPCookieJar self.set_cookiejar(self.cookie_jar) self.anonymize() # 清空cookie def clear_cookies(self): self.cookie_jar = cookielib.LWPCookieJar

    29620

    python获取sessionid

    /usr/bin/env python   2    3 import cookielib   4 from urllib2 import Request, build_opener, HTTPCookieProcessor 这样每次请求的一些变量都      #会相同,如:sessionid   8 cj =  cookielib.CookieJar()   9 opener = build_opener(HTTPCookieProcessor

    1.2K10

    Python的Cookie详解

    在硬盘中的是一些文本文件,当你访问该网站时,就会读取对应的网站的cookie信息,cookie有效地提升了用户体验,一般来说,一旦将cookie保存在计算机上,则只有创建该cookie的网站才能读取它 ---- 二、cookielib /usr/bin/env python # -*- coding:utf-8 -*- # author: xulinjie time:2017/11/1 import urllib2 import cookielib cookie=cookielib.CookieJar()#声明CookieJar对象实例来保存cookie handler=urllib2.HTTPCookieProcessor(cookie)#利用 、获取cookie保存到文件中 用到FileCookieJar对象的子类MozillaCookieJar来实现 filename='cookie.txt'#保存cookie的文件 cookie=cookielib.MozillaCookieJar ---- 六、从文件中获取cookie,并访问 cookie保存在自己本地文件,可从文件中获取cookie并对网站进行访问 cookie=cookielib.MozillaCookieJar()#

    30920

    python模拟表单提交(一)

    代码,我也是谷歌找来的,如下 # -*- coding: utf-8 -*- import re import urllib import urllib2 import cookielib cj = cookielib.CookieJar() #我们post的表单数据 post_data = urllib.urlencode({'username': 'hhq

    53310

    扫码关注腾讯云开发者

    领取腾讯云代金券