python爬虫实战-微信公众号文章下载-(04)设置代理

efonfighting

发布于 2019-10-08 17:54:08

4670

发布于 2019-10-08 17:54:08

文章被收录于专栏：一番码客一番码客

本文目录：

前言设置代理一番今日

前言

时隔半年，一番再次写公众号文章下载系列的文章。

微信公众号设置了访问次数限制，据一番实践，现在一个ip地址每天只能下载两千篇文章。为了破解这个限制，我们就需要设置下代理。简单讲就是通过另一ip访问微信服务器，然后将获得信息传送回我们本地。

在python里设置代理也非常简单。

设置代理

这里我们用到的就是request库，request.get里便可以通过proxies字段设置代理。为了伪装成浏览器，还可以用headers字段设置访问头。

具体代码如下（为了防止敏感信息泄露，代码里用x和.代替了一些信息，小伙伴们可以自行获得代理和自己的访问头之后设置）。真的非常简单。

def open_url(url_str):
    http_ip = [
        '119.101.xxx.xxx:9999',
        '125.40.xxx.xxx:56738',
        '139.198.xxx.107:1080',
        '106.15.xxx.xxx:33543',
        '183.185.xxx.xxx:80'
    ]

    proxy_ip = {
    'http' : random.choice(http_ip),
    }
    print('使用代理的IP:',proxy_ip)
    html = ""
    headers = {
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:43.0) ....",
        "Accept-Language":"zh-CN,zh;q=0...",
        "Accept-Encoding":"gzip, de...",
        "Connection":"..."
    }
    if bool(proxy_ip):
        html = requests.get(url=url_str.replace('http:', 'https:'), timeout=20, headers = headers, proxies=proxy_ip).content

    else:
        html = requests.get(url=url_str, timeout=20, headers = headers).content
    #返回网页内容,动态加载的需要另行处理
    print('返回网页内容长度:',len(html))
    return html