前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >如何获取临时 IP 进行爬虫学习 ?

如何获取临时 IP 进行爬虫学习 ?

作者头像
小小詹同学
发布2018-09-25 17:55:38
6800
发布2018-09-25 17:55:38
举报
文章被收录于专栏:小詹同学小詹同学

自己在家里学习爬虫的时候 ,遇到封 IP 怎么办呢 ?网上买 IP 又贵 ,用免费代理质量又不好 。其实 ,家中自用的宽带如果可以进行拨号的话 ,我们是可以直接用 python 来控制路由器的 。将路由器断开 ,再重新连接下 IP 不就变了吗 ,非常方便 ,而且 IP 质量很高 ,都能直接使用 。

我就以我自己家里面的路由器来做个示范 。(完整代码见留言区置顶留言 。)

需要的工具: requests ,json ,time 库 chrome 浏览器 产品型号 :TL-WDR6500 千兆版(其他用相同系统的也可)

首先我们来看一下 tplink 的登陆界面 ,清爽的界面 ,只有一个登陆密码 。

首先进行分析 ,打开chrome ,F12 查看 network ,第一个就是我们需要分析的 。

一个 post 请求 ,里面提交的参数都在最下面了 ,password 加密过了 ,因为我们是自己用就不研究加密算法了 ,直接把加密后的密码拿下来提交就好了 headers 全部复制下来 ,于是有了下面的代码 。

headers = {
    'Accept':'application/json, text/javascript, */*; q=0.01',
    'Accept-Encoding':'gzip, deflate',
    'Accept-Language':'zh-CN,zh;q=0.9',
    'Connection':'keep-alive',
    'Content-Length':'54',
    'Content-Type':'application/json; charset=UTF-8',
    'Host':'192.168.1.1',
    'Origin':'http://192.168.1.1',
    'Referer':'http://192.168.1.1/',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
    'X-Requested-With':'XMLHttpRequest'
}
def login():
    url_login = 'http://192.168.1.1/'
    data = json.dumps({"method":"do","login":{"password":LOGIN_PASSWORD}})
    return requests.post(url_login, data=data, headers=headers)

我们用 requests 库来提交数据 ,方便简单 ,这里的 LOGIN_PASSWORD 就是我们加密后的代码 ,后面我们一起将这些设置的常量放到一个 settings 文件中 。然后我们通过这段代码来验证是否登陆成功 ,因为返回的 response 如果成功为 {"stok":"92830c5f504fed863705f1c4669bf1f1","error_code":0} 通过判断 error_code 来判断是否登陆成功前面的 eval_r(now) 显示一下当前时间 。

r = login()
    if json.loads(r.text).get('error_code')==0:
        token = json.loads(r.text).get('stok')
        url_cmd = 'http://192.168.1.1/stok='+token+'/ds'
        print(eval(now)+': login success')

后面进行请求断网重连(因为路由器断网之后会自动重连 ,我们只需要检测一下 ,在重连未成功的时候在进行连接请求就好了)。继续 F12 network 选项 ,找到那个和其他 ds 不一样的 ,查看得到以下 :

我们继续模拟post请求就好啦~构造一个disconnect函数~

def disconnect():
    data = json.dumps({"network":{"change_wan_status":{"proto":"pppoe","operate":"disconnect"}},"method":"do"}) 
    response = requests.post(url_cmd,data=data,headers=headers)
    return response

好到这部分基本差不多了 ,我们再整理完善一下 ,加一个测试 ,再加一个如果路由器没有自动重连的时候我们进行拨号联网 。最后把设置的东西放到 settings 文件中就 ok 啦 。在测试之前延时了 10 s ,因为拨号需要时间嘛 。

好了 ,到这里就结束了 。测试一下 。

PS :

这里有个小坑 ,每一次的url_cmd都是不同的 。我们可以从登陆后的页面内拿到 ,设置一个全局变量即可 。这个值在登陆后的 response 中的 stok 内 ,拿到这个值我们就可以构造出这个url_cmd ,最后main代码如下:

def main():
    global url_cmd
    now =  "time.strftime('%H:%M:%S',time.localtime(time.time()))"
    r = login()
    if json.loads(r.text).get('error_code')==0:
        token = json.loads(r.text).get('stok')
        url_cmd = 'http://192.168.1.1/stok='+token+'/ds'
        print(eval(now)+': login success')
    else:
        print(eval(now)+': login failed')
        return None     
    response = disconnect()
    if json.loads(response.text).get('error_code')==0:
        print(eval(now)+': disconnect success')
    else:
        print(eval(now)+': disconnect failed')
    time.sleep(10)
    for i in range(TRY_TIMES+1):
        if test():
            print(eval(now)+': success to connect to network')
            break
        else:
            print(eval(now)+': faile to connect to network')
            reconnect()

其他款路由器应该也差不多,还有操作之前需要咨询网络运营商开通拨号。最后,我们再加上一个显示当前IP的功能,直接调用了一个网上的api,一句话就ok。

new_ip = json.loads(requests.get('http://api.k780.com/?app=ip.local&appkey=10003&sign=b59bc3ef6191eb9f747dd4e83c99f2a4&format=json').text)['result']['ip']

最后看一下效果:

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-09-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 小詹学Python 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档