常用selenium浏览器配置

1.限制页面加载时间

selenium webdriver在get()方法会一直等待页面加载完毕才会执行后面的,可如果加载时间太长会导致后续操作无法进行。有时我们要的信息已经加载出来了,再继续加载网页就没有意义了。 可以通过set_page_load_time()方法来设定时间 然后捕获TimeoutException异常,并通过执行Javascript来停止页面加载 window.stop()

from selenium import webdriver
from selenium.common.exceptions import TimeoutException

driver = webdriver.PhantomJS()
# 设定页面加载限制时间
driver.set_page_load_timeout(5)
driver.maximize_window()

try:
    driver.get('http://phantomjs.org/api/command-line.html')
except TimeoutException:  
    print('加载超过5秒,强制停止加载....') 
    #当页面加载时间超过设定时间,通过执行Javascript来stop加载,即可执行后续动作
    driver.execute_script('window.stop()')

execute_script()是一个执行Javascript代码的方法。

2.修改浏览器窗口大小

有时候PhantomJS不修改浏览器不修改窗口大小就会有意外的惊喜(报错!),修改的方法也很简单,建议使用PhantomJS访问网页时都先加上。

#自定义窗口大小:
driver.set_window_size(1366,768)
#默认为最大窗口:
driver.maximize_window()

一般用driver.maximize_window()默认最大窗口就行了。

3.修改User-Agent

为了反爬虫或者获取一些移动端网络数据时,需要改变User-Agent。

  • 修改PhantomJS的User-Agent
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = (
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.103 Safari/537.36"
)

driver = webdriver.PhantomJS(desired_capabilities=dcap)

driver.get("http://www.baidu.com/")
#利用javascript的方法查看user-agent,须在调用get()后使用。
agent = driver.execute_script("return navigator.userAgent")
print(agent)
driver.quit()

运行结果:

Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.103 Safari/537.36

查看当前User-Agent的方法,还可以通过访问 https://httpbin.org/user-agent ,然后提取信息,比如说截个图。

driver.get("https://httpbin.org/user-agent")
#网页截图
driver.save_screenshot('User-Agent.png')

获得截图

  • 修改Chrome的User-Agent
from selenium import webdriver

options = webdriver.ChromeOptions()
# 设置成中文
options.add_argument('lang=zh_CN.UTF-8')
# 添加头部
options.add_argument('user-agent="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.103 Safari/537.36"')
driver = webdriver.Chrome(chrome_options=options)
driver.get("https://httpbin.org/user-agent")
#driver.quit()

网页运行结果:

实际上我的Chrome的User-Agent(之前说过chromedriver不支持太新版本的chrome)是:

可以看到,user-agent确实是改变了。

4.浏览器无图模式加载网页

大多情况下,图片加载对我们并无意义。无图模式加载能提高网页加载速度,从而提高爬取速度。

  • PhantomJS无图模式

PhantomJS官网中给出了一些PhantomJS的设置参数(点我查看)。

from selenium import webdriver
#不加载图片,开启缓存
SERVICE_ARGS = ['--load-images=false', '--disk-cache=true']
driver = webdriver.PhantomJS(service_args=SERVICE_ARGS)

driver.get("http://huaban.com/")
#网页截图
driver.save_screenshot('screenshot.png')
driver.quit()

还有一个和之前设置user-agent类似的方法,也能实现无图加载的功能。

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

dcap = dict(DesiredCapabilities.PHANTOMJS)
#设置无图模式
dcap["phantomjs.page.settings.loadImages"] = False

driver = webdriver.PhantomJS(desired_capabilities=dcap)

driver.get('http://huaban.com/')
driver.save_screenshot('screenshot.png')

driver.quit()
  • Chrome无图模式
from selenium import webdriver

options = webdriver.ChromeOptions()
#1允许所有图片;2阻止所有图片;3阻止第三方服务器图片
prefs = {
    'profile.default_content_setting_values': {
        'images': 2
    }
}
options.add_experimental_option('prefs', prefs)
driver = webdriver.Chrome(chrome_options=options)

driver.get("http://huaban.com/")
#driver.quit()

运行结果:

5.ip代理
  • PhantomJS
from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy
from selenium.webdriver.common.proxy import ProxyType
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

proxy = Proxy(
    {
        'proxyType': ProxyType.MANUAL,
        'httpProxy': '171.13.37.182:808'  # 代理ip和端口
    }
)
desired_capabilities = DesiredCapabilities.PHANTOMJS.copy()
# 把代理ip加入
proxy.add_to_capabilities(desired_capabilities)
driver = webdriver.PhantomJS(desired_capabilities=desired_capabilities)
driver.get('http://httpbin.org/ip')
print(driver.page_source)
driver.close()

运行结果:

<html><head></head><body><pre style="word-wrap: break-word; white-space: pre-wrap;">{
  "origin": "171.13.37.182"
}
</pre></body></html>

或者(方法基本一致)

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy
from selenium.webdriver.common.proxy import ProxyType
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

driver=webdriver.PhantomJS()
proxy=webdriver.Proxy()
proxy.proxy_type=ProxyType.MANUAL
proxy.http_proxy='171.13.37.182:808'

proxy.add_to_capabilities(webdriver.DesiredCapabilities.PHANTOMJS)
# 新建一个会话,并把参数传入,可以多次修改ip,用start_session实现动态修改ip
driver.start_session(webdriver.DesiredCapabilities.PHANTOMJS)
driver.get('http://httpbin.org/ip')
print(driver.page_source)

driver.quit()
# 还原为系统代理
proxy=webdriver.Proxy()
proxy.proxy_type=ProxyType.DIRECT
proxy.add_to_capabilities(webdriver.DesiredCapabilities.PHANTOMJS)
driver.start_session(webdriver.DesiredCapabilities.PHANTOMJS)
#driver.get('http://httpbin.org/ip')

亲测都有效,按理说根据PhantomJS的参数说明直接修改service_args中的proxy参数就能实现ip代理,代码也比较精简易读,不过实际运行时无法返回正确信息

#活在理想中,并运行不出来的辣鸡程序23333
from selenium import webdriver
service_args = ['--proxy=171.13.37.182:808','--proxy-type=http']
driver = webdriver.PhantomJS(service_args=service_args)
driver.get('http://httpbin.org/ip')
print(driver.page_source)
driver.quit()

希望有大佬指点下,这个程序为啥不对。。。

  • Chrome 和修改User-Agent的方法类似
from selenium import webdriver
#打开chrome设置
chrome_options = webdriver.ChromeOptions()
#添加proxy参数
chrome_options.add_argument('--proxy-server=http://58.209.151.126:808')
chrome = webdriver.Chrome(chrome_options=chrome_options)
chrome.get('http://httpbin.org/ip')
print(chrome.page_source)
chrome.quit()
6.鼠标操作

selenium对浏览器操作、鼠标操作等总结 ——简友“古佛青灯度流年”的总结,非常详细,还包括了一些键盘操作、多窗口、显示等待预期条件的完整翻译等等,很棒! 个人感觉鼠标操作比较有用的是悬停操作,现在越来越多的网页需要把鼠标放到指定位置才显示新的内容,比如百度知道的问题分类、比如淘宝的价格区间输入框等等。

悬停操作的模板如下

from selenium import webdriver
improt time
#引入ActionChains 类
from selenium.webdriver.common.action_chains import ActionChains

driver = webdriver.Chrome()
driver.get("http://www.baidu.com")
#定位到要悬停的元素
above =driver.find_element_by_id("xx")
#对定位到的元素执行悬停操作
ActionChains(driver).move_to_element(above).perform()
time.sleep(5)
7.COOKIE设置

使用COOKIE登录可以免去模拟输入账号、密码、验证码的过程。selenium中常见的对cookie主要有以下几种:

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('http://www.baidu.com')

#获取cookie
driver.get_cookies()
#删除指定cookie
driver.delete_cookie("CookieName")
#删除全部cookie
driver.delete_all_cookies()
#添加cookie,可操作参数为name、value、secure、domain、path。
driver.add_cookie({'name':'AAA', 'value':'BBB'})

本来我直接复制浏览器头里面的COOKIE,发现程序会报错。这里的COOKIE的参数只能是name、value、secure、domain、path。所以我们首先用自带的方法先拿到COOKIE。 下面以登录百度为例,获取COOKIE:

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('http://www.baidu.com')

#获取cookie
driver.get_cookies()
#删除指定cookie
driver.delete_cookie("CookieName")
#删除全部cookie
driver.delete_all_cookies()
#添加cookie,可操作参数为name、value、secure、domain、path。
driver.add_cookie({'name':'AAA', 'value':'BBB'})

浏览器显示百度首页后,程序卡在input中,我们手动登录下,然后回程序界面随便给个输入,即获得了新的cookie。 运行结果:

[{'secure': False, 'path': '/', 'name': 'H_PS_PSSID', 'domain': '.baidu.com', 'value': '1437_21088_22919_22159'}, {'expiry': 3643448945.194736, 'secure': False, 'name': 'BAIDUID', 'path': '/', 'value': '83E3B71AB47A71D9C41D8D6FC4B7DD52:FG=1', 'domain': '.baidu.com'}, {'expiry': 3643448945.1948347, 'secure': False, 'name': 'PSTM', 'path': '/', 'value': '1495965372', 'domain': '.baidu.com'}, {'expiry': 3643448945.194802, 'secure': False, 'name': 'BIDUPSID', 'path': '/', 'value': '83E3B71AB47A71D9C41D8D6FC4B7DD52', 'domain': '.baidu.com'}, {'expiry': 1496829298, 'secure': False, 'name': 'BD_UPN', 'path': '/', 'value': '12314753', 'domain': 'www.baidu.com'}, {'expiry': 1495965299.194861, 'secure': False, 'name': 'BD_LAST_QID', 'path': '/', 'value': '13404962645896014853', 'domain': 'www.baidu.com'}, {'secure': False, 'path': '/', 'name': 'BD_HOME', 'domain': 'www.baidu.com', 'value': '0'}, {'expiry': 1495965303.996251, 'secure': False, 'name': '__bsi', 'path': '/', 'value': '17537283370589855674_00_0_I_R_2_0303_C02F_N_I_I_0', 'domain': '.www.baidu.com'}]
等待登录..
[{'secure': False, 'path': '/', 'name': 'H_PS_PSSID', 'domain': '.baidu.com', 'value': '1421_21121_22747_17001_22158'}, {'expiry': 1527501307.234465, 'secure': False, 'name': 'BAIDUID', 'path': '/', 'value': '37ECD490B4A2D652FE0A0C6264F18DBC:FG=1', 'domain': '.baidu.com'}, {'expiry': 2505117350, 'secure': False, 'name': 'KKK', 'path': '/', 'value': 'KKKKK', 'domain': '.baidu.com'}, {'expiry': 3643448997.013932, 'secure': False, 'name': 'PSKK', 'path': '/', 'value': '149KKK', 'domain': '.baidu.com'}, {'expiry': 2556057600, 'secure': False, 'name': 'KK_UID', 'path': '/', 'value': '0667eKKed5bKKKKK06K71', 'domain': '.www.baidu.com'}, {'expiry': 1496829350, 'secure': False, 'name': 'BD_UPN', 'path': '/', 'value': '12KK753', 'domain': 'www.baidu.com'}, {'expiry': 1496051750.065559, 'secure': False, 'name': 'BDORZ', 'path': '/', 'value': 'B490B5EKK15DKDA1598', 'domain': '.baidu.com'}, {'expiry': 1755165348.82662, 'secure': False, 'name': 'BDUSS', 'path': '/', 'value': 'ZsUzhOYzl4bVZFdk94NFlpSmVTTzAKKKKAAAAAAEAAAAGEUIGYWQ5OTYAAAAAKKKKAAAAAAAAAO-eKlnvKZbE', 'domain': '.baidu.com'}, {'secure': False, 'path': '/', 'name': 'BD_HOME', 'domain': 'www.baidu.com', 'value': '1'}, {'expiry': 2442045350, 'secure': False, 'name': 'sug', 'path': '/', 'value': '3', 'domain': '.www.baidu.com'}, {'expiry': 2442045350, 'secure': False, 'name': 'sugstore', 'path': '/', 'value': '0', 'domain': '.www.baidu.com'}, {'expiry': 2442045350, 'secure': False, 'name': 'ORIGIN', 'path': '/', 'value': '0', 'domain': '.www.baidu.com'}, {'expiry': 2442045350, 'secure': False, 'name': 'bdime', 'path': '/', 'value': '0', 'domain': '.www.baidu.com'}, {'expiry': 1495965355.737065, 'secure': False, 'name': '__bsi', 'path': '/', 'value': '170867479KKKK03KKI_0', 'domain': '.www.baidu.com'}]

然后我们把得到的cookie添加进去:

from selenium import webdriver


driver = webdriver.Chrome()
driver.get('http://www.baidu.com')
driver.delete_all_cookies()
cookie_list =[{'secure': False, 'path': '/', 'name': 'H_PS_PSSID', 'domain': '.baidu.com', 'value': '1421_21121_22747_17001_22158'}, {'expiry': 1527501307.234465, 'secure': False, 'name': 'BAIDUID', 'path': '/', 'value': '37ECD490B4A2D652FE0A0C6264F18DBC:FG=1', 'domain': '.baidu.com'}, {'expiry': 2505117350, 'secure': False, 'name': 'KKK', 'path': '/', 'value': 'KKKKK', 'domain': '.baidu.com'}, {'expiry': 3643448997.013932, 'secure': False, 'name': 'PSKK', 'path': '/', 'value': '149KKK', 'domain': '.baidu.com'}, {'expiry': 2556057600, 'secure': False, 'name': 'KK_UID', 'path': '/', 'value': '0667eKKed5bKKKKK06K71', 'domain': '.www.baidu.com'}, {'expiry': 1496829350, 'secure': False, 'name': 'BD_UPN', 'path': '/', 'value': '12KK753', 'domain': 'www.baidu.com'}, {'expiry': 1496051750.065559, 'secure': False, 'name': 'BDORZ', 'path': '/', 'value': 'B490B5EKK15DKDA1598', 'domain': '.baidu.com'}, {'expiry': 1755165348.82662, 'secure': False, 'name': 'BDUSS', 'path': '/', 'value': 'ZsUzhOYzl4bVZFdk94NFlpSmVTTzAKKKKAAAAAAEAAAAGEUIGYWQ5OTYAAAAAKKKKAAAAAAAAAO-eKlnvKZbE', 'domain': '.baidu.com'}, {'secure': False, 'path': '/', 'name': 'BD_HOME', 'domain': 'www.baidu.com', 'value': '1'}, {'expiry': 2442045350, 'secure': False, 'name': 'sug', 'path': '/', 'value': '3', 'domain': '.www.baidu.com'}, {'expiry': 2442045350, 'secure': False, 'name': 'sugstore', 'path': '/', 'value': '0', 'domain': '.www.baidu.com'}, {'expiry': 2442045350, 'secure': False, 'name': 'ORIGIN', 'path': '/', 'value': '0', 'domain': '.www.baidu.com'}, {'expiry': 2442045350, 'secure': False, 'name': 'bdime', 'path': '/', 'value': '0', 'domain': '.www.baidu.com'}, {'expiry': 1495965355.737065, 'secure': False, 'name': '__bsi', 'path': '/', 'value': '170867479KKKK03KKI_0', 'domain': '.www.baidu.com'}]
for i in cookie_list:
    driver.add_cookie(i)
driver.get('http://www.baidu.com')
input('查看是否登录')

driver.quit()

结果显示登录成功:

----------------------------------------------------------------------------------- 后续大概会继续更新一些常见的JS函数、区域截图等等。

作者:X_xxieRiemann

链接:https://www.jianshu.com/p/19890d7af5dd

來源:简书 著作权归作者所有。

商业转载请联系作者获得授权,非商业转载请注明出处。

原创文章,转载请注明: 转载自URl-team

本文链接地址: 常用selenium浏览器配置

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏七夜安全博客

脚本代码混淆-Python篇-pyminifier(1)

最近研究了一下脚本语言的混淆方法,比如 python,javascript等。脚本语言属于动态语言,代码大多无法直接编译成二进制机器码,发行脚本基本上相当于暴露...

10620
来自专栏DBA随笔

Python之dict、set

Python里面保存数据,使用最多的是数据字典,也称之为dict,这里的dict可以理解为c++里面的map,使用key-value存储,它的查找速度。很快,...

5710
来自专栏DBA随笔

Python之list、tuple

前段时间看了看Python,最近在工作中频繁使用,发现自己对Python的掌握还是不够,于是决定,好好整理一阵子关于Python的东西,如果工作当天有更好...

5710
来自专栏全栈修仙之路

Node.js 小打小闹之图片合成

前阵子公司的产品经理找我谈个需求,希望能为每个用户生成专属的资讯分享图片及让开通专栏的用户能够生成专属的文章分享图片。这两天刚好有空,就抽空预研了 “生成专属的...

17720
来自专栏志学Python

教你如何使用 flask 框架在浏览器打印 hello world

我就不再这里赘述了,我这里建议安装 anaconda3, 因为集成了很多常用的库,我们可以直接使用,不需要再去安装,可以参考我以前学习写得一篇文章 https:...

8130
来自专栏DBA随笔

Python之密码加密与解密

最近在搞一个web应用的密码管理模块,里面用到了python对密码的加密解密模块,在网上搜了一下,发现这方面的加密解密例子还比较多,整理了一下思路,初步将密码管...

15730
来自专栏DBA随笔

一点简单总结

1.如果字段名含有id或者no字样,但是数据类型却是varchar的,需要给出修改建议;

3910
来自专栏七夜安全博客

APT组织武器:MuddyC3泄露代码分析

MuddyC3是MuddyWater组织自研的渗透工具,基于Python的B/S架构。安全研究人员在Github上发布了相关恶意样本和反编译的源码,从代码的完整...

7520
来自专栏python小教程

Python 变量类型

#!/usr/bin/python # -*- coding: UTF-8 -*- counter = 100 # 赋值整型变量 miles = 1000.0...

9040
来自专栏DBA随笔

Django学习笔记

说明一下:这篇文章本来应该是昨天推得,昨天写完直接过了12点了,所以就和今天的一起推出来。

7030

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励