selenium设置chrome和phantomjs的请求头信息

出于反爬虫也好-跳转到手机端页面也好都需要设置请求头,那么如何进行呢?

目录

  • 一:selenium设置phantomjs请求头:
  • 二:selenium设置chrome请求头:
  • 三:selenium设置chrome–cookie:
  • 四:selenium设置phantomjs-图片不加载:

一:selenium设置phantomjs请求头:

可以复制下列代码运行,会访问https://httpbin.org/get?show_env=1  该网站能呈现你请求的头信息

来源于知乎回答

# !/usr/bin/python
# -*- coding: utf-8 -*-
 
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
 
dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = (
"Mozilla/5.0 (Linux; Android 5.1.1; Nexus 6 Build/LYZ28E) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.23 Mobile Safari/537.36"
)
driver = webdriver.PhantomJS(desired_capabilities=dcap)
driver.get("https://httpbin.org/get?show_env=1")
driver.get_screenshot_as_file('01.png')
driver.quit()
 
作者:JIM LIU
链接:https://www.zhihu.com/question/35547395/answer/106652782
来源:知乎
著作权归作者所有,转载请联系作者获得授权。

二:selenium设置chrome请求头:

来源http://www.cnblogs.com/TTyb/p/6128323.html 感恩原作者

如代码

# !/usr/bin/python
# -*- coding: utf-8 -*-
 
from selenium import webdriver
# 进入浏览器设置
options = webdriver.ChromeOptions()
# 设置中文
options.add_argument('lang=zh_CN.UTF-8')
# 更换头部
options.add_argument('user-agent="Mozilla/5.0 (iPod; U; CPU iPhone OS 2_1 like Mac OS X; ja-jp) AppleWebKit/525.18.1 (KHTML, like Gecko) Version/3.1.1 Mobile/5F137 Safari/525.20"')
browser = webdriver.Chrome(chrome_options=options)
url = "https://httpbin.org/get?show_env=1"
browser.get(url)
browser.quit()

三:selenium设置chrome–cookie:

cookie用于模拟登陆

# !/usr/bin/python
# -*- coding: utf-8 -*-
 
from selenium import webdriver
browser = webdriver.Chrome()
 
url = "https://www.baidu.com/"
browser.get(url)
# 通过js新打开一个窗口
newwindow='window.open("https://www.baidu.com");'
# 删除原来的cookie
browser.delete_all_cookies()
# 携带cookie打开
browser.add_cookie({'name':'ABC','value':'DEF'})
# 通过js新打开一个窗口
browser.execute_script(newwindow)
input("查看效果")
browser.quit()

四:selenium设置phantomjs-图片不加载:

from selenium import webdriver
 
options = webdriver.ChromeOptions()
prefs = {
    'profile.default_content_setting_values': {
        'images': 2
    }
}
options.add_experimental_option('prefs', prefs)
browser = webdriver.Chrome(chrome_options=options)
 
# browser = webdriver.Chrome()
url = "http://image.baidu.com/"
browser.get(url)
input("是否有图")
browser.quit()

效果如图:

原创文章,转载请注明: 转载自URl-team

本文链接地址: selenium设置chrome和phantomjs的请求头信息

No related posts.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏硬核项目经理的专栏

PHP设计模式之状态模式

状态模式从字面上其实并不是很好理解。这里的状态是什么意思呢?保存状态?那不就是备忘录模式了。其实,这里的状态是类的状态,通过改变类的某个状态,让这个类感觉像是换...

10920
来自专栏微信公众号:Java团长

SpringBoot+Mybatis+ Druid+PageHelper 实现多数据源并分页

本篇文章主要讲述的是SpringBoot整合Mybatis、Druid和PageHelper 并实现多数据源和分页。其中SpringBoot整合Mybatis这...

8720
来自专栏知识分享

STM32远程乒乓升级,升级流程源码详细说明

  2.其实主要的就是把程序文件写入环形队列,然后环形队列取出来数据写入Flash

13410
来自专栏陶士涵的菜地

[Linux] 纯净ubuntu快速搭建宝塔面板

宝塔官方建议是纯净的系统,我使用docker运行一个ubuntu容器,模拟一个纯净的系统,这样也不会影响到我的其他服务。

9330
来自专栏前端劝退师

腾讯CDC团队:前端异常监控解决方案

前端监控包括行为监控、异常监控、性能监控等,本文主要讨论异常监控。对于前端而言,和后端处于同一个监控系统中,前端有自己的监控方案,后端也有自己等监控方案,但两者...

8610
来自专栏Bug生活2048

[mini-blog]小程序订阅消息踩坑记

一次性订阅消息最大的优势就是不再受到七天有效期的限制,同时省去了生成formId的动作,而劣势在于必须用户主动允许,且允许一次只能发送一条信息。

26210
来自专栏Nodejs技术栈

Node.js 中实践 Redis Lua 脚本

Lua 是一种轻量小巧的脚本语言,用标准 C 语言编写并以源代码形式开放,其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。由于 Lua ...

10720
来自专栏烟草的香味

揭开HTTPS的神秘面纱

在说HTTP前,一定要先介绍一下HTTP,这家伙应该不用过多说明了,大家每天都在用,每一次HTTP请求,都是一次TCP连接。遗憾的是,请求的内容在TCP报文中是...

8220
来自专栏c#Winform自定义控件系列

(八十六)c#Winform自定义控件-表格优化

出处:http://www.hzhcontrols.com/ 原文:http://www.hzhcontrols.com/blog-149.html 本文版权归...

9820
来自专栏编程微刊

React基础语法06-事件对象的应用

老规矩,先看完官方文档,记录学习笔记: 教程:https://www.runoob.com/react/react-tutorial.html 文档:htt...

6430

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励