selenium设置user-agent以及对于是否是浏览器内核进行反爬

小小咸鱼YwY

发布于 2020-06-19 15:25:38

3.5K0

发布于 2020-06-19 15:25:38

文章被收录于专栏：python-爬虫python-爬虫

(Session info: chrome=75.0.3770.90),不同版本方法可能会有些不同

推荐查资料网站必应可以避开一堆广告

一.user-agent设置

from selenium import webdriver
# 进入浏览器设置
options = webdriver.ChromeOptions()
# 更换头部
options.add_argument('user-agent=ywy')

browser = webdriver.Chrome(options=options)
url = "https://httpbin.org/get?"

browser.get(url)
print(browser.page_source)
browser.close()

二.浏览器内核

只要你执行navigator.webdriver返回值是true就是浏览器内核访问

如果不是返回值是undefined

selenium为了解决这个需进行js 注入

from selenium import webdriver
browser = webdriver.Chrome()
script='''Object.defineProperties(navigator, {webdriver:{get:()=>undefined}})'''
browser.execute_script(script)

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2019-11-29 ，如有侵权请联系 cloudcommunity@tencent.com 删除

selenium