前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >Chome 88如何正确隐藏 webdriver?

Chome 88如何正确隐藏 webdriver?

作者头像
青南
发布于 2021-02-02 07:57:53
发布于 2021-02-02 07:57:53
1.6K00
代码可运行
举报
文章被收录于专栏:未闻Code未闻Code
运行总次数:0
代码可运行

在文章最完美方案!模拟浏览器如何正确隐藏特征中,我们提到了使用 CDP 协议执行stealth.min.js文件,从而完美隐藏 Chrome 浏览器的各个特征。

最近,Chrome 的版本号提高到了88,有同学发现stealth.min.js文件,已经无法正确隐藏window.navigator.webdriver了,如下图所示:

这是因为,从 Chrome 88开始,它的 V8 引擎升级了,一些接口发生了改变。为了证明这一点,大家可以看看我更早之前的一篇文章:(最新版)如何正确移除Selenium中的 window.navigator.webdriver里面提到的一段代码:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
Object.defineProperty(navigator, 'webdriver', {
      get: () =>undefined
    })

如果你在 Selenium 启动的 Chrome 88版本执行这段代码,你会发现运行报错。

遇到这种情况怎么办呢?

Google 关闭了一扇门的时候,又给你打开了一扇窗。

实际上我们在使用 Selenium 调用 Chrome 的时候,只需要增加一个配置参数:chrome_options.add_argument("--disable-blink-features=AutomationControlled")就可以再次隐藏 window.navigator.webdriver 了。

完整代码如下:

运行效果如下图所示:

感谢@屈金强同学提供最新的解决方案。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-01-29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 未闻Code 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Selenium 最强反反爬方案来了!(下篇)
上一篇文章中,我们提到了使用 CDP 协议执行stealth.min.js文件,它能完美隐藏 Chrome 浏览器的各个特征
AirPython
2021/02/05
6.6K0
Selenium 最强反反爬方案来了!(下篇)
最完美方案!模拟浏览器如何正确隐藏特征
在前天的公众号文章《别去送死了。Selenium 与 Puppeteer 能被网站探测的几十个特征》中,我们提到目前网上的反检测方法几乎都是掩耳盗铃,因为模拟浏览器有几十个特征可以被检测,仅仅隐藏 webdriver 这一个值是没有任何意义的。
青南
2020/12/02
8.1K0
最完美方案!模拟浏览器如何正确隐藏特征
(最新版)如何正确移除Selenium中的 window.navigator.webdriver
在《一日一技:如何正确移除Selenium中window.navigator.webdriver的值》一文中,我们介绍了在当时能够正确从Selenium启动的Chrome浏览器中移除window.navigator.webdriver的方法。
青南
2020/03/12
4.3K0
selenium-携程酒店评论
最近好像对这方面需求比较高,总有人问我爬过携程没,我寻思着拿selenium也没太大难度吧,晚上就做了个demo。
李玺
2021/11/22
7890
selenium-携程酒店评论
(新)关于修改window.navigator.webdriver代码失效问题
②关于chrome版本迭代后,代码失效问题解决方案的文章链接 《关于修改window.navigator.webdriver代码失效问题》
诡途
2020/10/16
1.8K0
(新)关于修改window.navigator.webdriver代码失效问题
chrome升了chrome88后,selenium修改window.navigator.webdriver
今天主要想写的是,因为更新到chrome88导致了一直使用的selenium爬虫数据自动化采集代码失效了,这已经是第二次因为浏览器更新导致我代码失效了,本着记录自己工作的原则,一直对这方面进行着持续更新,所以也导致了很多小伙伴过来问我这个问题,不了解的可以点击下面链接直达前文,专为解决【chrome88导致无法修改window.navigator.webdriver】的朋友们直接看本篇就可以了
诡途
2022/01/07
1.6K0
chrome升了chrome88后,selenium修改window.navigator.webdriver
Selenium 系列篇(六):反反爬篇
实际上,我们使用默认的方式初始化 WebDriver 打开一个网站,下面这段 JS 代码永远为 true,而手动打开目标网站的话,则为:undefined
AirPython
2020/09/22
6.2K0
Selenium 系列篇(六):反反爬篇
selenium 特征屏蔽
以下方法在某些时候可以抹除写一些 selenium 的自动化特征,使 window.navigator.webdriver 属性重新定义为 undefined 而不是 true。以下方法适用于较新版本的 chromedriver。
kirin
2021/03/22
1.6K0
一行js代码识别Selenium+Webdriver
有不少朋友在开发爬虫的过程中喜欢使用Selenium + Chromedriver,以为这样就能做到不被网站的反爬虫机制发现。
周小董
2019/07/01
2.6K0
Selenium自动化防爬技巧:从入门到精通,保障爬虫稳定运行,通过多种方式和add_argument参数设置来达到破解防爬的目的
在Web自动化测试和爬虫开发中,Selenium作为一种强大的自动化工具,被广泛用于模拟用户行为、数据抓取等场景。然而,随着网站反爬虫技术的日益增强,直接使用Selenium很容易被目标网站识别并阻止。因此,掌握Selenium的防爬策略与参数设置变得尤为重要。本文将详细介绍几种常见的Selenium防爬方法,并列出关键的防爬参数,同时提供详细的代码案例。
小白的大数据之旅
2024/11/20
2850
Selenium自动化防爬技巧:从入门到精通,保障爬虫稳定运行,通过多种方式和add_argument参数设置来达到破解防爬的目的
使用 Scrapy + Selenium 爬取动态渲染的页面
在通过scrapy框架进行某些网站数据爬取的时候,往往会碰到页面动态数据加载的情况发生,如果直接使用scrapy对其url发请求,是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现,通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据,则必须使用selenium创建浏览器对象,然后通过该浏览器对象进行请求发送,获取动态加载的数据值. 本文分享scrapy的介绍和如何配合selenium实现动态网页的爬取。
霍格沃兹测试开发Muller老师
2022/06/06
1.9K0
这个脚本让我在学习每月赚一千,Python自动化随机填写问卷
问卷星我想大家在大学或者工作中多多少少会遇到一些,有的工作经常要填,这个我也是挺咱们的学姐经常抱怨,说是匿名的调查问卷,结果填起来一般要挺久才能搞完,如果多的话还是挺烦的,还有就是大学我们这边会经常遇到,比如加入某个社团,需要填写各种信息,然后各种选项,学校领导有时也会发一些这样的问卷来让我们匿名填写,问卷调查是一种发掘事实现况的研究方式,最大的目的是搜集,累积某一目标族群的各项科学教育属性的基本资料,可分为描述性研究及分析性研究两大类。在决定是否采用问卷法作为研究工具,应考量是否能顺利达成研究目标以及注意研究样本在问卷上的配合度。 对于当代大学生来说,马原思修行策这些课的实践活动离不开问卷调查,可是各种转发过后却只有寥寥数人填写的痛谁又懂呢?
conanma
2021/08/31
1.1K0
(最新版)如何正确移除 Pyppeteer 中的window.navigator.webdriver
在《在Pyppeteer中正确隐藏window.navigator.webdriver 》一文中,我们介绍了修改源代码使Pyppeteer 打开的 Chrome 隐藏window.navigator.webdriver的方法。
青南
2020/03/13
1.5K0
【Python爬虫实战】深入 Selenium:从节点信息提取到检测绕过的全攻略
在使用 Selenium 进行网页自动化时,不仅需要掌握基本的节点信息提取和选项卡管理,还需要考虑到如何高效等待加载,以及如何绕过网站对自动化工具的检测。这篇文章将详细介绍如何使用 Selenium 获取节点信息、处理延时等待、管理多选项卡,并分享多种绕过检测的方法,帮助开发者应对各种自动化测试中的挑战。
易辰君
2024/11/07
4070
通用性基本爬虫问题的解决思路
对于爬虫和反爬一直是矛盾的存在的,今天就一个粉丝提出的爬虫问题梳理一下我对爬虫类问题的解决。
马拉松程序员
2022/04/26
1.2K0
通用性基本爬虫问题的解决思路
如何隐藏Selenium特征实现自动化网页采集
Selenium是一个流行的自动化网页测试工具,可以通过模拟用户在Chrome浏览器中的操作来完成网站的测试。然而,有些网站会检测浏览器是否由Selenium驱动,如果是,就会返回错误的结果或拒绝访问。为了避免这种情况,我们需要隐藏Selenium的特征,让网站认为我们是正常的用户。
jackcode
2023/04/17
1.6K0
如何隐藏Selenium特征实现自动化网页采集
WebDriver与Chrome DevTools Protocol:如何在浏览器自动化中提升效率
随着互联网数据的爆炸式增长,爬虫技术成为了获取信息的重要工具。在实际应用中,如何提升浏览器自动化的效率是开发者常常面临的挑战。Chrome DevTools Protocol(CDP)与Selenium WebDriver相结合,为浏览器自动化提供了强大的控制能力,并允许用户直接与浏览器的底层交互。本文将通过使用CDP优化Selenium的效率,结合代理IP技术,实现对微博数据的高效采集,并通过设置cookie和user-agent模拟真实用户行为。
jackcode
2024/09/05
3780
WebDriver与Chrome DevTools Protocol:如何在浏览器自动化中提升效率
selenium 无头模式 以及防止被检测
它是怎么做的的呢?一般情况下,我们使用Selenium打开一个网页时,会有一个提示:Chrome正受到自动测试软件的控制。
py3study
2020/11/04
16.1K0
selenium 无头模式 以及防止被检测
Python爬虫利器Selenium从入门到进阶
selenium是最广泛使用的开源Web UI自动化测试套件之一,它所支持的语言包括C++、Java、Perl、PHP、Python和Ruby,在数据抓取方面也是一把利器,能够解决大部分网页的反爬措施,当然它也并非是万能的,一个比较明显的一点就在于是它速度比较慢,如果每天数据采集的量并不是很高,倒是可以使用这个框架。
用户6888863
2021/12/10
1.7K0
Python爬虫利器Selenium从入门到进阶
Python之selenium模块
最初是一个自动化测试工具,通过模拟用户来驱动浏览器的一些操作,比如:访问页面,点击按钮,下载,下拉,输入等操作。并且其支持市面上主流的各种浏览器。
Tommonkey
2023/02/25
7140
推荐阅读
相关推荐
Selenium 最强反反爬方案来了!(下篇)
更多 >
领券
社区富文本编辑器全新改版!诚邀体验~
全新交互,全新视觉,新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能,全面提升创作效率和体验
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文