（最新版）如何正确移除 Pyppeteer 中的window.navigator.webdriver

andrew_a

发布于 2020-03-25 19:04:05

1.4K00

代码可运行

文章被收录于专栏：Python爬虫与数据分析

运行总次数：0

代码可运行

时过境迁，随着 Chrome 版本升级，这一方法也宣告失效。

今天我们来讲讲如何隐藏Pyppeteer。

今天的方法非常简单，不需要修改源代码。

大家阅读 Selenium 版的文章，应该看到我们的原理是通过 CDP 执行一段 JavaScript 代码。这段代码中有一个关键词叫做addScriptToEvaluateOnNewDocument。表示添加一段脚本，在打开新文档时执行。

我们记住这个关键词EvaluateOnNewDocument。现在大家打开 Pyppeteer 的官方 API[1]，搜索evaluateOnNewDocument可以看到原来 Pyppeteer 也是支持这个功能的。

这样一来文件就非常简单了，我们在 Pyppeteer 里面直接调用它，并传递 JavaScript 代码就好了：

import asyncio
from pyppeteer import launch


async def main():
    browser = await launch(executablePath='/Applications/Google Chrome.app/Contents/MacOS/Google Chrome', headless=False)
    page = await browser.newPage()
    await page.evaluateOnNewDocument('''() => {
        Object.defineProperty(navigator, 'webdriver', {
        get: () => undefined
        })
        }
    ''')
    await page.goto('http://exercise.kingname.info')
    input('检查完毕后按下回车键关闭窗口...')
    await browser.close()


asyncio.run(main())

代码的运行效果如下图所示：

完美解决问题。并且只要你不开新的选项卡或者新的窗口，只在当前窗口打开新的网址或者刷新页面，这个 js 代码都是自动生效的，不需要重复执行。

其中关键的代码就是：

await page.evaluateOnNewDocument('''() => {
        Object.defineProperty(navigator, 'webdriver', {
        get: () => undefined
        })
        }
    ''')

让 Pyppeteer 在每个新页面加载的时候，所有网站自带的 js 执行之前，执行参数中的这段JavaScript 函数。

参考资料

[1]

Pyppeteer 的官方 API: https://miyakogi.github.io/pyppeteer/reference.html#pyppeteer.page.Page.evaluateOnNewDocument

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2020-03-23，如有侵权请联系 cloudcommunity@tencent.com 删除

javascript

api

本文分享自 Python爬虫scrapy 微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

javascript

api

登录后参与评论

0 条评论

热度