前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >puppeteer反反爬设置汇总

puppeteer反反爬设置汇总

作者头像
薛定喵君
发布2021-02-24 11:13:18
4.8K0
发布2021-02-24 11:13:18
举报
文章被收录于专栏:薛定喵君

记录一下使用puppeteer遇到反爬情况时的设置处理

  • 启动设置
  • webdriver
  • window.chrome
  • userAgent
  • plugins
  • languages
  • permissions
  • WebGL

# 启动设置

代码语言:javascript
复制
const browser = await puppeteer.launch({
    headless: true,
    args: [
        '--no-sandbox',
        '--disable-setuid-sandbox',
        '--disable-blink-features=AutomationControlled',
    ],
    dumpio: false,
});

# webdriver

代码语言:javascript
复制
// webdriver
await page.evaluateOnNewDocument(() => {
    const newProto = navigator.__proto__;
    delete newProto.webdriver; //删除 navigator.webdriver字段
    navigator.__proto__ = newProto;
});

# window.chrome

代码语言:javascript
复制
// 添加 window.chrome字段,向内部填充一些值
await page.evaluateOnNewDocument(() => {
    window.chrome = {};
    window.chrome.app = {
        InstallState: 'hehe',
        RunningState: 'haha',
        getDetails: 'xixi',
        getIsInstalled: 'ohno',
    };
    window.chrome.csi = function () {};
    window.chrome.loadTimes = function () {};
    window.chrome.runtime = function () {};
});

# userAgent

代码语言:javascript
复制
// userAgent设置
await page.evaluateOnNewDocument(() => {
    Object.defineProperty(navigator, 'userAgent', {
        //userAgent在无头模式下有headless字样,所以需覆盖
        get: () =>
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.113 Safari/537.36',
    });
});

# plugins

代码语言:javascript
复制
// plugins设置
await page.evaluateOnNewDocument(() => {
    Object.defineProperty(navigator, 'plugins', {
        //伪装真实的插件信息
        get: () => [
        {
            0: {
            type: 'application/x-google-chrome-pdf',
            suffixes: 'pdf',
            description: 'Portable Document Format',
            enabledPlugin: Plugin,
            },
            description: 'Portable Document Format',
            filename: 'internal-pdf-viewer',
            length: 1,
            name: 'Chrome PDF Plugin',
        },
        {
            0: {
            type: 'application/pdf',
            suffixes: 'pdf',
            description: '',
            enabledPlugin: Plugin,
            },
            description: '',
            filename: 'mhjfbmdgcfjbbpaeojofohoefgiehjai',
            length: 1,
            name: 'Chrome PDF Viewer',
        },
        {
            0: {
            type: 'application/x-nacl',
            suffixes: '',
            description: 'Native Client Executable',
            enabledPlugin: Plugin,
            },
            1: {
            type: 'application/x-pnacl',
            suffixes: '',
            description: 'Portable Native Client Executable',
            enabledPlugin: Plugin,
            },
            description: '',
            filename: 'internal-nacl-plugin',
            length: 2,
            name: 'Native Client',
        },
        ],
    });
});

# languages

代码语言:javascript
复制
// languages设置
await page.evaluateOnNewDocument(() => {
    Object.defineProperty(navigator, 'languages', {
        //添加语言
        get: () => ['zh-CN', 'zh', 'en'],
    });
});

# permissions

代码语言:javascript
复制
// permissions设置
await page.evaluateOnNewDocument(() => {
    const originalQuery = window.navigator.permissions.query; //notification伪装
    window.navigator.permissions.query = (parameters) =>
        parameters.name === 'notifications'
        ? Promise.resolve({ state: Notification.permission })
        : originalQuery(parameters);
});

# WebGL

代码语言:javascript
复制
// WebGL设置
await page.evaluateOnNewDocument(() => {
    const getParameter = WebGLRenderingContext.getParameter;
    WebGLRenderingContext.prototype.getParameter = function (parameter) {
        // UNMASKED_VENDOR_WEBGL
        if (parameter === 37445) {
            return 'Intel Inc.';
        }
        // UNMASKED_RENDERER_WEBGL
        if (parameter === 37446) {
            return 'Intel(R) Iris(TM) Graphics 6100';
        }
        return getParameter(parameter);
    };
});
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021/02/07 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • # 启动设置
  • # webdriver
  • # window.chrome
  • # userAgent
  • # plugins
  • # languages
  • # permissions
  • # WebGL
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档