嗨,我正在努力刮一个网站,是由Akamai为机器人保护提供动力。由于Akamai阻止了我的登录请求,我无法通过登录页面。
首先,我想说,是的,关于如何避免被诸如Akamai之类的东西检测到,有很多指南,但是现在这些指南已经无关紧要了,因为像Akamai这样的公司通过使用他们的人工智能来检测新的机器人变得越来越好。
因此,让我告诉您我的脚本运行的基本原理:
铬旗:
var chromeFlags = [
'--no-sandbox',
'--disable-setuid-sandbox',
'--disable-accelerated-2d-canvas',
'--no-zygote',
'--renderer-process-limit=1',
'--no-first-run',
'--ignore-certificate-errors',
'--ignore-certificate-errors-spki-list',
'--disable-dev-shm-usage',
'--disable-infobars',
'--lang=en-US,en',
'--window-size=1920x1080',
'--disable-extensions'
];
我还欺骗了时区和Viewport:
await page.emulateTimezone("Asia/Singapore");
await page.setViewport({width: (width/2)-21, height: height-111});
据我所知,Akamai特别知道要仔细检查窗口/屏幕的大小。我已经做了一切我认为是必要的,以确保无头模式模仿一个实际的浏览器,但没有效果。
有一个网站显示你的浏览器指纹bot.sannysoft.com。我目前正在用它来比较一下,如果无头木偶师模仿一个真实的令人头痛的浏览器,到目前为止,它看起来像是一个合法的浏览器。这是我和我的无头木偶手的网站的结果
我希望有人能告诉我,如果有什么东西我应该尝试欺骗旁边,也许增加我的机会,不被阿卡迈发现,或指出我做错了什么。
谢谢大家!
发布于 2021-04-24 20:55:23
在启动木偶师时尝试添加ignoreHTTPSErrors: true
。此外,看看木偶师额外和隐形插件这里:
https://www.npmjs.com/package/puppeteer-extra-plugin-stealth
您也可以添加我的松弛或skype工作在这方面的进一步!
https://stackoverflow.com/questions/66497437
复制相似问题