首页
学习
活动
专区
工具
TVP
发布

Python爬虫与数据分析

专栏作者
86
文章
143675
阅读量
33
订阅数
某查请求头反爬
某查 api 接口请求的请求头都会增加这么一个头,每次请求都会刷新,如果不携带就会返回状态码 405
andrew_a
2021-09-29
1K0
【瑞数】维普期刊JS逆向详细流程
这是我第一次接触瑞数加密,比较难,不过学到的东西也是挺多的,也是因为我第一次解瑞数,所以文章写得比较详细甚至是啰嗦,这篇文章大致是以我逆向的思路去写的,应该适合像我这样从未接触过瑞数的朋友。
andrew_a
2021-06-25
2.7K0
头条 _signature、 __ac_nonce、 __ac_signature参数
直接全局搜索这个参数,会在一个 index-*.js 中搜索到, 虽然 captcha.js 中也有,不过没用
andrew_a
2021-01-14
3.3K0
(最新版)如何正确移除 Pyppeteer 中的window.navigator.webdriver
大家阅读 Selenium 版的文章,应该看到我们的原理是通过 CDP 执行一段 JavaScript 代码。这段代码中有一个关键词叫做addScriptToEvaluateOnNewDocument。表示添加一段脚本,在打开新文档时执行。
andrew_a
2020-03-25
1.2K0
使用 pyppeteer 碰到的错误
解决办法: btn_ok = await page.querySelector('[class="nc_iconfont btn_ok"]') 但是使用这个之后,当滑动失败之后,重现刷新滑动验证码之后,又会出现下面的错误。 更新(2020-01-20): 之前的理解错误了,这个根本原因是执行关闭浏览器 await browser.close() 的时候没有权限删除用户的浏览数据。 解决办法: 定义浏览器的时候设置参数 'userDataDir': r'D:\temporary',指定一个用户可以执行的目录,这样的话就可以了。 但是这样的话,相当于保存了用户的浏览数据。 可能又会碰到这么个错误,事件循环打开浏览器后,并没有执行,直接返回结果。 看了一下文档,调用 createIncogniteBrowserContext()直接打开一个无痕浏览器。这样就爽多了 关闭的时候需要注意分开关闭,无痕关闭,正常打开的浏览器也需要关闭。
andrew_a
2020-02-18
2.1K0
没有更多了
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战,赢鹅厂证书、公仔好礼!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档