首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

教你解决禁止F12调试Debugger、丑化JS等反爬

1 前言 在爬取数据时,有一些网站设置了反爬(禁止F12、网页调试Debugger、丑化Js),比如下面这几种情况: 1.禁止查看源代码 ? ?...2.网页调试Debugger 上面禁止查看网页问题,可以先按F12,再访问网站,但是又有网页调试Debugger ? 经过各种百度之后,可以在浏览器里面关闭Debug调试 ?...3.丑化JS 通过查看,可以发现数据是异步加载过来,查看数据包(network)时,发现js是被丑化过,无法查看 ? 遇到以上这些反爬,难道就会阻止我们去采集数据了???...显然不可能(哈哈哈) 上有政策,下有对策 今天教大家如何用python去解决这些问题,并爬取数据。...2 Python解决上述反爬 1.引入Selenium 本来想通过Reuqest请求数据,奈何数据是异步加载,异步链接也被js丑化了。

7.9K41

【Node.js如何调试你的 Node.js 代码?

很多时候,我苦恼于 Node.js调试,只会使用 console.log 这种带有侵入性的方法,但是其实 Node.js 也可以做到跟浏览器调试一样的方便。...如何进入 Chrome 的调试界面 第一种方式(自己尝试无效) 打开 http://localhost:8888/json/list,其中 8888 是上面 --inspect 的参数。...Vscode 调试 除了浏览器之外,各大主流的 IDE 都支持 Node.js调试,本文以 Vscode 为例。...总结 本文总结了两种常见的调试 Node.js 的方式。第一种 Node.js 通过 websocket 的方式将信息传递给 Chrome 浏览器,我们直接在 Chrome 中进行调试。...通过 Attach to Node Process Action 的方式,可以便捷的调试正在运行的 Node.js 代码,而不需要配置。

8.2K10

爬虫|如何在Pycharm中调试JS代码

环境配置 Pycharm 专业版 Node.js 在爬虫遇到 JS 加密的时候,通用做法是对 JS 代码进行调试分析加密流程及方法 最终调试完需要将相关代码拿到本地,因为最终是在本地环境执行。...这时候可能又会遇到各种参数未定义等报错 所以还需要在本地对 JS 进行调试,查漏补缺。那么我们是不是需要安装 Node.js,同时需要安装编辑器 WebStorm,大部分的做法都是这样。...安装完之后重启,在 Plugins 插件界面会显示刚才安装的插件 验证 下面我们新建一个简单的 JS 文件来验证一下是否可正常运行 在运行下拉按钮 ,点击 Edit Configuratuions, 然后选择...可以看到有 Node.js 选项,选择 Node.js,同时在 Node interpreter 选择 NodeJS 的安装路径,记得先加入环境变量 OK,完成上述步骤后,就能在 Pycharm 中完美运行...JS 代码了 ?

2.8K20

调试JS代码

记录下近期对JS代码的调试过程 性能分析 启动程序之后,打开google浏览器对应页面,按F12或者Ctrl+Shift+I进入 开发者工具页面 目前主要使用的功能有: Performance....性能评估,比如我想看下页面刷新的性能瓶颈所在,先点击 按钮,然后进行页面操作,当页面刷新完成,再点击 按钮,则会生成性能报告,可以看到资源消耗,JS代码的执行逻辑等 Sources....性能报告页面的 部分,可以通过点击色块查看其所在的js代码文件,如 点击则会跳转到 功能栏,有了源文件就可以进行断点调试;这里注意部分js文件是压缩后的文件,建议手动修改程序替换成可读性更强的原始代码文件...,方便调试 Console....查看程序的打印输出,比如我想知道某个函数的执行时间,可以在js代码中进行修改 当js代码执行之后,可以在console输出中看到foo的执行时间 Network.

19K10

Fiddler远程调试js

使用Fiddler调试本地js   在我们前端开发的日常工作中,发现服务器上某个css/javascript文件有问题,需要修改,那真是家常便饭。...假设我们发现这个页面有问题,需要修改所引用的js文件()。 第一步:用Fiddler查看页面的数据流列表,找到这个js文件的session ?  ...在这个js session上右键点击,选择“Save – Response –Response Body…”,将js文件的内容保存到本地。记住存的位置,下面我们会用到这个保存下来的文件。...通过以上几个步骤,我们演示了怎样将HTTP请求重定向到本地的文件,进行web调试。...这种调试方式不需要发布到线上再验证,避免了修改不成功、对用户造成影响的风险,而且不需要搭建复杂的开发服务器等开发环境,非常适合快速web调试

9.9K30

如何调试线上 JS 报错像调试本地源码一样优雅?

断点调试么? 但是这时候代码是被压缩过的,变量名都是 a、b、c、d 这种,根本看不出啥来。 如果调试线上报错能像本地开发的时候一样就好了。...其实这是可以做到的,今天就分享下如何优雅的调试线上报错: 首先,我们准备一段 JS 代码: 这是我随便找的一段 JS 代码,里面抛了一个错误。...首先,我们可以使用异常断点,在抛异常的地方断住: 创建一个 vscode 调试配置: 勾选 uncaught exceptions,在未被捕获的异常处断住: 然后启动调试: 你会发现代码在抛异常的地方断住了...关联 sourcemap 需要在文件末尾加上 //# sourceMappingURL=xxx.js.map 的代码。 但现在这个文件是线上的,不能直接改本地文件。...charles 就可以抓到对应的请求了: 接下来就是断点修改响应的内容了: 点击 Proxy > Breakpoint Settings 添加一个对 guangtest.com 的 dist/index.js

1.6K30

浏览器F12(开发者调试工具) 功能介绍

元素(Elements):用于查看或修改HTML元素的属性、CSS属性、监听事件、断点(DOM断点:在JavaScript调试中,我们经常使用到断点调试,其实在DOM结构的调试中,我们也可以使用断点方法...源代码(Sources):该页面用于查看页面的HTML文件源代码、JavaScript源代码、CSS源代码,此外最重要的是可以调试JavaScript源代码,可以给JS代码添加断点等。...右边的侧栏个功能的介绍:如下图所示 控制台(Console) 查看JS对象的及其属性 执行JS语句 查看控制台日志:当网页的JS代码中使用了console.log()函数时,该函数输出的日志信息会在控制台中显示...日志信息一般在开发调试时启用,而当正式上线后,一般会将该函数去掉。...Response:响应信息面板包含资源还未进行格式处理的内容 Timing:资源请求的详细信息花费时间 打开浏览器,按F12,点击Network,可以查看相关网络请求信息,记得是打开F12之后再刷新页面才会开始记录的

4.1K31

使用Firefox轻松调试JS

Firefox调试JS的功能真的很不错,推荐一下! 在页面上点击右键,再点击“查看元素”,如图: ? 就会弹出Firefox的开发者界面,点击“调试器”,如图: ?...一步步调试代码 你可以一步步的执行代码。这对代码调试非常有用。 ? 使用断点调试 断点调试可以终止代码的执行,你可以通过指定代码范围来查看错误是不是在指定代码范围内。这对于 错误调试很有用。...Firefox的JS调试功能非常强大,感觉试一下吧! 点击调试器tab页,刷新要调试的页面,调试器主窗口会出现要调试的代码 ?...点击暂停按钮,点击后按钮状态改变,同时右边的三个调试步骤变为可操作状态,调试步骤的作用可参考IE浏览器javascript调试篇的讲解。同时,在代码行上面打断点。...说到这里,Firefox浏览器的javascript调试基本就讲完了。

5.8K20

JS破解--反反调试

重写之后,点击 X 关闭 F12 窗口(切记不要刷新页面,因为刷新的话相当于重新加载一遍,刚才的重写函数也就没了意义) 关闭之后再重新打开 F12,又开始了 debugger ?...PS:不管是加载别的页面也好,还是刷新也罢,只要浏览器重新加载了存在 debugger 语句的js,就会开始 debug,所以要先擦除debugger,再去下断点分析你想要的内容 ?...案例二: 努比亚论坛:https://bbs.nubia.cn/ 因为这是一个 js 生成 cookie 的案例,所以触发 debugger 的机制不太一样。...不关闭 f12,刷新页面,断在了我们的断点位置 ?...此时在控制台重写目标函数 _0x4db1c,但是重写之后,继续执行的话,还是看不到cookie 生成规则 所以重写之后,不要轻举妄动,在关键位置打上断点(ps:这个案例是一个经典的js生成 cookie

4.5K20
领券