腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

未闻Code

专栏作者

582

文章

1067902

阅读量

92

订阅数

一日一技：Selenium 如何获取鼠标指向的元素？

selenium javascript css

有一个同学在Gne的群里面咨询如何通过Selenium获取当前鼠标指向的元素，在我讲了方法以后，他过了两天又来问：

2022-04-07

1.8K0

你以为的万能爬虫方法，其实一行代码就能识别！

javascript selenium api 网站网络安全

在以前的公众号中，我提到Selenium/Puppeteer/Pyppeteer有很多特征可以被网站检测到。于是，有些同学想到了另一个方法，就是自己写一个Chrome插件，在网站打开的时候，注入到页面中，然后通过这个注入的JavaScript代码来操作页面，获取数据。

2022-02-11

1.5K0

一日一技：Selenium如何接管已经运行的Chrome浏览器？

windows selenium 爬虫腾讯云开发者社区

在正式开始之前，先纠正昨天的一个错误。昨天我讲到，Windows电脑启动Chrome的远程调试模式用到的命令是：

2021-12-21

3.5K0

一日一技：爬虫模拟浏览器如何避免重复登录？

爬虫 selenium 网站验证码

当我们使用模拟浏览器访问一个网站的时候，可能会遇到网站需要登录的情况。我的爬虫练习网站提供了这样一个登录练习[1]的案例。

2021-12-16

1.4K0

虚拟机中的病毒感染到宿主机的原理

爬虫 kafka tcp/ip selenium ubuntu

标题问题详解参见“问题解答7”。一、问题解答 1.南哥,我在用python + selenium爬取药物临床试验登记与信息公示平台(http://www.chinadrugtrials.org.cn/index.html)数据的时候遇见一些问题。一开始,selenium根本打不开网页，隐藏了WebDriver才能打开。就用南哥你之前文章说的方法，通过execute_cdp_cmd函数，单隐藏和通过JS文件隐藏的方法我都试过，可以访问网页，但在翻页的时候就又出问题了，翻到下一页的时候,网页会自动重新加载新页

2021-12-13

1.7K0

习惯从右往左阅读的阿拉伯人如何写代码？

python selenium 网络安全 node.js

考大家一个问题，我发现目前在Google上面还搜索不到。由于阿拉伯文是从右往左读，他们的阅读习惯就是从右往左看。那么，编程的时候虽然用的是英文，但是阿拉伯人写代码是怎么写的？欢迎大家文末留言探讨~

2021-12-08

1.3K0

一日一技：Selenium 抓不到的内容

selenium html css xslt & xpath 爬虫

有一些同学在写爬虫的时候，过于依赖 Selenium，觉得只要使用模拟浏览器，在不被网站屏蔽的情况下，就可以爬到任何内容。

2021-05-13

2.6K0

在 Linux 服务器中创建假桌面运行模拟浏览器有头模式

selenium 爬虫 linux

经常使用 Selenium 或者 Puppeteer 的同学都知道，他们启动的 Chrome 浏览器分为有头模式和无头模式。在自己电脑上操作时，如果是有头模式，会弹出一个 Chrome 浏览器窗口，然后你能看到这个浏览器里面在自动操作。而无头模式则不会弹出任何窗口，只有进程。

2021-03-04

3.6K0

Chome 88如何正确隐藏 webdriver？

selenium javascript

在文章最完美方案！模拟浏览器如何正确隐藏特征中，我们提到了使用 CDP 协议执行stealth.min.js文件，从而完美隐藏 Chrome 浏览器的各个特征。

2021-02-02

1.5K0

一日一技：爬虫如何正确从网页中提取伪元素？

css html selenium javascript xslt & xpath

可以看到，在源代码里面没有请抓取我！这段文字。难道这个网页是异步加载？我们现在来看一下网页的请求：

2020-12-16

1.7K0

最完美方案！模拟浏览器如何正确隐藏特征

selenium json javascript node.js c++

在前天的公众号文章《别去送死了。Selenium 与 Puppeteer 能被网站探测的几十个特征》中，我们提到目前网上的反检测方法几乎都是掩耳盗铃，因为模拟浏览器有几十个特征可以被检测，仅仅隐藏 webdriver 这一个值是没有任何意义的。

2020-12-02

6.4K0

别去送死了。Selenium 与 Puppeteer 能被网站探测的几十个特征

selenium 爬虫网站

很多人喜欢使用Selenium 或者 Puppeteer(Pyppeteer)通过模拟浏览器来编写爬虫，自以为这样可以不被网站检测到，想爬什么数据就爬什么数据。

2020-12-02

9.7K5

现场打脸：如何使用Selenium批量上传文件？

selenium 编程算法

我们知道，Selenium里面，当我们获得一个 element 对象的时候，如果它是一个输入框，那么我们可以使用.send_keys()方法，模拟键盘按键，发送特定的字符串到输入框中，例如：

2020-09-14

2.5K0

（最新版）如何正确移除 Pyppeteer 中的window.navigator.webdriver

selenium javascript api 腾讯云开发者社区

在《在Pyppeteer中正确隐藏window.navigator.webdriver 》一文中，我们介绍了修改源代码使Pyppeteer 打开的 Chrome 隐藏window.navigator.webdriver的方法。

2020-03-13

1.4K0

（最新版）如何正确移除Selenium中的 window.navigator.webdriver

javascript 官方文档 selenium https

在《一日一技：如何正确移除Selenium中window.navigator.webdriver的值》一文中，我们介绍了在当时能够正确从Selenium启动的Chrome浏览器中移除window.navigator.webdriver的方法。

2020-03-12

4.1K0

一日一技：使用上下文管理器来强制关闭 Chromedriver

selenium https 网络安全

当我们使用 Selenium 通过 Chromedriver 启动 Chrome 浏览网页时，可能会由于某些异常情况导致程序崩溃，但 Chromedriver 进程不会退出。

2020-02-19

1.9K0

GNE v0.1正式发布：4行代码开发新闻网站通用爬虫

html javascript json selenium node.js

GNE（GeneralNewsExtractor）是一个通用新闻网站正文抽取模块，输入一篇新闻网页的 HTML，输出正文内容、标题、作者、发布时间、正文中的图片地址和正文所在的标签源代码。GNE在提取今日头条、网易新闻、游民星空、观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻等数百个中文新闻网站上效果非常出色，几乎能够达到100%的准确率。

2020-02-11

1.3K0

在Pyppeteer中正确隐藏window.navigator.webdriver

爬虫 javascript selenium 官方文档

（文末福利）在我以前的一篇文章：一日一技：如何正确移除Selenium中window.navigator.webdriver的值，我讲到了如何在Selenium启动的Chrome中，通过设置启动参数隐藏 window.navigator.webdriver，驳斥了网上垃圾文章中流传的使用JavaScript注入的弊端。

2019-08-20

3.7K0

一日一技：在Selenium中如何缩放网页（不是窗口）

那么如果我并不想修改窗口大小，只想修改页面大小怎么办？类似于Windows/Linux下按 Ctrl+加号或者 Ctrl+减号；macOS下按`Command + 加号`或者`Command + 减号`。运行效果如下图所示。

2019-03-04

12.7K0

一日一技：如何正确移除Selenium中window.navigator.webdriver的值

selenium 爬虫

有不少朋友在开发爬虫的过程中喜欢使用Selenium + Chromedriver，以为这样就能做到不被网站的反爬虫机制发现。

2019-03-04

6.5K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态