首页
学习
活动
专区
工具
TVP
发布

python3

专栏作者
11919
文章
13919777
阅读量
238
订阅数
Scrapy+Selenium爬取动态渲染网站
在通过scrapy框架进行某些网站数据爬取的时候,往往会碰到页面动态数据加载的情况发生,如果直接使用scrapy对其url发请求,是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现,通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据,则必须使用selenium创建浏览器对象,然后通过该浏览器对象进行请求发送,获取动态加载的数据值
py3study
2020-11-05
1.5K0
selenium 无头模式 以及防止被检测
它是怎么做的的呢?一般情况下,我们使用Selenium打开一个网页时,会有一个提示:Chrome正受到自动测试软件的控制。
py3study
2020-11-04
14.1K0
Selenium 动态爬取51job招聘信息
通过selenium的find_element_by_id 找到 id = 'kwdselectid',然后send_keys('关键字')即可模拟用户输入
py3study
2020-11-03
1.2K1
Python selenium chrome parses blob url
When crawling video sites, many videos use blob url to hide the source address. Through F12, you can find the download address of m3u8 corresponding to the request, but the amount of crawled data is very large. Use f12 to analyze each one. Obviously impossible, this article will parse the blob URL through selenium chrome to get the source m3u8 address
py3study
2020-09-18
2.3K0
python selenium chrome 加载本地用户配置
Google Chrome : 79.0.3945.88 (正式版本) (64 位) (cohort: Stable)
py3study
2020-03-16
3.3K0
自动化测试 selenium 环境搭建
做 web 项目,测试是无法避免的。对于某些特定功能,采用单元测试就行。但如果想对网站进行整体测试,人工点击测试可行但有点累,如果能借助自动化测试工具就更好了。selenium 就是一款能满足这样要求的测试工具,selenium 是一款用于 web 应用程序测试的工具。测试是直接运行在浏览器中,就像真正的用户在操作一样。下面是 selenium 环境搭建记录。
py3study
2020-02-10
1.3K0
scrapy中selenium的应用
  在通过scrapy框架进行某些网站数据爬取的时候,往往会碰到页面动态数据加载的情况发生,如果直接使用scrapy对其url发请求,是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现,通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据,则必须使用selenium创建浏览器对象,然后通过该浏览器对象进行请求发送,获取动态加载的数据值。
py3study
2020-01-21
6720
selenium模拟浏览器&PhantomJS
注意:最新版本的selenium停止对PhantomJS的支持(可以使用谷歌&火狐的无头浏览器),如果还想用PhantomJS,需要对selenium降级
py3study
2020-01-20
1.5K0
python+selenium实现动态爬
AJAX(Asynchronouse JavaScript And XML)异步JavaScript和XML。过在后台与服务器进行少量数据交换,Ajax 可以使网页实现异步更新。
py3study
2020-01-20
2K0
python自动化17-JS处理滚动条
    selenium并不是万能的,有时候页面上操作无法实现的,这时候就需要借助JS来完成了。
py3study
2020-01-19
5.9K0
Selenium及Headless Ch
一般的的静态HTML页面可以使用requests等库直接抓取,但还有一部分比较复杂的动态页面,这些页面的DOM是动态生成的,有些还需要用户与其点击互动,这些页面只能使用真实的浏览器引擎动态解析,Selenium和Chrome Headless可以很好的达到这种目的。
py3study
2020-01-19
9490
web自动化--如何在不同页面间游刃有余
大家都知道,selenium中对页面元素的操作都是基于当前页面进行操作的,有时会有这种情况,在这个页面操作完一个步骤后,要去另一个页面查看,这就涉及到页面间的操作
py3study
2020-01-19
4740
Python selenium根据cla
  在日常的网页源码中,我们基于元素的id去定位是最万无一失的,id在单个页面中是不会重复的。但是实际工作中,很多前端开发人员并未给每个元素都编写id属性。通常一段html代码如下:
py3study
2020-01-19
6490
元素不可点击
出现的原因有一种情况是上一步的操作是个弹窗,点击关闭弹窗操作后,弹窗还没有完全关闭,程序便运行了下一步的点击操作,而点击操作点(如at point (981, 266))正好在未完全关闭的弹窗上 ,就会报元素在某点不可击的错误。也就是说元素是定位成功的,只是元素上悬浮一个弹窗,弹窗未完全关闭的时候,程序的点击操作,点击弹窗上,就报错了。弹窗如下图所示:
py3study
2020-01-19
9100
python基于selenium+cv2
 I.打开pycharm,点击Settings,找到Project Interpreter,点击右边的下拉菜单下的show All...选项
py3study
2020-01-19
6580
selenium+pyquery爬取淘宝
import re from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.common.exceptions import TimeoutExce
py3study
2020-01-19
3660
Python爬虫项目--爬取某宝男装信息
1) 找到对应的URL, URL里的参数正是Query String Parameters的参数, 且请求方式是GET
py3study
2020-01-19
8500
ubuntu下的python请求库的安装
在这链接下载对应版本:https://chromedriver.storage.googleapis.com/index.html
py3study
2020-01-19
3810
django+selenium 12306接口车票查询
还需要下载一个谷歌浏览器对应的chromedriver,下载地址:https://npm.taobao.org/mirrors/chromedriver/
py3study
2020-01-17
1.1K0
selenum autoit上传图片
目前,一般实现文件图片上传的方式都是有一个按钮,点击之后直接调用操作系统自身的弹框,选择文件后,实现上传。因为Selenium不支持调用操作系统的操作,所以这种情况下,利用Selenium无法完成图片上传,这时,我们可以选择autoit实现。
py3study
2020-01-17
5570
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档