首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

实战项目一:爬取QQ群的人员信息

一、selenium简介 我们模拟登陆用selenium库,selenium是一个自动化测试工具,爬虫通常用来进行模拟登陆。.../') 代码功能:1.打开谷歌浏览器,2.自动输入百度网址并打开百度 如果程序执行错误,浏览器没有打开,那么应该是没有装 Chrome 浏览器或者 Chrome 驱动没有配置环境变量里。...XPath 可用 XML 文档对元素和属性进行遍历。结构关系包括 父、子、兄弟、先辈、后代等。 (一)语法: 表达式 功能描述 nodename 选取此节点所有子节点。 / 从根节点选取。...//book 选取所有 book 子元素,而不管它们文档位置。...def parseAndWrite(self, tbody): ''' 解析HTMLtbody,解析完成后写入本地文件 :param tbody

1.5K40

Python爬虫之数据提取-selenium介绍

selenium介绍 知识点: 了解 selenium工作原理 了解 selenium以及chromedriver安装 掌握 标签对象click点击以及send_keys输入 ---- 1. selenium...-- 3. selenium安装以及简单使用 我们以谷歌浏览器chromedriver为例 3.1 python虚拟环境安装selenium模块 pip/pip3 install selenium...')定位id属性值是’kw’标签,并向其中输入字符串’python’ driver.find_element_by_id('su').click()定位id属性值是su标签,并点击 click...函数作用是:触发标签jsclick事件 ---- 知识点:掌握 标签对象click点击以及send_keys输入 ---- 值是’kw’标签,并向其中输入字符串’python’ driver.find_element_by_id...('su').click()定位id属性值是su标签,并点击 click函数作用是:触发标签jsclick事件 ---- 知识点:掌握 标签对象click点击以及send_keys输入 -

1.4K20

爬虫selenium+chromdriver

目录下 注意 :chromedriver版本要与你使用chrome版本对应 下载chromdriver.exe放到python安装路径scripts目录即可,注意最新版本是2.29,并非2.9...=baidu_input_tag.send_keys('张根') #标签输入'张根' baidu_button_tag=browser.find_element_by_id...选择器 模拟浏览器无非请求---->显示页面----->寻找标签 ------>点击标签事件,所以selenium关键是怎么找到页面标签,进而触发标签事件; 1.通过标签id属性进行定位 browser.find_element...perform() ——执行链所有动作 release(on_element=None) ——某个元素位置松开鼠标左键 send_keys(*keys_to_send) ——发送某个键当前焦点元素...(4) browser.find_element(By.ID,'kw').clear()#清空input标签内容,让重新输入 browser.find_element_by_id('kw').send_keys

2.3K20

利用selenium爬取数据总结

selenium介绍 知识点: 了解 selenium工作原理 了解 selenium以及chromedriver安装 掌握 标签对象click点击以及send_keys输入 ---- 1. selenium...windows环境下需要将 chromedriver.exe 所在目录设置为path环境变量路径 linux/mac环境下,将 chromedriver 所在目录设置系统PATH环境值.../chromedriver')executable参数指定是下载好chromedriver文件路径 driver.find_element_by_id('kw').send_keys('python...')定位id属性值是’kw’标签,并向其中输入字符串’python’ driver.find_element_by_id('su').click()定位id属性值是su标签,并点击 click...函数作用是:触发标签jsclick事件 ---- 知识点:掌握 标签对象click点击以及send_keys输入 ---- 值是’kw’标签,并向其中输入字符串’python’ driver.find_element_by_id

1.1K30

自动化测试工具Selenium基本使用方法

一、前言 由于requests模块是一个不完全模拟浏览器行为模块,只能爬取到网页HTML文档信息,无法解析和执行CSS、JavaScript代码,因此需要我们做人为判断; selenium模块本质是通过驱动浏览器...("kw") #寻找到百度页面的id='kw'标签 key=baidu_input_tag.send_keys('张根') #标签输入'张根' baidu_button_tag=browser.find_element_by_id...选择器 模拟浏览器无非请求---->显示页面----->寻找标签 ------>点击标签事件,所以selenium关键是怎么找到页面标签,进而触发标签事件; 1.通过标签id属性进行定位 browser.find_element...perform() ——执行链所有动作 release(on_element=None) ——某个元素位置松开鼠标左键 send_keys(*keys_to_send) ——发送某个键当前焦点元素...(4) browser.find_element(By.ID,'kw').clear()#清空input标签内容,让重新输入 browser.find_element_by_id('kw').send_keys

2.1K30

使用Python爬取弹出窗口信息实例

这个实例是Python环境下如何爬取弹出窗口内容,有些时候我们要在页面通过点击,然后弹出窗口中才有我们要信息,所以平常用方法也许不行....而且我用浏览器是firefox,不用IE是因为好像新版IESelenium下有问题,我也是百思不得其解, 网上也暂时没找到好办法. from selenium import webdriver.... browser.get('http://XXX.XXX.com/fenxi/yazhi-734155') #输入目标网址 time.sleep(3) #打开网址后休息3秒钟,可用可不用 browser.find_element_by_xpath...补充知识:python自动化测试,点击【查看】按钮,弹窗出不来怎么办?...一、在用python写UI自动化测试时候,可能会遇到明明用.click()点击了【查看】按钮,但是弹窗弹不出来; 遇到这个问题时候,不妨可以试试模拟键盘操作,利用.send_keys(Keys.ENTER

3K10

自动化测试——selenium(环境部署和元素定位篇)

: 基于Python扩展关 键字驱动自动化工具 注意:要是用selenium自动化工具,要先下载安装selenium 一、web自动化环境部署 1.1 selenium安装 1、安装 ...cmd 直接输入 :pip install selenium 2、卸载: cmd输入:pip uninstall selenium 3、查看: pip show selenium 或者...pip list pip 是python包管理工具(可安装,可卸载,查看python工具),使用pip时候必须联网 有的输入 pip install selenium 会提示出现 ‘pip’ 不是内部或外部命令...产生这个原因python环境内部没有 pip 路径,则需要我们收到导入 解决方法: 1、找到我们python工具pip所在文件夹,复制其路径 2、右键,点击我电脑 选择属性...错误示范: 所以要精准找到确认他是第一个符合要求特征对应元素,方可用这个 方法。

1.4K10

九.网络爬虫之Selenium基础技术万字详解(定位元素、常用方法、鼠标操作)

---- Selenium是一款用于测试Web应用程序经典工具,它直接运行在浏览器,仿佛真正用户操作浏览器一样,主要用于网站自动化测试、网站模拟登陆、自动操作键盘和鼠标、测试浏览器兼容性、测试网站功能等...C:\selenium\selenium3.4.3> python3 setup.py install PyPI全称是Python Package Index,是Python官方第三方库仓库,所有人都可以下载第三方库或上传自己开发...;然后将Python安装目录添加到系统环境变量路径(Path),打开Python IDLE输入不同代码来启动不同浏览器。...(“数据分析”)send_keys()方法可以用来模拟键盘操作,相当于是搜索框输入“数据分析”字段。...,并调用send_keys()函数输入正确用户名和密码后点击登录。

4.5K10

《手把手带你学爬虫──初级篇》第5课 Selenium WebDriver用法

Python语言角度来讲,WebDriver是Python一个用于实现自动化操作第三方库。...首先,我们ipython,测试一下Selenium调用WebDriverAPI,驱动Chrome浏览器打开我博客首页用法: # 导入WebDriver模块 In [2]: from selenium...将解压后geckodriver.exe配置环境变量 Windows配置chromedriver: 1....跟上面的方法作用一样,只是上面的方法传入定位element,而这个方法传入locator alert_is_present 判断页面上是否存在alert 隐式等待 如果某些元素不是立即可用,隐式等待是告诉...() 表单提交 键盘操作 send_keys()可用Keys类来模拟键盘操作,常用操作有: 操作名 含义 send_keys(Keys.BACK_SPACE) 删除键(BackSpace) send_keys

2.6K31

自动化-Selenium 3-常用API(Python版)

(perform()执行所有ActionChains存储行为): 1、双击double_click() 例如:双击百度搜索框 百度搜索框页面源码 # 定位要双击元素 double_click...expected_conditions 本章示例,我们使用expected_conditions类时对其进行了重命名,通过as关键字对其重命名为EC。...应用中经常会遇到表单嵌套页面,Frame标签有frameset、frame、iframe三种,frameset跟其他普通标签没有区别,不会影响正常定位;而frame和iframe需要切换进去才能定位其中元素...这时就需要通过switch_to.frame()方法将当前定位主体切换为 frame/iframe表单内嵌页面。...如图所示:输入框frame div层frameA内,要想输入操作则需要进入层frameA。

1.2K20

Selenium3元素定位详解与封装

主流UI自动化测试框架Selenium3经过多年发展,它技术体系以及生态体系都是非常完善,能够得到各大主流浏览器厂商支持,和完善document文档,以及与各个编程语言之间兼容。...元素属性源码 UI自动化测试,最核心最基础就是首先需要定位元素属性,然后就可以针对这个属性进行具体相关页面交互操作,比如进行进行关键字输入,以及点击操作等。...()方法,按照name属性搜索输入输入搜索关键字测试案例实战代码: #!...多个元素定位解决方案 针对单个元素定位无法解决问题,主要核心点获取到元素属性都一样,比如就以百度搜索输入框为案例,我们使用是input标签方式进行,但是 input标签有8个,那么就不是唯一了...Please use find_elements() instead") 函数思维-顶层思维 如上,有警告信息,我们可以具体webdriver.py模块606行看看警告信息,这部分源码为:

88920

JaFak:一款无视前端加密密码爆破工具

一次授权系统测试,我发现了系统找回密码功能处有个很有趣事情,找回密码进行验证时候,需要输入用户名和相应绑定邮箱,当我输入正确用户名时候,系统会提示“用户名或邮箱错误” 没毛病,模糊信息返回...,但是当我输入正确用户名和错误邮箱时,系统会提示“输入邮箱错误”,相信各位大佬都知道了,这里挖掘一枚用户名枚举漏洞,通过系统提示系统,批量爆破系统存在用户名。...如果代码执行错误,浏览器没有打开,那么应该是没有装 Chrome 浏览器或者 Chrome 驱动没有配置环境变量里。...( username)#找到输入用户名标签,把用户名输入进去 driver.find_element_by_css_selector( "[class='class_name']").send_keys...名字没有空格,就可以直接获取,当然也可以通过标签其他属性访问到.

1.1K30

打个响指Selenium自动化开启

最近斗哥朋友影响下,接触了自动化测试工具一个项目:appium自动化测试脚本。...appium类库封装了标准Selenium客户端类库,为用户提供所有常见JSON格式selenium命令以及额外移动设备控制相关命令,所以讲appium类前先了解下Selenium自动化测试使用...python官网(https://www.python.org/)下载对应系统安装包,python2版本与python3版本都支持Selenium 安装步骤斗哥这里就不介绍,安装完成后终端输入python...0x04 Selenium 元素定位 当我们要访问页面某个功能,某个标签,就需要在界面找到这些元素。selenium中有一系列以find_开头方法,都是用于元素定位。...('kw').send_keys(Keys.ENTER) #回车 如果运行正常,将会自动执行以下操作:打开一个火狐浏览器,然后打开百度首页,输入输入python”然后回车。

1.3K20

Python爬虫技术系列-04Selenium使用

介绍与使用 Selenium IDE 是作为 Selenium 浏览器 Firefox 和 Chrome 插件,用于记录、重放测试脚本,并且脚本也可以导出到 C#,Java,Ruby 或 Python...【通过 Selenium Grid 可以控制多台机器多个浏览器执行测试用例,分布式上执行环境 Selenium Grid 称为node节点。】...1:放置环境变量路径 #例如将驱动文件直接放置已配置好python环境变量根路径。...包 #方式4:其它,比如AutoIt 2.5 窗口切换 WebDriver,焦点切换主要分为如下3类 警告窗体焦点切换 内嵌页面的焦点切换 渐开窗口或者标签焦点切换 焦点切换使用driver.switch_to...driver.switch_to.alert.send_keys() # 向对话框输入内容 如果没有文本框 则抛出异常 2.5.2 新窗口切换 import time from selenium

51040

JaFak:一款无视js前端加密账号密码爆破工具

一次授权系统测试,我发现了系统找回密码功能处有个很有趣事情,找回密码进行验证时候,需要输入用户名和相应绑定邮箱,当我输入正确用户名时候,系统会提示“用户名或邮箱错误” 没毛病,模糊信息返回...,但是当我输入正确用户名和错误邮箱时,系统会提示“输入邮箱错误”,相信各位大佬都知道了,这里挖掘一枚用户名枚举漏洞,通过系统提示系统,批量爆破系统存在用户名。...如果代码执行错误,浏览器没有打开,那么应该是没有装 Chrome 浏览器或者 Chrome 驱动没有配置环境变量里。下载驱动,然后将驱动文件路径配置环境变量即可 ?...名字没有空格,就可以直接获取,当然也可以通过标签其他属性访问到. ? ‍...但是有个问题,就是我无法捕获服务器返回包,刚开始使用selenium抓取chromedrivernetwork ?

2.3K30
领券