2018-06-06selenium和phantomJS

selenium和phantomJS

——编辑:大牧莫邪

目录清单

  • [x] . selenium和phantomjs概述
  • [x] . selenium常用API
  • [x] . 案例操作:模拟登陆csdn

课程内容

1. selenium和phantomJS是什么东西

selenium是一套web网站自动化测试工具,主要通过命令行的操作完成常规可视化界面下的用户各种操作行为,因为其简单易学成本低,并且执行测试效率较高而在web自动化测试方面比较突出,该库可以直接运行操作各种主流浏览器,辅助浏览器自动完成表单互动、鼠标点击、鼠标拖拽、窗口切换等等各种用户行为,是一套非常好用且强大的测试库,但是selenium没有内置的浏览器模块,不能独立运行,必须要和第三方浏览器配合使用才可以完成自动化测试操作。

在实际操作的过程中,经常使用selenium和各大主流浏览器共同操作,如谷歌、火狐、IE等等,但是在selenium自动化测试发展过程中,有一个特殊的浏览器经常用于和它配合使用,就是比较出名的无界面浏览器phantomJS。

2. 爬虫、selenium、phantomJS

这时候问题就来了,爬虫中,为什么要涉及到selenium测试工具和无界面浏览器这样的东东呢?

说来话长了

故事背景:那是很久的以前,人们生活在一个非常平和的年代 老李住在人民小区的一所豪宅中,人人互爱互助,路不拾遗夜不闭户已经成了传统


这天,从遥远的他乡来了一个人~老王(爬虫),禁不住五脏庙的闹腾,终于决定要找点吃的了,他一路独行直接进来了老李家,把老李留给媳妇的无骨炖鸡汤给吃了个精光,然后施施然潇洒的离去了.. [爬虫老王,根据自己需要的数据对于网站服务器老李进行了数据采集,服务器没有任何防范,数据直接被获取到了!]


老李终于回家了,发现有人动了他的鸡汤....于是,晚上老李家传来了老李的惨叫声. 老李吸取教训,应该是有小区之外的人进了小区,于是跟守门大妈说了一句,以后进门的人一定要问问有木有门卡(备注:门卡是小区住户才有的一种身份卡片),有卡才让进小区,否则不允许进入 [服务器老李由于数据无端泄露导致出现了安全问题,于是进行了简单的升级防范,针对所有进行访问的用户验证其User-agent,如果User-agent不合适则禁止访问]


老王这天又饿的不行了,但是进小区时发现大妈竟然要查牌,好吧,老王找到小区的某个人,请它吃了顿饭,顺便看了看门卡长的什么样子,然后自己偷偷去做了一张一模一样的卡片,然后 老王又进去了老李家,半夜小区又传来了老李的惨叫~~ [爬虫老王通过抓包工具进行了服务器请求的抓包,分析了请求中的各项参数,在请求头中添加了浏览器的User-agent的值,再次访问服务器,顺利拿到了需要采集的数据]


老李愤慨于老王的行为,再次跟门口大妈说了说,家里的东西又被人动了,大妈回忆了一下这几天的情况,发现老王频繁的进入小区,于是大妈针对每天频繁进入小区的人单独进行了登记,注意防范,一旦出现就坚决不允许这样的人再进入小区 [服务器老李针对再次数据泄露,认识到了可能有非法用户多次采集数据造成的,于是针对限定时间频繁访问数据的操作进行了屏蔽,如果出现1分钟内访问次数超过30次的直接屏蔽ip地址] <> ------------- 老王这天来到小区门口,发现和他一样的老孙饿的皮包骨头,很诧异的问老孙什么情况,老孙据实说了实际情况,老孙已经进了大妈的黑名单,再也不能进小区觅食了!老王发现了这个问题之后,于是~每天只进入一次小区,还跟大妈很热情的打招呼呢.....老李是彻底的愤怒了,家里的吃的虽然没有像之前丢的那么频繁,但是终归还是丢了特别重要的部分,半夜时分,老李的惨叫是那么的惨绝人寰[爬虫老王限制了爬虫访问服务器的时间,根据正常用户的发送请求的时间,限制了不同爬取请求之间的休眠时间,尽管采集数据较慢,但是同样得到了数据] <> ------------- 老李这次学乖了,出门的时候给家里上锁了,在也不愁数据数据再次丢失的问题了[服务器老李在请求参数中,添加了一个加密字段,如果参数中包含了正确的加密字段,就允许访问数据,如果参数中没有标注则拒绝访问]


老王已经饿了太多天了 老王找到了传说中的某个大师,跟他学了旷古绝技,于是在某个艳阳高照的晴天,再次进了老李家....这天半夜,老李默默的坐了一个晚上[爬虫针对加密数据进行了分析追踪,得到了加密 的具体流程,于是进行了加密字段的重现,将加密数据通过请求传递给了服务器,顺利获取到了数据] <> ------------- 老李根据自己的需要,换了指纹密码锁[服务器针对数据安全问题,进行了再次升级,对数据进行了混淆编码的同时,通过混淆编码进行了多重加密操作,同时进行了多个字段的数字指纹签名操作,如果请求中不包含这些数据的情况下,拒绝提供数据] <>------------- 老王看着紧锁的大门,想了很久.... 这天老李家来了客人,好酒好菜两人畅谈甚久,夜幕时分,老王施施然从老李家走了出来,身旁就是老李相送[客户端老王看到服务器老李已经做了非常复杂的反爬虫操作,于是权衡之后不再做反扒操作,直接让自己变成了正式用户发送请求,同样获取到了数据] 而这里涉及到的正式用户的请求,就是直接通过浏览器发送请求访问服务器,用到的浏览器就是phantomJS无界面浏览器,通过selenium测试工具发送请求操作访问过程获取数据

准备工作:selenium和PhantomJS phantomjs:一个独立的无界面浏览器,并不是python模块,所以需要单独下载安装;phantomjs官方网站:http://phantomjs.org/

selenium:独立的第三方模块,通过pip install selenium进行安装

3. selenium核心API

  • selenium.webdriver
    • selenium核心驱动模块,主要包含了web服务相关的核心操作,可以调用指定的服务器
      • 如:driver = selenium.webdriver.PhantomJS()
      • 如:driver = selenium.webdriver.Chrome()
    • 接续:浏览器填写url地址访问文章:
    • 接续:获取标签对象
      • find_element_by_id()
        • 根据标签编号查询标签对象
        • <div id="box">...</div>
        • driver.find_by_element_by_id("box")
        • 同下:
        • from selenium.webdriver.common.by import By
        • driver.find_element(by=By.ID, value='box')
      • find_elements_by_name()
        • 根据标签的name属性只查询标签对象
        • <div name="real_name"></div>
        • driver.find_elements_by_name("real_name")
        • 同下:
        • from selenium.webdriver.common.by import By
        • driver.find_elemnets(by=By.NAME, value='real_name')
      • find_elemnets_by_xpath()
        • 根据xpath语法查询指定的标签
        • driver.find_elements_by_xpath('//input[id="kw"]')
        • 同下:
        • from selenium.webdriver.common.by import By
        • driver.find_elements(by=By.XPATH, value='//input[@id="kw"]')
      • find_elements_by_link_text()
        • 根据超链接标签链接文本查询标签
        • driver.find_elements_by_link_text('damu')
        • 同下:
        • from selenium.webdriver.common.by import By
        • driver.find_elements(by=By.LINK_TEXT, value='damu')
      • find_elemetns_by_partial_link_text()
        • 根据超链接标签链接文本 扩展 查询标签
        • driver.find_elements_by_partial_link_text('damu')
        • 同下:
        • from selenium.webdriver.common.by import By
        • driver.find_elements(by=By.PARTIAL_LINK_TEXT, value='damu')
      • find_elements_by_tag_name()
        • 根据标签名称查询标签
        • driver.find_elements_by_tag_text('damu')
        • 同下:
        • from selenium.webdriver.common.by import By
        • driver.find_elements(by=By.TAG_NAME, value='damu')
      • find_elements_by_class_name()
        • 根据标签的class名称查询标签
        • driver.find_elements_by_class_name("")
        • 同下:
        • from selenium.webdriver.common.by import By
        • driver.find_elements(by=By.CLASS_NAME)
      • find_elements_by_css_selector()
        • 根据标签的样式名称查询得到标签
        • driver.find_elements_by_css_selector("#box > div")
        • 同下:
        • from selenium.webdriver.common.by import By
        • driver.find_elements(by=By.CSS_SELECT, value='#box')
  • selenium.webdirver.common.keys.Keys
    • selenium用于操作用户键盘的核心模块
    • 表单处理:输入框填写数据
      • 选择输入框:kw = driver.find_element_by_id("kw")
      • 输入数据:kw.send_keys(u"关键字")
    • 表单处理:下拉列表框选择数据
      • from selenium.webdriver.support.ui import Select
      • 选择下拉框:sl = Select(driver.find_element_by_id("city"))
      • 输入选择的值:
        • sl.select_by_index(1) # 根据值的索引赋值
        • sl.select_by_value("zhengzhou") # 根据具体下拉框的value赋值
        • sl.select_by_visible_text("郑州")# 根据下拉框显示的值赋值
        • sl.deselect_all() # 全部取消
    • 键盘按键:功能键+字母按键
      • from selenium.webdriver.common.keys import Keys
      • driver.find_element_by_id("kw").send_keys(Keys.CONTROL, "a")# ctrl+a全选
        • ALT:alt按键
        • NUMBER1:数字键1
        • LFET:←左方向键
        • F1:功能键F1
        • 更多more~
  • selenium.webdriver.ActionChains
    • 该模块包含了和鼠标操作相关的行为
    • 模拟鼠标单击
      • driver.find_element_by_id("su").click()
    • 鼠标链操作
      • from selenium.webdriver import ActionChains # 引入鼠标模块
      • su = driver.find_element_by_id("su") # 获取标签对象
      • ActionChains(driver).move_to_element(su).perform()# 鼠标移动到对象上
      • ActionChains(driver).move_to_element(su).click(su).perform()# 鼠标单击
      • ActionChains(driver).move_to_element(su).double_click(su).perform()# 鼠标双击
      • ActionChains(driver).move_to_element(su).context_click(su).perform()# 鼠标右键单击
      • ActionChains(driver).move_to_element(su).click_to_hold(su).perform()# 鼠标单击并按住
      • pos1 = driver.find_element_by_element("pos1")
      • pos2 = driver.find_element_by_element("pos2")
      • ActionChains(driver).drag_and_drop(pos1, pos2).perform() # 鼠标将pos1脱拽到pos2的位置
  • 页面窗口操作
    • driver.switch_to.window("window name")# 窗口诶切换
    • driver.forward()# 导航前进
    • driver.back()# 导航后退
  • cookie操作
    • driver.get_cookies()获取当前正在访问url地址的所有cookies数据
    • driver.delete_cookie(key)根据key值删除对应的cookie数据
    • driver.delete_all_cookies()清空cookie
  • 网页延时:针对网页中通过Ajax异步加载Json数据的情况,不同的网速下返回Json数据并渲染页面会有延迟,网页中并不一定能正常获取数据,需要延时操作
    • 显式等待

    # coding:utf-8 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdirver.support import except_conditions as EC driver = webdriver.PhantomJS() driver.get("http://www.baidu.com") try: # 获取标签:间隔10S获取标签~一直等待到标签获取成功 element = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.ID, "box")) ) finally: driver.quit() 这里的等待条件,就是except_conditions调用时执行的函数,内置如下条件可以直接调用 title_is title_contains presence_of_element_located visibility_of_element_located visibility_of presence_of_all_elements_located text_to_be_present_in_element text_to_be_present_in_element_value frame_to_be_available_and_switch_to_it invisibility_of_element_located element_to_be_clickable – it is Displayed and Enabled. staleness_of element_to_be_selected element_located_to_be_selected element_selection_state_to_be element_located_selection_state_to_be alert_is_present

    • 隐时等待:设置一个等待时间即可

    # coding:utf-8 from selenium import webdriver driver = webdriver.PhantomJS() driver.implicitly_wait(10) driver.get("http://www.baidu.com") driver.find_element_by_id("su")

以上,是selenium核心的几个API操作方式

案例:CSDN登录

真实用户登录CSDN场景:

  • 用户打开浏览器,访问并打开csdn登录网页
  • 填写账号、密码,点击登录
  • 进入CSDN主页

selenium配合phantomjs完成登录操作,并保存数据到文件中

# coding:utf-8

from selenium import webdriver

driver = webdriver.PhantomJS("./phantomjs-2.1.1/bin/phantomjs")

# 访问登录页面
driver.get("https://passport.csdn.net/account/login?ref=toolbar")
# 保存登录页面截图
driver.save_screenshot("csdn1.png")

# 获取登录 用户输入框、密码输入框
u_name = driver.find_element_by_id("username").send_keys("damumoye")
p_word = driver.find_element_by_id("password").send_keys("********")

# 模拟点击登录
login_btn = driver.find_element_by_css_selector("#fm1 .logging")
login_btn.click()
# 保存登录后的截图
driver.save_screenshot("csdn2.png")

# 保存数据
with open("csdn.html", "w") as f:
    f.write(driver.page_source.encode("utf-8"))

# 退出浏览器
driver.quit()

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张善友的专栏

IE 在中国的春运刷票中又败了,Chrome扩展插件crx时代来临

又到了一年一度的中国春运,今年的网络订票(12306.cn)有好多的故事上演,下面几条是这两天的几条相关新闻。 抢票插件风靡的恶果:农民工成购车票弱势群体 12...

257100
来自专栏Micro_awake web

sublime text3配置及相关小技巧

1.下载&安装: 官方地址:http://www.sublimetext.com/,sublime text3又更新了,支持不依赖插件进行侧边栏颜色的更改,同时...

234100
来自专栏我和PYTHON有个约会

爬虫0050:selenium & phantomJS 无界神器selenium和phantomJS

selenium是一套web网站自动化测试工具,主要通过命令行的操作完成常规可视化界面下的用户各种操作行为,因为其简单易学成本低,并且执行测试效率较高而在web...

12210
来自专栏黑泽君的专栏

day49_BOS项目_01

其余步骤参考如下链接: https://www.cnblogs.com/chenmingjun/p/9513143.html#_label0 右键项目 -->...

12220
来自专栏张戈的专栏

WordPress显示访客UA信息:Show UserAgent纯代码轻度汉化版

前几天在修复留言日期显示错误的问题时,突然觉得可以在这个位置集成一下访客信息,因为见到过不少博客的留言板都有了类似的功能。经过搜索、测试并筛选,最终选定了 Sh...

32150
来自专栏编程微刊

小程序模拟请求服务器json数据

怎么请求服务器json数据? 如果你是一枚前端,不会写后端接口的话 又想测试数据,看自己写的效果的时候 不要慌 那么,把你的json放在服务器底下 模...

30620
来自专栏张首富-小白的成长历程

下载网页音频

本人长期给我媳妇的爷爷下载各种戏曲评书,他老人家要求比较高,一直苦于下不到,知道发现这个方法,之后下载如行云流水畅通无阻。

12220
来自专栏FreeBuf

攻破黑市之拿下吃鸡DNF等游戏钓鱼站群

前段时间有个网友给我发了个网址,说找到个专门做钓鱼网站的连接,让我看看,然后就引出了一系列事件。

30830
来自专栏Vamei实验室

WordPress快速建站

这篇文章将介绍如何使用WordPress建立一个博客、网站和论坛。WordPress是基于PHP的博客架设工具。它提供了一套开源的PHP代码以方便用户在支持PH...

1.6K120
来自专栏Puppeteer学习

Headless Chrome:服务端渲染JS站点的一个方案【上篇】【翻译】介绍Headless Chrome 预渲染页面

36850

扫码关注云+社区

领取腾讯云代金券