Python爬虫:学习Selenium并使用Selenium模拟登录知乎

现在开始要学习使用Python进行动态爬虫了,而Selenium是来进行动态爬虫的一种工具

介绍Selenium

众所周知很多网站的内容需要登录后能去获取他们的内容,这个时候我们就需要先登录进去,所以就有了这篇模拟登录文章

模拟登录我们要使用到 自动化测试工具,这个工具需要另行安装,如果你是使用 ,你可以直接去setting中点击一键安装,

然后还要去下载浏览器驱动,这里我推荐使用Firefox,因为相对Chrome来说,它是没有版本限制的,不容易出错. Firefox 直接百度就能下载,有一个推荐下载的, Firefox的驱动也可以百度一下 下载后安装,最后要记得设置环境变量,不然会带来一系列麻烦与错误的,所以这里切记一定要设置。

webdriver.Firefox() 这是获取Firefox浏览器的驱动,

元素.click()这是模拟网页的某个控件的点击事件

元素.clear() 清除元素的值

元素.send_keys(username) 给元素赋值

元素定位

再说一下元素的定位方法,元素的定位方法有很多种,下面我列举一下,这些方法看单词就能明白意思.

find_element_by_id

find_element_by_name

find_element_by_xpath

find_element_by_link_text

find_element_by_partial_link_text 通过部分超连接文本定位

find_element_by_tag_name

find_element_by_class_name

find_element_by_css_selector

窗口切换

切换window

driver.switch_to_window('windowname')

切换frame

driver

弹窗处理

alert = driver.switch_to_alert()

alert.dismiss

使用Selenium来模拟登录知乎

说明:这种模拟登录还不怎么完全,因为这没有涉及到验证码的操作,如果设计到了登录需要输入验证码,就更复杂了。后面我会进一步讲解.

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180129G0THF600?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券