Scrapy+Selenium模拟登录CSDN

废话

本文旨在记录selenium的一些操作实例,没啥技术含量,也没有太多概念的内容。

安装selenium

下载驱动(chromedriver)

下载前需要确认适配自己的浏览器版本

selenium的基本用法

基本用法看官方文档,讲述的很清楚了,推荐

常用的实例设置浏览器不加载图片

点击弹窗与点击下拉列表

切换窗口

自动下拉列表(以开源中国的博客栏目为例)

很多页面是下拉加载更多信息,我们如何模拟这个下拉操作:

如何模拟手机访问?

如何为selenium设置代理?(连接无用户名密码认证的代理)

如何为selenium设置代理?(有用户名和密码的连接)

推荐几篇文章:

https://www.cnblogs.com/roystime/p/6935543.html

https://stackoverflow.com/questions/29983106/how-can-i-set-proxy-with-authentication-in-selenium-chrome-web-driver-using-pyth#answer-30953780

https://cuiqingcai.com/4880.html

scrapy + selenium 模拟登录csdn

其实,没啥技术含量。只是简单运用,敲一遍加深印象。

关于selenium的基础用法强烈建议用的时候看下文档就好,技术含量不高,无需过多费心。

spider.py

middlewares.py

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180917G0AW9000?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券