Scrapy＋Selenium模拟登录CSDN

废话

本文旨在记录selenium的一些操作实例，没啥技术含量，也没有太多概念的内容。

安装selenium

下载驱动(chromedriver)

下载前需要确认适配自己的浏览器版本

selenium的基本用法

基本用法看官方文档，讲述的很清楚了，推荐

常用的实例设置浏览器不加载图片

点击弹窗与点击下拉列表

切换窗口

自动下拉列表(以开源中国的博客栏目为例)

很多页面是下拉加载更多信息，我们如何模拟这个下拉操作：

如何模拟手机访问？

如何为selenium设置代理？(连接无用户名密码认证的代理)

如何为selenium设置代理？(有用户名和密码的连接)

推荐几篇文章：

https://www.cnblogs.com/roystime/p/6935543.html

https://stackoverflow.com/questions/29983106/how-can-i-set-proxy-with-authentication-in-selenium-chrome-web-driver-using-pyth#answer-30953780

https://cuiqingcai.com/4880.html

scrapy + selenium 模拟登录csdn

其实，没啥技术含量。只是简单运用，敲一遍加深印象。

关于selenium的基础用法强烈建议用的时候看下文档就好，技术含量不高，无需过多费心。

spider.py

middlewares.py