腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

杂七杂八

专栏作者

129

文章

155539

阅读量

39

订阅数

selenium 自动化测试爬虫 java

pip insatll selenium 由于如果需要使用selenium的话，需要为本机配置对应浏览器的驱动，下面以chomedriver为例，首先安装chromedriver，chrome版本可以在标签页输入chrome://version/看到。chromedriver下载地址,其版本与支持对应的chrome版本如下： v2.41 v67-69 v2.40 v66-68 v2.39 v66-68 v2.38 v65-67 v2.37 v64-66 v2.36 v63-65 v2.35 v62-64 v2.34 v61-63 v2.33 v60-62 v2.32 v59-61 v2.31 v58-60 v2.30 v58-60 v2.29 v56-58 v2.28 v55-57 v2.27 v54-56 v2.26 v53-55 v2.25 v53-55 v2.24 v52-54 v2.23 v51-53 v2.22 v49-52 v2.21 v46-50 v2.20 v43-48 chromedriver解压后放到Python或者其他配置了环境变量的目录下。

2018-08-30

9360

爬虫简单应用之爬取京东手机图片

import re import urllib.request #只能爬取非延时加载的图片，匹配方式为正则匹配 def craw(url,page): #decode之后html字符串将以页面形式展现 # 正则匹配时需要加上re.S来匹配换行符，因为.默认不匹配换行符 #也可以不加re.S,这时就不要decode，html中中文以unicode字符展现， # 此时html为bytes，需要强转为str进行匹配 html = urllib.request.urlope

2018-04-27

5490

Scrapy爬取妹子图

本来呢，一开始想爬取的是这个网站，http://www.mzitu.com/,但是呢？问题发现比较多，所以先爬取了http://www.meizitu.com/这个网站，下一步再去爬取第一个。 Gi

2018-04-27

1.5K0

Scrapy爬取伯乐在线

scrapy 爬虫 python 云数据库 SQL Server

Scrapy爬取伯乐在线文章准备工作： python环境，我是用Anaconda Scrapy环境,上一篇文章提到过 MySQL，我们准备将爬取的数据保存到MySQL数据库中创建项目首先通过scrapy命令创建项目爬取数据整体逻辑分析一下整个流程，可以分为两个部分。一，分析列表页面结构，获取每一篇文章的链接和图片地址以及下一个列表页地址。二，进入文章单页获取想要的内容数据。因此代码如果都写在一起显得非常臃肿，难以阅读。因此可以在parse函数处理第一部分逻辑，然后通过Request函数发送请求进行

2018-04-27

7900

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态