腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

有趣的django

欢迎加入qq群：211599322 博客园地址：https://www.cnblogs.com/derek1184405959/

专栏作者

259

文章

389090

阅读量

157

订阅数

21天打造分布式爬虫-Selenium爬取拉钩职位信息（六）

分布式爬虫 selenium xml

6.1.爬取第一页的职位信息第一页职位信息 from selenium import webdriver from lxml import etree import re import time class LagouSpider(object): def __init__(self): self.driver = webdriver.Chrome() #python职位 self.url = 'https://www.lagou.com/jobs

2018-08-10

4900

21天打造分布式爬虫-数据解析实战（三）

分布式爬虫 xml windows

3.1.豆瓣电影使用lxml import requests from lxml import etree headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36', 'Referer':'https://movie.douban.com/' } url = 'ht

2018-08-01

2940

21天打造分布式爬虫-requests库（二）

分布式爬虫 https 人工智能

2.1.get请求简单使用 import requests response = requests.get("https://www.baidu.com/") #text返回的是unicode的字符串，可能会出现乱码情况 # print(response.text) #content返回的是字节，需要解码 print(response.content.decode('utf-8')) # print(response.url) #https://www.baidu.com/

2018-08-01

2680

21天打造分布式爬虫-urllib库（一）

分布式爬虫 https

urlparse和urlsplit都是用来对url的各个组成部分进行分割的，唯一不同的是urlsplit没有"params"这个属性.

2018-08-01

3060

Memcached的使用一、安装和启动二、telnet操作memcached三、python操作memcached

memcached python 分布式缓存

Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon ）是用C写的，但是客户端可以用任何语言来编写，并通过memcached协议与守护进程通信。

2018-08-01

6980

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态