腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
运维经验分享
专栏成员
举报
742
文章
2473404
阅读量
72
订阅数
订阅专栏
申请加入专栏
全部文章(742)
数据库(185)
sql(169)
linux(157)
mongodb(120)
centos(106)
云数据库 MongoDB(99)
云数据库 SQL Server(79)
http(78)
zabbix(76)
yum(64)
网络安全(62)
bash(59)
bash 指令(53)
https(47)
tcp/ip(41)
tomcat(38)
ssh(36)
nginx(35)
容器镜像服务(33)
windows(29)
git(28)
编程算法(27)
容器(26)
java(24)
网站(24)
grep(24)
ide(23)
python(21)
node.js(21)
shell(20)
html(19)
存储(19)
php(17)
apache(16)
打包(15)
github(15)
虚拟化(15)
云数据库 Redis(13)
访问管理(13)
jdk(12)
jenkins(12)
unix(11)
kernel(11)
ubuntu(10)
开源(10)
缓存(8)
xml(7)
json(7)
oracle(7)
文件存储(7)
命令行工具(7)
udp(7)
kvm(7)
负载均衡(6)
access(6)
socket编程(6)
nat(6)
云服务器(5)
mac os(5)
svn(5)
负载均衡缓存(5)
apt-get(5)
selenium(5)
微信(5)
javascript(4)
go(4)
.net(4)
jquery(4)
maven(4)
数据备份(4)
企业(4)
正则表达式(4)
sql server(4)
dns(4)
anaconda(4)
push(4)
window(4)
单片机(3)
api(3)
windows server(3)
vr 视频解决方案(3)
游戏(3)
gcc(3)
安全(3)
数据结构(3)
Elasticsearch Service(3)
service(3)
服务器配置(3)
官方文档(2)
c++(2)
ruby(2)
actionscript(2)
servlet(2)
bootstrap(2)
web.py(2)
eclipse(2)
SSL 证书(2)
cci 持续集成(2)
自动化(2)
运维(2)
压力测试(2)
hadoop(2)
jvm(2)
ftp(2)
scrapy(2)
admin(2)
chmod(2)
expect(2)
list(2)
local(2)
pid(2)
ps(2)
root(2)
timeout(2)
程序(2)
权限(2)
网络(2)
其他(1)
自动驾驶(1)
ios(1)
lua(1)
r 语言(1)
sqlite(1)
postgresql(1)
ruby on rails(1)
专用宿主机(1)
日志服务(1)
NAT 网关(1)
VPN 连接(1)
海外加速(1)
全站加速网络(1)
消息队列 CMQ 版(1)
移动应用安全(1)
数据加密服务(1)
腾讯git代码托管(工蜂)(1)
腾讯云测试服务(1)
云推荐引擎(1)
koa(1)
爬虫(1)
gui(1)
unity(1)
npm(1)
cdn(1)
rabbitmq(1)
lnmp(1)
ntp(1)
安全漏洞(1)
kafka(1)
防火墙(1)
ipv6(1)
流计算 Oceanus(1)
add(1)
auto(1)
class(1)
command(1)
config(1)
data(1)
db(1)
device(1)
dql(1)
execute(1)
iptables(1)
limit(1)
match(1)
network(1)
roles(1)
route(1)
rpm(1)
select(1)
send(1)
set(1)
sh(1)
spawn(1)
status(1)
tar(1)
text(1)
vmware(1)
博客(1)
登录(1)
翻译(1)
服务器(1)
高可用(1)
监控(1)
兼容性(1)
进程(1)
路由器(1)
日志(1)
系统(1)
协议(1)
虚拟机(1)
硬件(1)
源码(1)
搜索文章
搜索
搜索
关闭
Scrapy爬虫(8)scrapy-splash的入门
scrapy
容器镜像服务
容器
lua
javascript
在前面的博客中,我们已经见识到了Scrapy的强大之处。但是,Scrapy也有其不足之处,即Scrapy没有JS engine, 因此它无法爬取JavaScript生成的动态网页,只能爬取静态网页,而在现代的网络世界中,大部分网页都会采用JavaScript来丰富网页的功能。所以,这无疑Scrapy的遗憾之处。 那么,我们还能愉快地使用Scrapy来爬取动态网页吗?有没有什么补充的办法呢?答案依然是yes!答案就是,使用scrapy-splash模块! scrapy-splash模块主要使用了Splash. 所谓的Splash, 就是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器,Splash是用Python实现的,同时使用Twisted和QT。Twisted(QT)用来让服务具有异步处理能力,以发挥webkit的并发能力。Splash的特点如下:
拓荒者
2019-03-11
1.5K
0
Python分布式爬虫打造搜索引擎Scrapy精讲
scrapy
https
github
linux
chrome谷歌浏览器无界面运行,主要运行在Linux系统,windows系统下不支持
拓荒者
2019-03-11
865
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档