腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
有趣的django
欢迎加入qq群:211599322 博客园地址:https://www.cnblogs.com/derek1184405959/
专栏作者
举报
259
文章
389099
阅读量
157
订阅数
订阅专栏
申请加入专栏
全部文章(259)
python(77)
其他(55)
django(51)
html(33)
数据库(28)
编程算法(21)
css(16)
爬虫(13)
javascript(11)
go(10)
云数据库 SQL Server(7)
linux(7)
https(7)
vue.js(6)
微信(6)
小程序(6)
bootstrap(5)
github(5)
人工智能(5)
分布式(5)
面向对象编程(5)
xml(4)
jquery(4)
sql(4)
api(4)
存储(4)
缓存(4)
scrapy(4)
c 语言(3)
node.js(3)
ide(3)
git(3)
http(3)
ssh(3)
windows(3)
c++(2)
bash(2)
json(2)
单片机(2)
汇编语言(2)
memcached(2)
tornado(2)
文件存储(2)
容器(2)
gulp(2)
网络安全(2)
seo(2)
image(2)
int(2)
对象(2)
java(1)
c#(1)
ruby(1)
云数据库 Redis(1)
flask(1)
打包(1)
unix(1)
ubuntu(1)
apache(1)
nginx(1)
bash 指令(1)
消息队列 CMQ 版(1)
短信(1)
腾讯云测试服务(1)
网站(1)
企业(1)
sass(1)
开源(1)
shell(1)
正则表达式(1)
grep(1)
cdn(1)
selenium(1)
tcp/ip(1)
socket编程(1)
ntp(1)
大数据(1)
安全(1)
网站建设(1)
nat(1)
kafka(1)
es(1)
csv(1)
dos(1)
io(1)
lock(1)
pipe(1)
queue(1)
release(1)
sizeof(1)
threadpoolexecutor(1)
windbg(1)
管理(1)
函数(1)
进程(1)
内存(1)
排序(1)
统计(1)
线程(1)
装饰器(1)
搜索文章
搜索
搜索
关闭
python爬虫入门(九)Scrapy框架之数据库保存
python
爬虫
scrapy
数据库
豆瓣电影TOP 250爬取-->>>数据保存到MongoDB 豆瓣电影TOP 250网址 要求: 1.爬取豆瓣top 250电影名字、演员列表、评分和简介 2.设置随机UserAgent和Proxy
zhang_derek
2018-04-11
744
0
python爬虫入门(八)Scrapy框架之CrawlSpider类
python
scrapy
爬虫
CrawlSpider类 通过下面的命令可以快速创建 CrawlSpider模板 的代码: scrapy genspider -t crawl tencent tencent.com CrawSpider是Spider的派生类,Spider类的设计原则是只爬取start_url列表中的网页,而CrawlSpider类定义了一些规则(rule)来提供跟进link的方便的机制,从爬取的网页中获取link并继续爬取的工作更适合。 CrawSpider源码详细解析 class CrawlSpider(Spider)
zhang_derek
2018-04-11
2.1K
0
python爬虫入门(七)Scrapy框架之Spider类
python
爬虫
scrapy
Spider类 Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说,Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。 class scrapy.Spider是最基本的类,所有编写的爬虫必须继承这个类。 主要用到的函数及调用顺序为: __init__() : 初始化爬虫名字和start_urls列表 start_requests() 调用make_requests_from url()
zhang_derek
2018-04-11
1.7K
0
python爬虫入门(六) Scrapy框架之原理介绍
python
爬虫
scrapy
tornado
Scrapy框架 Scrapy简介 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。 框架的力量,用户只需要定制开发几个模块就可以轻松的实
zhang_derek
2018-04-11
780
0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
立即发文
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档