腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

V站

专栏作者

112

文章

276173

阅读量

36

订阅数

python爬虫入门：scrapy爬取书籍的一些信息

python 爬虫 scrapy

Spider类想要表达的是：如何抓取一个确定了的网站的数据。比如在start_urls里定义的去哪个链接抓取，parse()方法中定义的要抓取什么样的数据。当一个Spider开始执行的时候，它首先从start_urls()中的第一个链接开始发起请求，然后在callback里处理返回的数据。

2018-06-17

8000

当你360搜索引擎收录为0与1,被K时应该这么做?

搜索引擎爬虫 xml

在被360搜索引擎满收录的那些日子，突然有一天，许多站点都被K光(不包含新站)，当然月宅酱的博客也不例外，被K了只有www一个首页，也没有拒绝360爬虫，更没有任何违反协议的情况出现，就连H网站都能够被收录。被360K了半年，一直没去管，损失了大概200左右来自360搜索的用户。月宅的收录情况一直兼容所有搜索引擎，并且都能上百上千，被360K了只有1个很不爽，很多人也被K了，接下来带来月宅逐渐恢复收录的补救措施。

2018-06-09

1.4K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态