专栏首页北京马哥教育Python 爬取CSDN的极客头条

Python 爬取CSDN的极客头条

这两周花了点时间读了《Python网络数据采集》,内容不多,不到200页,但是非常丰富,有入门,有提高,有注意事项,有经验之谈,有原理,有分析,读完受益匪浅。书中讲了很多反爬虫、图片验证码之类的东西,不过感谢csdn的开放性,这些都没有。所以第一个练习,就是爬取csdn的极客头条的更新文章。

1、思路

思路比较简单,首先是登录,然后爬取页面的更新文章名称和链接。要注意的一点是,极客头条的列表刷新是动态的,只有页面有滚动条并且往下拉的时候,才会加载新的文章列表。我用竖屏显示器试了下,没有滚动条的情况下,默认显示20条的文章列表,结果不能加载新的文章列表,应该算是bug。

2、准备

通过浏览器的开发人员工具抓包,可以发现极客头条申请新列表的时候URL格式如下:

http://geek.csdn.net/service/news/get_news_list?jsonpcallback=jQuery203014439105321047596_1516862462757&username=[账户名]&from=-&size=20&type=hackernewsv2_new&_=1516862462758

请求参数:

jsonpcallback:

jQuery20302827217349787545_1516863701413 #该参数是jQuery框架自动生成的匿名回调函数的函数名,用于ajax获取数据时的数据处理,看网页源代码,应该是利用getJSON,所以是页面端生成的参数,可以随意填写

username: [账户名]

from:

6:252765 #这个参数代表的是下一次请求文章列表时,文章的起始编号,如果是第一次请求列表,则这里填‘-’(短杠),和上面例子中一样,下次编号会在本次请求返回的JSON数据中携带

size:

20 #本次请求的文章条目数,我试过1000都成功了。。。

type:

hackernewsv2_new #文章类型,类型在首页的“最热 最新 业界”等等那一行小标题,选择的分类不同,这个参数不同,具体抓包可见

_:

1516863701415 #没什么用,就是第一个参数下短杠后面的数字累加,实际测试没有也可以

通过查找资料和抓包,发现csdn的登录还是很简单的,只要用户名密码,不需要验证码等等,抓包可以看到请求参数:

gps:

39.890503,116.431339

username:

[账户名]

password:

[密码] #抓包的话这里是明码,发出去的话应该是加密的

rememberMe:

true #是否记住密码

lt:

LT-448149-vgNusKFi3i7wBRIZUrzCFLDfoDVP34 #这个参数是在登录主页面中的,需要自己解析出来,数值随机,每次登录需要获取

execution:

e3s1 #目前是固定值,和网文对比这个值不同,所以还是每次登录获取的好

_eventId:

submit #固定值,就是代表提交

登录时要注意的是,csdn为了防爬虫,要求HTTP头的User-Agent字段必须是真实的,所以我用了抓包里面真实的浏览器填充的字段,否则会一直登录失败,返回登录页。

通过抓包可以看到,请求文章后,返回的是json数据,其中‘from’自动用于下次请求,‘html’字段就是返回的网页,utf-8编码的Unicode字符串,Python默认用的就是Unicode,所以取出html字段的数据后自动转为了汉字、符号等,然后解析其中的class类型为‘title’的链接,就可以获得文章链接和名称。

3、代码(非常短)

来源:blwinner

链接:http://blog.csdn.net/blwinner/article/details/79161907

《Python人工智能和全栈开发》2018年07月23日即将在北京开课,120天冲击Python年薪30万,改变速约~~~~

*声明:推送内容及图片来源于网络,部分内容会有所改动,版权归原作者所有,如来源信息有误或侵犯权益,请联系我们删除或授权事宜。

- END -


本文分享自微信公众号 - 马哥Linux运维(magedu-Linux)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-03-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • python3急速入门 (二) 列表的使用

    云豆贴心提醒,这是马哥Linux运维Python3急速入门系列第1篇文章 列表用于组织其它数值,即写在方括号之间、用逗号分隔开的数值列表。列表内的项目不必全是...

    小小科
  • 35个Python黑魔法级别

    从我开始学习python的时候,我就开始自己总结一个python小技巧的集合。后来当我什么时候在Stack Overflow或者在某个开源软件里看到一段很酷代码...

    小小科
  • Python神技能:六张表 搞定 Xpath 语法

    小小科
  • Succinct Data Structure

    最近看了一篇论文 SuRF: Practical Range Query Filtering with Fast Succinct Tries,里面提到使用一种...

    PingCAP
  • Python开发的10个小贴士

    下面是十个Python中很有用的贴士和技巧。其中一些是初学这门语言常常会犯的错误。

    哲洛不闹
  • 我认知中的营销活动及其系统

    这是一篇大长文,是对我上份工作的总结,对主要工作内容的总结、也是对 “2020技术驿站” 补交的作业,望前东家前团队能更好,也祝愿自己在新的环境中能继续满心欢喜...

    邹志全
  • 53 道 Python 面试题,帮你成为大数据工程师

    本着这种精神,这是我的python面试/工作准备问题和答案。大多数数据科学家编写了大量代码,因此这对科学家和工程师均适用。

    Python小二
  • 客户端断连,服务端也断?

    在socket网络编程中,如果此时客户端忽然由于某种原因断开连接或者崩溃,服务端没有处理好,便会同时崩溃掉,本篇文章将会从崩溃到问题分析,解决,一步步入手。

    公众号guangcity
  • 零基础Python教程032期 循环的嵌套使用,灵活运用循环语句

    列表,从常规的角度去看就有多个维度,不同的维度在不同方面可以起到更加直观的效果,可以帮助我们的业务逻辑思维。

    刘金玉编程
  • MongoDB 慢日志字段解析

    随带一提,可以通过配置文件和db.setLogLevel()命令来设置整体的以及每个组件的日志级别。

    phoenix、

扫码关注云+社区

领取腾讯云代金券