雪球网沪深全站股票评论爬虫

專 欄

蜗牛仔,Python中文社区专栏作者,怒学Python爬虫,争当爬虫工程师,

github地址:

https://github.com/xiaobeibei26

这个爬虫写得好累,就简单讲一下思路吧。雪球网股票的评论内容是不能直接访问的,必须要携带在第一次访问时雪球网写进本地的cookie(其实你随便打开一次官网就是属于第一次访问了,那时候 不需要cookie),先放上github地址: https://github.com/xiaobeibei26/xueiqiu_spider 爬取思路是这样的,先挖取所有股票的代码,放进数据库,然后根据股票代码爬取每一只股票的评论,多了,一定要加入代理池,我这里用的上上一篇文章写的代理池,我们给每个股票代码赋予一个状态值,一开始是outstanding,也就是1。如图:

每个进程需要知道那些股票评论爬取过了、哪些股票需要爬取!我们来给每个URL设置三种状态:

  • outstanding:等待爬取的股票
  • complete:爬取完成的股票
  • processing:正在进行的股票,也可能是失败的爬取股票

嗯!当一个所有初始的股票状态都为outstanding;当开始爬取的时候状态改为:processing;爬取完成状态改为:complete;失败的股票重置状态为:outstanding。为了能够处理股票进程被终止的情况、我们设置一个计时参数,当超过这个值时;我们则将状态重置为outstanding。 股票代码的爬取很简单,直接访问主页就好了

代码上比较简单,如图是其中一段

爬取之后我们看看数据库

这里5000来只股票 ,接下来看看股票评论的ajax请求

随便点开一只股票,然后点击里面的讨论就会触发该请求,评论时个json数据,解析之后直接提取就好了,这里简单说说URL里面的参数,如图

这里count很好理解,是每页的评论数,访问的时候要加上,hl:0、source:user和comment:0这三个参数是一直不变的,加上就好,symbol是股票代码,访问时候必须要加上,page是评论的页数,重点需要提一提的是里面最下面那个参数,-:1493022641602,一开始看到这个我是有点懵逼的,在源代码里面各种找,确保不是在里面提取的之后,我看着这东西也是越来越眼熟,然后在Python里面试了一试,果不其然,如图

我们再处理一下

相差的就是最后的微秒,我心中有底之后就去翻源代码里面的JS代码,果不其然,就是利用JS生成的当前访问时间,虽然我试过不加时间也能访问,但为了保险,我还是加上了,不精要大规模访问,下面是主程序,代码很长,已上传至圈内,点击阅读原文即可下载。晚上开电脑跑了一个通宵,还以为自己的高性能电脑很吊,结果也只是跑了30万条数据,上两张结果图

原文发布于微信公众号 - Python中文社区(python-china)

原文发表时间:2017-04-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏美团技术团队

顶会论文:纠删码存储系统中的投机性部分写技术

本文已被USENIX'17年度技术大会录用,此处为中文简译版。 阅读英文论文完整版请点击:Speculative Partial Writes in Erasu...

705100
来自专栏黄希彤的专栏

内部体验腾讯负载均衡的新功能

腾讯云近期将推出的新的负载均衡轮询算法,新算法被称为“最小连接数”算法,也就是LB会随时判断哪台主机上的HTTP连接数最少,然后尽量把新的请求分发给它。

86400
来自专栏大数据挖掘DT机器学习

R语言与Excel约架!谁更适合做数据分析?

这两款工具的使用方法截然不同。使用Excel时,可以通过鼠标点击完成大部分工作,你可以访问界面内不同位置的各种工具。因此Excel非常便于使用(熟能生巧),...

34040
来自专栏FreeBuf

双尾蝎(APT-C-23):伸向巴以两国的毒针

? 摘要 2016 年 5 月起至今,双尾蝎组织(APT-C-23)对巴勒斯坦教育机构、军事机构等重要领域展开了有组织、有计划、有针对性的长时间不间断攻击。 ...

293100
来自专栏杨建荣的学习笔记

使用Echarts来实现数据可视化

自动化运维中,脚本化,工具化,平台化的过程中,有一个环节不可缺少,那就是可视化。 可视化这方面的开源产品还是相当的多,总体的方向都是借助于丰富的前端方案来联动,...

45360
来自专栏AI科技大本营的专栏

8月精选Python开源项目Top10

【导读】过去一个月里,我们对近 250 个 Python 开源项目进行了排名,并挑选出热度前 10 的项目。这份清单的平均 github star 数量高达 1...

21550
来自专栏大数据挖掘DT机器学习

用Python统计 新浪微博 各种表情使用频率

用新浪微博API积累了微博广场的1.4万条数据,我选择了21个字段输出为TXT文件,想用Python稍微处理一下,统计一下这1.4万条微博里面表情使用情况,统计...

33250
来自专栏lgp20151222

关于一次性的数据输入,excel字符串连接保存到服务器还是CRUD?

开发中遇到个问题,线下一个紧急的活动,给一个excel的文件,要把里面的一次性的数据放进活动里面,说真的几百几千个数据啊,手写进数据库不是更麻烦了吗?

13920
来自专栏java工会

使用Github创建自己的小博客

10720
来自专栏PPV课数据科学社区

大规模爬虫流程总结

爬虫是一个比较容易上手的技术,也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫,完全就是另一回事,并不是1*n这么简单,还会衍生出许多别的问题。...

385110

扫码关注云+社区

领取腾讯云代金券