专栏首页java之旅java抓取东方财富股票数据
原创

java抓取东方财富股票数据

背景

前段时间给朋友写了一个自动抓取同花顺股票数据的程序,不少人觉得不错。

这几天后台有粉丝给我留言让我也抓一下东方财富的数据,说东方财富的数据特别难抓,我还真不一定能搞得定。

本来我是一个德艺双磬且与世无争的佛系程序员,小小的激将法怎么会激到我,但在京隔离期间实在太闲,就看了下东方财富的网站。真是不看不知道,一看吓一跳,这网站做的我口吐芬芳。

抓取思路

我们先看下这个网站的资金流向排行榜,里面有各大股市的股票资金数据

东方财富的资金流向图表

炒股(韭菜)的都知道,如果一个股票的净流入大单很多,那说明股票涨,流入越大,涨的越多。所以关注一只股票的资金流向很重要,而东方财富专门有个资金流向的板块给我们提供数据。于是抓取这个页面的资金流向数据就很关键,根据页面源码和抓包分析,进入这个网站时,会分配一个token。而表格中的数据是异步加载的,获取数据的请求中会带着这个token,所以我们第一步要搞定这个token。根据页面中的表格我们可以看到这个页面的数据进行了分页,每页50个,所以在抓取时需要根据分页循环抓取数据,直至尾页。

总结步骤:

  • 获取token
  • 分页抓取
  • 清洗数据
  • 数据入库

数据入库

给大家看看我最近爬下来的数据:

入库数据

抓取的代码我直接写成了一个定时任务DFCFFundFlowCrawlerJob.java,大家可以直接复制到任何springboot工程中,直接运行就行,太长了,这里就不展示了。

github地址:https://github.com/chinashuai/crawler-stock-data-all

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • ​Mybatis原理之数据源和连接池

    在Java工程项目中,我们常会用到Mybatis框架对数据库中的数据进行增删查改,其原理就是对 JDBC 做了一层封装,并优化数据源的连接。

    java之旅
  • MAC上安装brew

    brew 是 Mac 下的一个包管理工具,作用类似于 centos 下的 yum。

    java之旅
  • SpringBoot整合Swagger

    上一篇《简单搭建SpringBoot项目》讲了简单的搭建SpringBoot 项目,而 SpringBoot 和 Swagger-ui 搭配在持续交付的前后端开...

    java之旅
  • 下一代Web开发技术-Progressive Web App介绍

    PC和Mobile开发技术演进 PC方向,从客户端到富客户端,到现在广泛使用的Web。 移动方向,目前主要还是原生应用和Mobile Web,PWA相关技术是未...

    企鹅号小编
  • 17篇论文入选CVPR 2019,百度AI都在关注什么?(附论文地址)

    计算机视觉和模式识别大会CVPR 2019即将于6月在美国长滩召开,作为人工智能领域计算机视觉方向的重要学术会议,CVPR每年都会吸引全球最顶尖的学术机构和公司...

    AI科技大本营
  • CVPR 2019 | 百度17篇论文入选,AI巨头都在关注什么?(附论文下载)

    计算机视觉和模式识别大会CVPR 2019即将于6月在美国长滩召开,作为人工智能领域计算机视觉方向的重要学术会议,CVPR每年都会吸引全球最顶尖的学术机构和公司...

    数据派THU
  • 十个有趣的“大数据”经典数据挖掘案例

    用户1756920
  • 业界 | 图像识别的未来:机遇与挑战并存

    在计算机视觉领域,图像识别这几年的发展突飞猛进,但在进一步广泛应用之前,仍然有很多挑战需要我们去解决。本文中,微软亚洲研究院视觉计算组的研究员们为我们梳理目前深...

    大数据文摘
  • 【案例】戏说十个有趣的“大数据”经典案例

    近两年,“大数据”这个词越来越为大众所熟悉,“大数据”一直是以高冷的形象出现在大众面前,面对大数据,相信许多人都一头雾水。下面我们通过十个经典案例,让大家实打实...

    小莹莹
  • 十个有趣的“大数据”经典数据挖掘案例

    马云说:互联网还没搞清楚的时候,移动互联就来了,移动互联还没搞清楚的时候,大数据就来了。近两年,“大数据”这个词越来越为大众所熟悉,“大数据”一直是以高冷的形象...

    CDA数据分析师

扫码关注云+社区

领取腾讯云代金券