有哪些网站用爬虫爬取能得到很有价值的数据?

作者:林骏翔

想做数据,首先从获取数据开始。但是对于需要获取什么数据,数据可以干什么,很多人还是一头雾水,知乎达人林骏翔给出了参考。

题主问了有什么网站,能用来做什么。我给出几个API网站吧,做APP用的可能比较多,不过也可以用在日常生活中。

一、生活服务

手机话费充值。

天气查询。

快递查询。

健康食谱。

查医院。

水电煤缴费。

电影大全。

谜语、歇后语、脑筋急转弯。

音乐搜索。

健康知识。

百度糯米、团购等信息。

彩票开奖

以上接口都来自网站:http://www.apix.cn/services/category

细心的人会发现,这些功能简直是遍地都是啊,支付宝、微信什么的一大堆,哪用那么麻烦!是的,但我相信这些可能为一些不太了解相关信息的人提供了帮助。不过,虽然这些功能很多APP都有,如果自己有空闲时间又懂得编程,不喜欢别人的UI设计,自己做一做也是挺好玩的。比如:生活枯燥了,把这些谜语歇后语等根据个人喜好定时推送到自己的手机,放松身心;把一些健康小知识在空闲时间推送给自己,提醒自己……

国内类似的网站还有:

API数据接口_开发者数据定制https://www.juhe.cn/

API Store_为开发者提供最全面的API服务http://apistore.baidu.com/

API数据接口_免费数据调用-91查|91cha.comhttp://www.91cha.com/

除此之外还有一些门户网站提供了一些API接口,比如豆瓣、新浪、百度等等。

二、金融数据

1.股票

①新浪财经

最多人用的就是新浪财经了,因为它是免费的,并且使用起来也不难。以下是网上找的教程:获取历史和实时股票数据接口(http://www.cnblogs.com/seacryfly/articles/stock.html)

②东方财富网

网站提供了大量信息,也是基本面投资者的好去处。可以查看财务指标或者根据财务指标选股(如净资产收益率): >

这些都是很好的投资参考,当然还有其它功能有对应的API,可以自己分析一下。

③中财网

http://data.cfi.cn/cfidata.aspx提供各种产品的数据

(国内很多功能类似网站,如和讯、网易财经、雪球等等,具体的我没有一一试验就不放上来了,各位可以自己去试试,下同。)

2.大宗商品

①黄金头条——用资讯帮你赚钱http://www.goldtoutiao.com/

这里提供了各种大宗商品的行情,也可以分析获取。包括技术分析方面。

②当然还有外国网站:http://www.investing.com/

3.美股等综合类(其实新浪财经和东方财富等也算是国内综合的了,就不一一列举了)

①Wind资讯。很多机构用的都是这里的数据,当然普通个人是拿不到的,不过如果你是财经院校的学生,他们会提供免费的数据。详见官网。

②MarketData Feed and API

(http://www.xignite.com/)外国网站,提供了大量数据,付费。有试用期。

③Quandl Financial and Economic Data

(https://www.quandl.com/)同上。部分免费。

④96Stocks APIs: Bloomberg, NASDAQ and E*TRADE

外国网站整合的96个股票API合集,可以看看。

⑤雅虎财经http://www.finance.yahoo.com/

香港版https://hk.finance.yahoo.com/

下面提到的Quandl网站有一个他们自己的Python库,叫Quandl,可惜也是收费的。

pip install Quandl

://tushare.org/httpfundamental.html#id4 国内好心人做的开源财经数据接口(觉得好的可以捐助一下)。这里几乎可以获取到A股的所有信息了,还包括一些经济数据。重点是他不仅免费,还提供了一个Python库tushare。

三、其它

撇去上面的API不说,如果单单爬取网页上的内容下来,那就太多可以爬的了。

如:1.爬取网站上的图片。包括贴吧、知乎、Tumblr、轮子哥、XXX(你懂的)。

2.爬取影评、电影资讯、图书等等。比如豆瓣电影。轻轻松松掌握好书好电影。

3.爬取社交网络。比如新浪微博,Twitter。(Twitter提供了API,可以提交关键字等信息爬取搜索结果中的每一条内容。)爬完可以对整个社交网络群体做个分析,情绪、作息、区域……

4.一些网站有你喜欢的文章或者帖子,但是他们没有APP或者是APP做得不友好,你可以直接爬取页面信息推送到手机上。

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2016-05-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏前端架构

SEO简史-浅谈SEO一路的发展

近日,SEL专栏作家Tomas Stern对SEO的发展历程进行了简要的梳理。讲述了从1991年至今SEO所经历过的几个阶段,并简要说明了SEO的未来发展问题。

542
来自专栏达摩兵的技术空间

所谓“前端能力不足”

随着前端越来越多的被提上日程,用户对产品的体验度要求越来越高,产品除了实用的特性还必须满足方便用,美观,交互好,人性化等一系列的操作,谁的产品先做到这些,就能获...

704
来自专栏无原型不设计

总有一款适合你的协同设计工具

协同设计是当下技术行业技术更新的一个重要方向,也是设计类工具软件发展的必然趋势。它,不单是一个设计类的专业术语,更是一种商业化的服务模式。

854
来自专栏机器人网

自动驾驶汽车“无法洗车”,原因竟然在于传感器…

随着科学技术的发展,如今的自动驾驶汽车比以前更容易准确识别障碍物。但在一些常见情况的判断上,依旧称不上完美。比如说,有的自动驾驶汽车若不搭载刹车优先系统就无法穿...

2535
来自专栏ThoughtWorks

TW洞见|满足善变用户:追求用户价值覆盖率,而不是....

今日TW洞见 文章作者及图片来自ThoughtWorks:伍斌。 本文所有内容,包括文字、图片和音视频资料,版权均属ThoughtWorks公司所有,任何媒体、...

2977
来自专栏FreeBuf

如何写好一份渗透测试报告?

当你连续奋战了好几天,终于合上了笔记本,想要出去透透风时,一个熟悉的问句传来:“你好,请问什么时候可以交付报告?” 有成千上万的书籍讲解什么是信息安全,什么是渗...

23910
来自专栏BIT泽清

实战“期货原油”覆盖及优化分类参考类榜单第二心得

”期货“近期在操作的时候发现关键词覆盖数异常,截止发稿前已达到覆盖13662个关键词,搜索结果排名位于前三的有200个,搜索结果排名位于前十的有597个。其中搜...

974
来自专栏程序员Gank

机票大数据分析,揭示购票的秘密

对于旅游或者探亲来说,买机票的一个最基本的问题是什么时候买能买到最便宜的机票?提前一个月还是一周?知乎上各种旅游攻略上各种“业内人士”也说提前一个月买可能买到最...

703
来自专栏无原型不设计

看设计师大牛如何将用户体验与建站融会贯通

在建站中应用各种用户体验设计技巧就如绘画和雕塑一般,都需要耐心、远见、审美、创造力和对细节的体察。你一手建立的网站很大程度上代表着你的公司、你的产品,所以它必...

2455
来自专栏DT数据侠

春节抢票的最佳时机,都在这350亿机票价格数据里了

对于旅游或者探亲来说,买机票的一个最基本的问题是什么时候能买到最便宜的机票?提前一个月还是一周?网络上各种旅游“业内人士”也说提前一个月可能买到最便宜的机票,有...

620

扫描关注云+社区