前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >强行续命!沪漂小窝的新数据供应商来了

强行续命!沪漂小窝的新数据供应商来了

作者头像
马拉松程序员
发布2022-04-26 19:27:16
5270
发布2022-04-26 19:27:16
举报
文章被收录于专栏:马拉松程序员的专栏

背景故事:

经历315后,豆瓣一直没下文,这就意味着【沪漂小窝】的数据供应商没了,整个产业链受到影响,就像如今的上海疫情封城后,许多大佬发声汽车产业链直接停摆一样了,详细的内容

我本以为这就算是走到了它生命的尽头,它也在我学习Python路上一直陪伴着我,在2019年的时候,也靠它租到了一个1800/月的房子,所以说,沪漂小窝也是倾注了我的很多时间和精力。

最近有许多刚刚入行的同学,也可能是即将毕业想交一份毕业设计,来我问这个项目是否还能使用。如果没有上游数据供应商的话,那么这个“产业链”是无法跑通的。

踏破铁鞋无觅处,得来全不费功夫。从20年到现在,沪漂小窝也有一直断断续续在运行。所以目前在我的个人数据库中,已经超过了百万的数据。

我筛选了一下,从2021年6月至2022年3月的上海(上海创建的比较早,数据比较多)数据,一共有164122 条,虽然数据量不是超级多,至少做一个简单的爬虫学习,数据分析的学习完全够用。

这些数据虽然从时效性上看已经过期了,但是从学习角度上看,这不就是完美的数据素材吗!

所以呢,我就立马写了一个Api接口,绕过中间商,代理都省去了,直接拿到数据,供后面的学习使用。

由于提供Api服务的主机和数据库都是购买云服务,受限于成本,目前机器的性能也不高,所以目前Api接口不能免费提供,敬请见谅。

虽然付费接口,但是目的不是为了靠这个赚钱,主要是了合理分配资源,所以Api接口账号20元/个(就当请我喝个奶茶了,虽然现在还买不到),一共有2000次请求的额度,每次请求返回100条数据,一共可以获取20万条数据,就算是把数据库的内容全部拉下来是完全够用的。

沪漂小窝项目说明:

之前已经介绍的比较详细,详情请看下文,包含使用说明和源码地址

沪漂小窝数据接口Api说明

请求地址

https://hpapi.mlscoder.cn/data

请求方式

GET

请求参数

参数

必填

描述

范例

username

接口用户名,用于权限认证

mlscoder

page

数据页数

10

返回结果

代码语言:javascript
复制
{
  "code":"200",
  "data":[
    {
     "createDate": "Sun, 30 May 2021 21:43:08 GMT",
     "creator": "238117681",
     "id": 1,
     "text": "图片真实有效,无任何费用,另有8号线及延长线整租合租不同价位房源",
     "title": "合租 8号线联航路地铁站200米,房东直租浦江世博家园九街坊,1600,无中介费。"
     "url":"https://www.douban.com/group/topic/228418671/"
},
…]
}

数据说明:

返回是JSON格式的字符串,可以直接使用json包解析成对象供后续使用。data中包含100个对象,表示此次请求的结果。

字段含义如下:

  • createDate:此条租房信息的创建时间
  • creator:创建者的豆瓣id
  • id:数据的id
  • text:租房信息的文本,可能为空
  • title:租房信息的标题
  • url:原始信息的链接,有的链接可以打开,有的已经失效了,这个信息没啥用

数据接口Api账号获取

目前Api接口不提供开放注册.

沪漂小窝learn分支

为了配合上面的修改,特此在github上新增了learn分支(已经设置为默认分支),learn分支,代表为学习分支,不提供实时性的查询服务。

github地址:

https://github.com/mlscoder/hupiao

详细的使用说明,我已经写在项目的readme文档中,不在赘述,感兴趣的可以去阅读。learn分支的内容已经完全适配Api数据接口,且无需配置代理,节约费用,方便学习。

好了,今天就分享到这里,我是马拉松程序员,可不至于代码!

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-04-18,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 马拉松程序员 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档