背景故事:
经历315后,豆瓣一直没下文,这就意味着【沪漂小窝】的数据供应商没了,整个产业链受到影响,就像如今的上海疫情封城后,许多大佬发声汽车产业链直接停摆一样了,详细的内容
我本以为这就算是走到了它生命的尽头,它也在我学习Python路上一直陪伴着我,在2019年的时候,也靠它租到了一个1800/月的房子,所以说,沪漂小窝也是倾注了我的很多时间和精力。
最近有许多刚刚入行的同学,也可能是即将毕业想交一份毕业设计,来我问这个项目是否还能使用。如果没有上游数据供应商的话,那么这个“产业链”是无法跑通的。
踏破铁鞋无觅处,得来全不费功夫。从20年到现在,沪漂小窝也有一直断断续续在运行。所以目前在我的个人数据库中,已经超过了百万的数据。
我筛选了一下,从2021年6月至2022年3月的上海(上海创建的比较早,数据比较多)数据,一共有164122 条,虽然数据量不是超级多,至少做一个简单的爬虫学习,数据分析的学习完全够用。
这些数据虽然从时效性上看已经过期了,但是从学习角度上看,这不就是完美的数据素材吗!
所以呢,我就立马写了一个Api接口,绕过中间商,代理都省去了,直接拿到数据,供后面的学习使用。
由于提供Api服务的主机和数据库都是购买云服务,受限于成本,目前机器的性能也不高,所以目前Api接口不能免费提供,敬请见谅。
虽然付费接口,但是目的不是为了靠这个赚钱,主要是了合理分配资源,所以Api接口账号20元/个(就当请我喝个奶茶了,虽然现在还买不到),一共有2000次请求的额度,每次请求返回100条数据,一共可以获取20万条数据,就算是把数据库的内容全部拉下来是完全够用的。
沪漂小窝项目说明:
之前已经介绍的比较详细,详情请看下文,包含使用说明和源码地址
沪漂小窝数据接口Api说明
请求地址
https://hpapi.mlscoder.cn/data
请求方式
GET
请求参数
参数 | 必填 | 描述 | 范例 |
---|---|---|---|
username | 是 | 接口用户名,用于权限认证 | mlscoder |
page | 是 | 数据页数 | 10 |
返回结果
{
"code":"200",
"data":[
{
"createDate": "Sun, 30 May 2021 21:43:08 GMT",
"creator": "238117681",
"id": 1,
"text": "图片真实有效,无任何费用,另有8号线及延长线整租合租不同价位房源",
"title": "合租 8号线联航路地铁站200米,房东直租浦江世博家园九街坊,1600,无中介费。"
"url":"https://www.douban.com/group/topic/228418671/"
},
…]
}
数据说明:
返回是JSON格式的字符串,可以直接使用json包解析成对象供后续使用。data中包含100个对象,表示此次请求的结果。
字段含义如下:
数据接口Api账号获取
目前Api接口不提供开放注册.
沪漂小窝learn分支
为了配合上面的修改,特此在github上新增了learn分支(已经设置为默认分支),learn分支,代表为学习分支,不提供实时性的查询服务。
github地址:
https://github.com/mlscoder/hupiao
详细的使用说明,我已经写在项目的readme文档中,不在赘述,感兴趣的可以去阅读。learn分支的内容已经完全适配Api数据接口,且无需配置代理,节约费用,方便学习。
好了,今天就分享到这里,我是马拉松程序员,可不至于代码!