考虑到以后可能会在深圳工作,所以写了这个爬虫,希望对自己的找房过程提供一些便捷。
信息来源是豆瓣的深圳租房小组(想爬取其他城市只需要更换一下URL就好)。
你们一定会说这么麻烦干什么,租房APP不是直接看么?我也是这么想的。。。但是租房APP上中介比较多,豆瓣上多是个人房源,中介少,比较可靠。但豆瓣APP没有筛选功能,只是相当于百度贴吧一样的浏览界面。
所以我提供了价格筛选功能,目前设定的是2000/月。
我把它按标题,帖子链接,正文的顺序保存在txt文件下,便于分享。
以下是效果图↓
因为有些帖子的正文没有内容,所以是空行
代码↓
因为headers比较长所以我省略了一部分,比较遗憾的是不会操作PDF文件,不然就可以把图片也写进去。(中间因为请求太频繁豆瓣还把我的账号锁定了0.0)