转载是一种动力 分享是一种美德
开源地址: https://github.com/AnyMarvel/LianjiaSpider https://gitee.com/dssljt/LianjiaSpider 欢迎吐槽,欢迎提交bug
1
1.常见的分析PC端HTML进行数据爬取(简单实现在售数据爬取,成交数据需要在移动端查看)
2.破解链家移动端签名密钥(破解过程稍后更新),使用客户端接口进行爬取(在售数据及成交数据爬取)
篇幅有限,文章中excle截图均为部分截图
2
3
爬取web界面在售内容 https://bj.lianjia.com/ershoufang/ 仅爬取在售内容(使用正则表达式进行内容匹配,进行结果输出)(常用爬虫方法,分析界面html进行内容获取,使用动态代理伪装客户端进行访问具体内容进参考代码)
python LianjiaSpider/spider/salingInfoSpider.py
使用代理服务器(开源地址):
https://raw.githubusercontent.com/fate0/proxylist/master/proxy.list
(工程内代理服务器内容可用于其他工程) 进行代理服务器设置,抓取到内容后进行相对目录excle目录内容存储,运行图如图所示: (输入页数为链家PC页面当前第几页内容)
爬取结果图如图所示(在相对salingInfoSpider.py目录生成LianJiaSpider.xls excle表格):
基于链家app:https://bj.lianjia.com/ 针对其签名校验进行破解
获取对应的json内容,进行自动爬取(仅做技术交流,请勿进行商业应用或其他侵权行为)
python LianjiaSpider/spider/zaishou/zaiShouSpider.py
设置爬取页数和一页多少数据
结果生成在同级目录中生成excle,如图所示:
成交数据爬取:
python LianjiaSpider/spider/zaishou/chengJiaoJiaSpider.py
修改全局设置,注销手动输入,或使用手动输入:
chengJiaoJiaSpider.py中可设置爬取页数,其实位置,从第0页开始,所以是-100开始
成交数据如图所示:
python LianjiaSpider/spider/Spider_Thread_Manager.py
执行的为在售和成交的自动爬虫运行逻辑 如有问题请留言,转载请注明
特别提示:仅做技术交流,请勿作为其他用途,谢谢配合
app签名密钥破解,爬虫基本基本实例会稍后更新,敬请关注