puppeteer爬取house365租房数据
很简单, 就是用css选择器扒
1. puppeteer安装依赖
1. 新建项目
$ mkdir house365
$ cd house365
$ npm init
$ npm install puppeteer --save2. 安装上的相关问题
- 网络问题 使用淘宝镜像
$ npm config set registry https://registry.npm.taobao.org
$ npm config set disturl https://npm.taobao.org/dist
$ npm config set puppeteer_download_host https://npm.taobao.org/mirrors- windows下node-gyp相关问题
$ npm install -g node-gyp
$ npm install --global --production windows-build-tools2. 观察
- 观察要爬的页面, 最简单的列表型, 我们爬每个的链接
- 看分页, 第二页开始一一对应
image.png
- 输入一个比较大的数字, 看看总页数
image.png
- 观察内容页, 这些都用选择器选就是了
image.png
3.开爬
具体代码: https://github.com/klren0312/puppeteer-study/tree/master/house365
4.结果
image.png
image.png
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录