腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

git

专栏作者

86

文章

79550

阅读量

14

订阅数

神箭手js爬取房天下--完整版

http xslt & xpath https 网络安全 php

一、列表页 var configs = { domains: ["fang.com"], scanUrls: [ "http://office.fang.com/shou/house/", "http://sh.office.fang.com/shou/house/", "http://tj.office.fang.com/shou/house/", "http://cq.office.fang.com/shou/house/", "http://hf.office.fang.com/shou/house/", "http://nb.office.fang.com/shou/house/", "http://hz.office.fang.com/shou/house/", "http://gz.office.fang.com/shou/house/", "http://sz.office.fang.com/shou/house/", "http://dg.office.fang.com/shou/house/", "http://nn.office.fang.com/shou/house/", "http://hn.office.fang.com/shou/house/", "http://zz.office.fang.com/shou/house/", "http://cd.office.fang.com/shou/house/", "http://wuhan.office.fang.com/shou/house/", "http://cs.office.fang.com/shou/house/", "http://sjz.office.fang.com/shou/house/", "http://xian.office.fang.com/shou/house/", "http://nanjing.office.fang.com/shou/house/", "http://suzhou.office.fang.com/shou/house/", "http://wuxi.office.fang.com/shou/house/", "http://cz.office.fang.com/shou/house/", "http://jn.office.fang.com/shou/house/", "http://qd.office.fang.com/shou/house/", "http://nc.office.fang.com/shou/house/", "http://changchun.office.fang.com/shou/house/", "http://dl.office.fang.com/shou/house/" ], // scanUrls: ["https://sh.office.fang.com/shou/house/"],

2019-12-20

5610

神箭手js爬取房天下

xslt & xpath https 网络安全数据库一体机 TData

/* 神箭手云_爬虫开发支持原生JavaScript 开发教程：http://docs.shenjian.io/develop/crawler/doc/concept/crawler.html */ var configs = { domains: ["fang.com"], // scanUrls: ["https://xinshikongguojigongyu.fang.com/office/xiangqing/"], scanUrls: [], contentUrlRegexes: [/https:\/\/.*/], //内容页url正则 helperUrlRegexes: [/https:\/\/.*/], //列表页url正则可留空 autoFindUrls: false, enableJS: true,

2019-12-20

2.3K0

爬取豆瓣电影排名前250部电影并且存入Mongo数据库

python xslt & xpath scrapy

需求：爬取豆瓣电影top250（https://movie.douban.com/top250）的电影数据：

2019-07-19

8460

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态