问Scrapy - Javascript渲染
EN

Stack Overflow用户

提问于 2019-05-21 00:14:07

回答 1查看 55关注 0票数 0

我想从这里获取一些数据：

https://www.drivy.com/location-voiture/liege/mitsubishi-colt-359699?address=Gare+de+Li%C3%A8ge-Guillemins&city_display_name=&country_scope=BE&distance=200&end_date=2019-05-27&end_time=06%3A00&latitude=50.6251&longitude=5.5659&start_date=2019-05-26&start_time=06%3A00

我在找车主的身份证。此ID位于类car_owner_section的a属性中。对于上面的页面，它是href属性中的数字，如"/users/1228276“。问题是这个链接显然是由javascript呈现的，我绝对希望避免scrapy-splash。有谁知道怎么找到这个ID吗？我猜它应该在JSON上的某个地方，但我已经搜索了几天，什么也没有找到。

scrapy

回答 1

Stack Overflow用户

发布于 2019-05-21 09:00:57

我在scrapy shell上测试了它，响应返回了您正在寻找的链接，而没有使用splash。您可能需要检查您的设置。

USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:39.0) Gecko/20100101 Firefox/39.0'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/56224643

复制

相似问题

问Scrapy - Javascript渲染
EN

回答 1

Stack Overflow用户

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Scrapy - Javascript渲染EN

回答 1

Stack Overflow用户

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Scrapy - Javascript渲染
EN