如何从网站的多个无关部分刮取数据(使用Scrapy)
如何从网站的多个无关部分刮取数据(使用Scrapy)
提问于 2020-12-14 15:50:01
我做了一个抓取网络爬虫，可以刮亚马逊。它可以通过使用关键字列表搜索项目，并从结果页面中刮取数据。
然而，我想从Amazon那里获得大部分的产品数据。我没有用于查询项的首选关键字列表。相反，我想要平均刮网站和收集X个项目，这是代表所有产品在亚马逊上。
有谁知道如何以这种方式刮一个网站吗？谢谢。
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-12-15 21:57:11
我把我的评论作为回答，这样其他寻找类似解决方案的人就会发现更容易。
实现这一目标的一种方法是对每一类产品(家具、服装、技术、汽车等)进行检查。在那里收集一定数量的物品。Amazon有指向不同类别的导航链接的侧/顶栏，因此您可以让它在那里运行。
这一进程如下：
category
- Ensure
- 跟随来自初始Amazon.com解析
- 的类别urls使用不同的回调解析函数，该函数将刮除数据写入文件(可能是大量数据)的该Amazon.com中的许多项(
)
然而，这种办法在亚马逊产品总数中每一类别所占的比例上并不具有代表性。试着为每个类别寻找一个"X数的结果“标签来弥补这一点。祝你的项目好运！
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/65292028
复制相关文章
相似问题
腾讯云开发者
