首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >如何使用Scrapy抓取通过“查看更多”按钮加载的项目

如何使用Scrapy抓取通过“查看更多”按钮加载的项目
EN

Stack Overflow用户
提问于 2018-08-15 23:42:14
回答 1查看 2.6K关注 0票数 0

这是一个网站中查看更多按钮的检查。我可以抓取显示在网站上的数据,但我希望它能抓取隐藏在查看更多按钮后面的项目。我该怎么做?

代码语言:javascript
复制
 <div id="view-more" class="p20px pt10px">
                        <div id="view-more-loader" class="tac"></div>

                        <a href="javascript:void(0);" onclick="add_more_product_classified();$('#load_more_a_id').hide();" class="xxxxlarge ffrc lightbginfo gbiwb bdr darkbdrinfo p10px20px db w180px m0a tac" id="load_more_a_id" style="display: block;"><b class="icon-refresh xsmall mr5px"></b>View More Products..</a>
                        </div>

我的垃圾代码:

代码语言:javascript
复制
import scrapy




class DummymartSpider(scrapy.Spider):
    name = 'dummymart'
    allowed_domains = ['dummymart.net']
    start_urls =['https://www.dummymart.com/catalog/car-dvd-player_cid100001018.html']



    def parse(self, response):
            Product = response.xpath('//div[@class="attr"]/h2/a/@title').extract()
            Company =  response.xpath('//div[@class="supplier"]/p/a/@title').extract()
            Country =  response.xpath('//*[@class="location a-color-secondary"]/span/text()').extract()
            Category = response.xpath('//*[@class="attr category hide--mobile"]/span/a/text()').extract()

            for item in zip(Product,Company,Country,Category):
                scraped_info = {
                    'Product':item[0],
                    'Company': item[1],
                    'Country':item[2],
                    'Category':item[3]

                }
                yield scraped_info
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-08-16 04:56:53

对于这样的问题,通常的解决方案是:

  1. 在您的浏览器中启动开发人员工具
  2. 转到网络面板,以便您可以查看浏览器发出的请求;
  3. 单击页面中的“查看更多”按钮并检查浏览器提取数据的请求;
  4. 在您的爬行器上发出相同的请求。

This blog post可能会对您有所帮助。

票数 5
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/51861991

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档