Scrapy:如何获取页数？

文章/答案/技术大牛

发布

1回答

python、html、scrapy、css-selectors

我正在尝试获取此site上的页数，但什么都不起作用。

浏览 25提问于2020-06-16得票数 0

回答已采纳

1回答

Python-使用Scrapy爬行网页并满足Javascript

javascript、python、scrapy、web-crawler

我试图通过使用Scrapy在下面的链接下抓取页面。当我试图爬行下一页时，nc.mofcom.gov.cn/channel/qytc2017/list.shtml?

浏览 1提问于2017-08-17得票数 0

1回答

Web Scraper无法转到正确的页面

python、beautifulsoup、scrapy

所以我一直尝试去上获取标书清单。但是，读取的数据始终来自主页，即：。我用美汤和Scrapy试过了，什么都不起作用。有什么建议吗？当我卷曲第一个url时，它也会加载主页数据。代码：name = "quotes" def start_requests(self):ofcc.ohio.gov/Opportunities2#lt-126679-construction-bi

浏览 1提问于2018-07-02得票数 1

2回答

Scrapy -如何抓取网站并将数据存储在Microsoft SQL Server数据库中？

python、sql-server、scrapy、web-crawler

我已经在MSSQL Server中为Scrapy数据创建了一个表。我还设置了Scrapy并配置了Python来抓取和提取网页数据。我的问题是，如何将Scrapy抓取的数据导出到本地MSSQL Server数据库中？这是Scrapy用于提取数据的代码： name = "quotes" start_urls

浏览 1提问于2017-04-07得票数 2

2回答

AttributeError：“Response”对象没有python的“body_as_unicode”scrapy属性

python、web-scraping、scrapy、httpresponse

我正在处理scrapy中的响应，并不断收到这条消息。from scrapy.selecto

浏览 1提问于2015-07-27得票数 3

回答已采纳

1回答

我怎么才能在刮痕上恢复？

python、scrapy

这是我的密码class PvSpider(scrapy.Spider): allowed_domains = ['www.piaov.com'] yield scrapy.Requestresponse.meta.get("

浏览 0提问于2018-05-22得票数 0

回答已采纳

1回答

抓取解析网页，提取结果页，并下载图像。

python、image、search、web-scraping、scrapy

我听说Scrapy要快得多，所以我安装了它并阅读了大量教程，但是我不知道如何在爬行器脚本的parse函数中实现爬虫。如果我提供到搜索结果的第一页的链接，它应该：import scrapy # define the fields for yo

浏览 3提问于2020-05-17得票数 1

回答已采纳

2回答

浏览特定页数的文件

python、google-chrome、browser

到目前为止，我已经尝试先下载文件，然后使用Python检查页数。是否有一个高级的google搜索过滤器选项可以完成这一任务(可能是通过控制文件大小间接实现的？)，或者是另一个允许此选项的浏览器？

浏览 0提问于2018-11-18得票数 0

回答已采纳

3回答

python/scrapy问题:如何避免无尽的循环

python、loops、scrapy、web-crawler

我正在使用web抓取框架scrapy来对一些站点进行数据挖掘。我正在尝试使用CrawlSpider，页面上有一个“上一步”和“下一步”按钮。如何格式化规则，使其不会出现无限循环。

浏览 2提问于2011-07-14得票数 2

2回答

不需要下一个链接的抓取解析分页

parsing、scrapy、web-crawler

我试图在没有下一个链接的情况下解析分页。html是belove： <ul> <a href="//www.demopage.com/category_product_seo_name" class="page-1 ">1</a> <li> &l

浏览 2提问于2020-08-04得票数 1

回答已采纳

1回答

使用Scrapy+Selenium+PhantopJS丢失数据爬行数据

python、ajax、scrapy、web-crawler、scrapy-spider

我尝试从中抓取表数据，即AJAX pages.My代码如下： name = 'gov' driver.implicitly_wait(15) yield scrapy.Requestbreak

浏览 5提问于2017-10-02得票数 0

回答已采纳

2回答

使用scrapy从特定的亚马逊商店获取所有产品

web-scraping、scrapy、amazon

甚至在蜘蛛出现之前，就已经从粗糙的外壳(亚马逊上的一些随机商店)有301个响应代码

浏览 1提问于2016-10-09得票数 1

1回答

如何在python中使用selenium scrapy webdriver提取所有下一页数据

python、selenium、webdriver、scrapy

import scrapyfrom selenium import webdriver self.fun(url) 我正在尝试提取所有50页的详细信息..我的代码提取一页数据使用scrapy，但我想提取所有50页。谁能告诉我逻辑或回复我一些例子，以便我能理解

浏览 1提问于2015-08-18得票数 0

1回答

我正在编写一个爬虫从网站上获取项目的名称。该网站每页有25个项目和多个页面(某些项目类型为200个)。代码如下：from scrapy.selector import HtmlXPathSelectorfrom scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor from lonelyplanet.items import LonelyplanetI

浏览 3提问于2012-06-15得票数 3

1回答

抓取类链接直到产品页面

python-2.7、web-scraping、scrapy

` import scrapy#from scrapy.contrib.spidersimport CrawlSpider, Rulefrom koovs.items import product #from scrapy.contrib.linkextractors

浏览 1提问于2015-12-28得票数 1

1回答

python抓取规则在google结果中进行网络抓取

python、python-2.7、xpath、web-scraping、scrapy

我正在尝试让scrapy (1.0)遍历所有google结果，并且我可以毫不费力地抓取结果的第一页，但是我不能让抓取器遍历下面的页数(我认为这叫做遍历？)。我尝试使用“规则”： ...

浏览 2提问于2015-07-11得票数 0

1回答

增量分页值Scraping+Selenium

python、python-3.x、selenium、web-scraping、scrapy

我正在尝试使用Selenium+Scrapy来抓取一个以恐龙方式生成的网站。2.-提取完成后，搜索next按钮并获取href属性。from selenium.webdriver.support import expected_conditions as EC class IndeedSpiderSpider(scra

浏览 2提问于2022-03-27得票数 1

1回答

用刮擦刮多个页面

python、web-scraping、scrapy、scrapy-spider

我的代码是：from scrapy.selector import Selector yield item 我试着把所有的书页刮到最后.有时页数会比其他页数多，所以很难准确地说出页码的结尾位置

浏览 3提问于2014-05-27得票数 5

回答已采纳

1回答

(xPathHelp)刮伤不只是刮到下一页的第一页

python-3.x、web-scraping、xpath、scrapy、scrapy-shell

我一直在Scrapy shell环境中测试我的代码import scrapy class StarbucksSpider(scrapy.Spider): absoulute_next_page_url = response.urljoin(next_PageUrl) yield scrapy.Request

浏览 1提问于2021-01-14得票数 0

回答已采纳

2回答

使用aspose获取word文档中的页数。

java、aspose.words

如何使用Aspose获取word文档(.doc或.docx)中的页数？或者，不使用Aspose就可以在java中获取word文档中的页数。

浏览 2提问于2014-03-19得票数 1

回答已采纳

点击加载更多