如何抓取Scrapy教程中的“下一页”？
在Scrapy教程中，抓取"下一页"的方法如下：
- 首先，需要在Scrapy的Spider类中定义一个方法，用于解析每个页面的数据。在这个方法中，可以使用XPath或CSS选择器来定位并提取"下一页"的链接。
- 在定义这个方法时，需要注意使用回调函数来处理"下一页"的链接。可以将回调函数作为参数传递给Scrapy的Request对象的
callback参数。这样，在处理完当前页面的数据后，Scrapy会自动调用回调函数来处理"下一页"的链接。 - 在回调函数中，可以使用相同的方法来定位并提取"下一页"的链接。然后，可以使用
yield语句创建一个新的Request对象，将"下一页"的链接作为参数传递给它，并指定回调函数。这样，Scrapy就会继续抓取"下一页"的数据并重复这个过程，直到没有"下一页"为止。
下面是一个示例代码，演示如何抓取Scrapy教程中的"下一页"：
import scrapy
class MySpider(scrapy.Spider):
name = "myspider"
start_urls = ["http://example.com/page/1"]
def parse(self, response):
# 解析当前页面的数据
# ...
# 定位并提取"下一页"的链接
next_page_url = response.xpath("//a[text()='下一页']/@href").get()
if next_page_url:
# 创建新的Request对象，抓取"下一页"的数据
yield scrapy.Request(url=next_page_url, callback=self.parse)在这个示例中，我们使用XPath选择器定位到包含文本为"下一页"的链接，并提取其href属性。如果存在"下一页"的链接，就使用yield语句创建一个新的Request对象，并将"下一页"的链接和解析函数作为参数传递给它。
通过这样的方式，就可以在Scrapy教程中抓取每个页面的数据，并自动抓取并处理下一页的数据。
相关·内容
好的，所以我正在开发一个基于抓取的网络爬虫，它有一些简单的功能。机器人应该从一个页面转到另一个页面，解析然后下载。我已经让解析器工作了，下载也开始工作了。我不能让爬虫开始工作。我读过Spider类的文档，阅读了解析应该如何工作的文档。我已经尝试过回归和屈服，但我仍然无处可寻。我不知道我的代码哪里出错了。根据我编写的调试脚本，所发生的事情如下。代码会运行，它会很好地抓取第1页，它会得到到第二页的链接，它会转到第二页，然后它会很高兴地停留在第二页，而不是抓取第三页。我不知道代码中的错误在哪里，也不知道如何修改它来修复它。因此，任何帮助都将不胜感激。我相信这个错误是基本的，但我不知道发生了什么。
i
浏览 1提问于2016-01-29得票数 0
回答已采纳
我能够从第一页抓取所有的故事，我的问题是如何移动到下一页，继续抓取故事和名字，请检查下面的代码。
# -*- coding: utf-8 -*-
import scrapy
from cancerstories.items import CancerstoriesItem
class MyItem(scrapy.Item):
name = scrapy.Field()
story = scrapy.Field()
class MySpider(scrapy.Spider):
name = 'cancerstories'
allowed_doma
浏览 2提问于2016-02-10得票数 2
回答已采纳
1回答
我试图从一个网站的几个页面中抓取不同的信息。在第16页之前，一切正常:页面被抓取，抓取，我的数据库中的信息存储，但是在第16页之后，它停止抓取，但继续抓取。我查看了这个网站，有470多个页面提供了信息。HTML标签是一样的，所以我不明白为什么它会停止抓取。
Python：
def url_lister():
url_list = []
page_count = 1
while page_count < 480:
url = 'https://www.active.com/running?page=%s' %page_count
浏览 0提问于2018-01-24得票数 4
1回答
我的爬行器运行正常，我设法用例如这样的代码行来控制日志记录：
logging.info("MyCrawler构建的URL列表！“)
并输出消息到控制台。
根信息: MyCrawler构建的URL列表！
在运行蜘蛛时，我会收到以下许多消息：
2017-08-25 13:40:15 scrapy.extensions.logstats信息:爬行26页(2页/分钟)，刮0项(0项/分钟)消息：
消息：
消息：
消息：
消息：
消息：
消息：
消息：
2017-08-25 13:41:12 scrapy.extensions.logstats信息:爬行42页( 16页/分钟)
浏览 2提问于2017-08-25得票数 0
1回答
如何为monster.com创建一个抓取所有页面的爬虫。对于“下一页”链接，monster.com调用javascript函数，但scrapy不识别javascript。
下面是我的代码，它不适用于分页：
import scrapy
class MonsterComSpider(scrapy.Spider):
name = 'monster.com'
allowed_domains = ['www.monsterindia.com']
start_urls = ['http://www.monsterindia.com/da
浏览 3提问于2017-08-15得票数 0
回答已采纳
当我运行我的抓取器时，它从一个站点抓取大约200条记录，而这个站点包含大约250条记录。我找不出我在创建它时所犯的任何错误。任何帮助都将不胜感激。
"items.py“包括：
import scrapy
class WiseowlItem(scrapy.Item):
Name = scrapy.Field()
Url= scrapy.Field()
名为"wiseowlsp.py“的爬虫包括：
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextracto
浏览 2提问于2017-04-11得票数 0
是否可以使用Scrapy从数据列表中的所有数据记录中提取一些数据，因此对于列表视图页面的每个链接，它打开链接(详细信息页面)，选择想要的信息，返回列表视图，选择下面的第一个项目(链接)，对所有项目和所有页面执行相同的工作(例如100页，每页有10条记录)。也就是说，如果我选择分页
我有多个项目列表，爬虫需要进入每一个项目，打开详细信息视图
抓取需要的信息，然后回到第一页(从第一个附件)，转到另一个链接，并重复每一页的每一个项目的工作。我知道Scrapy可以很容易地从第一页抓取所需的数据，例如所有项目的价格和标题，但是否可以打开该项目，刮掉一些在详细信息页面中可见的信息，然后回来再为
浏览 7提问于2019-08-26得票数 0
我正在做一个练习项目，用刮擦器抓取动态加载的内容，但是我设法撞到了墙，不知道问题出在哪里。爬行器只是拒绝启动爬行过程，被卡在"Telnet控制台监听127.0.0.1:6023“部分上。
我设置了这个项目，因为它是在教程中推荐的。
这就是我的settings.py的相关部分(我也尝试使用其他设置来修复它，比如CONCURRENT_REQUESTS和COOKIES_ENABLED，但没有改变)。
import asyncio
from scrapy.utils.reactor import install_reactor
install_reactor('twisted.int
浏览 32提问于2022-11-24得票数 1
回答已采纳
我想使用Scrapy来递归地刮取数据--在下一个页面之后从一个页面中抓取数据。我的蜘蛛需要遵循“下一页”按钮。原则上，response.xpath("a[@title = 'next page']")可以识别“下一页”urls。然而，由于网站是中文()，我使用的选择器命令是response.xpath("a[@title = '下一页']")。下一页的意思是“下一页”这是行不通的，错误消息是"ValueError:所有字符串必须与XML兼容: Unicode或ASCII，没有空字节或控制字符“。该网站的编码为gbk。那么，
浏览 7提问于2015-10-18得票数 0
回答已采纳
1回答
我是网络抓取的新手，当我尝试用无限滚动抓取网站时，我遇到了一些问题。我看了一些其他的问题，但我找不到答案，所以我希望有人能在这里帮助我。
我在网站上工作。到目前为止，我有以下(非常基本的)代码，在那里我可以获得第一页上的每一篇文章(20个条目)。
def parse(self, response):
# collect all article links
news = response.xpath("//div[starts-with(@class,'newshead4')]//a//text()").extract()
浏览 0提问于2019-09-10得票数 0
1回答
我已经用python编写了一个web爬虫，使用了Beautiful，并请求为一个项目抓取图像，但是速度很慢。我听说Scrapy要快得多，所以我安装了它并阅读了大量教程，但是我不知道如何在爬行器脚本的parse函数中实现爬虫。
如果我提供到搜索结果的第一页的链接，它应该：
'id' 通过分析特定类的<a>标记来查找搜索结果中的页数，并根据特定类的<a>标记分析Get链接，并根据特定的从这些链接中下载图像。
我已经更新了项目和设置脚本，如下所示。你能给我的任何帮助都是非常感谢的。
items.py
import scrapy
class SampleIte
浏览 3提问于2020-05-17得票数 1
回答已采纳
2回答
我最近开始使用Scrapy。我正在尝试从一个被分成几页(大约50页)的大列表中收集一些信息。我可以很容易地从第一页中提取我想要的内容，包括start_urls列表中的第一页。但是，我不想将这50个页面的所有链接都添加到这个列表中。我需要一种更有活力的方式。有人知道我如何迭代地抓取网页吗？有谁有这样的例子吗？
谢谢!
浏览 7提问于2011-02-03得票数 1
class A1Spider(scrapy.Spider):
name = "amazon"
allowed_domains = ["www.amazon.com"]
start_urls = (
'http://www.amazon.com/s/ref=nb_sb_noss_1?url=search-alias%3Daps&field-keywords=golf+balls',
)
def __init__(self):
self.page = 0
def parse(self,
浏览 0提问于2016-06-01得票数 0
2回答
为刮伤设置页数限制
、、、
我正在抓取，您可以看到有体裁部分，我想作为一个csv返回到最初的18页，在显式体裁之前停止，，我怎么能这样做呢？这是我的密码
# -*- coding: utf-8 -*-
import scrapy
from scrapy.exceptions import CloseSpider
class Link(scrapy.Item):
link = scrapy.Field()
class LinkListsSpider(scrapy.Spider):
name = 'link_lists'
allowed_domains = ['ht
浏览 4提问于2022-05-14得票数 0
1回答
我正在尝试抓取#页的数据。我已经做了一个可以从一个页面抓取数据的抓取器。但它在刮掉第一页后突然完成了工作
具有解析功能和抓取功能的整个文件- Scraper.py
# -*- coding: utf-8 -*-
import scrapy
import csv
import os
from scrapy.selector import Selector
from scrapy import Request
class Proddduct(scrapy.Item):
price = scrapy.Field()
description = scrapy.Field()
浏览 11提问于2019-11-07得票数 1
对不起，我对Scrapy非常陌生，在寻找递归抓取和规则定义的资源时遇到了困难。我只是想刮起所有的工作列表在开始-url，以及跟随下一页链接，直到没有更多。我能够遵循一个教程和刮一页成功。然而，要实现CrawlSpider而不仅仅是页面，这是很棘手的。
代码：
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.lxmlhtml import LxmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
fr
浏览 2提问于2015-03-23得票数 0
回答已采纳
1回答
我试图更改这个中的页面来抓取信息。但是当我点击下一页时，它不会改变URL：
到目前为止我的代码是：
[...]
paging = response.css('span id.next::attr(href)').extract()
if paging:
yield scrapy.Request(paging, callback=self.parse_links)
我不知道怎么从这样的地方爬出来。请帮帮我，谢谢
浏览 0提问于2018-06-27得票数 0
回答已采纳
1回答
伙计们，我想从上抓取一切都好，我抓取它的成功
然后我在想，如果我想抓取所有的页面(第一页直到无限取决于数据库文章)会怎么样？
我刚开始使用python和scrapy，在此之前我使用的是java和c#...their两种语言它与python非常不同，但对我来说还可以。
这是我的消息来源
import datetime
import urlparse
import socket
import scrapy
from scrapy.loader.processors import MapCompose, Join
from scrapy.loader import ItemLoader
from s
浏览 1提问于2016-07-25得票数 0
回答已采纳
1回答
我的目标是从一个网站上抓取一个网址和标题的列表，作为一个更大项目的一部分--这就是促使我学习刮刮的原因。现在，使用basespider刮取给定日期的第一页(格式是/存档/日期/)可以正常工作。但是，尝试使用爬行器(一些教程之外的内容)来抓取给定日期的每个顺序页面是不起作用的，我不知道为什么。我试过很多解决办法。
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector impo
浏览 0提问于2014-01-09得票数 0
回答已采纳
我需要从多个页面中抓取数据。首先，它应该从第一页抓取数据，然后从这个页面中提取一个url到第二页，并从中获取一些数据。
所有人都应该在同一个csv行上。
这是第一页：
数据的示例是表e.g:catalog、模型、生产和系列的第一行。
这是第二页：示例的数据:系列，引擎，生产日期。
两者应该在同一个csv行上，就像屏幕截图一样：
这是我的密码：
import datetime
import urlparse
import socket
import scrapy
from scrapy.loader.processors import MapCompose, Join
from
浏览 4提问于2017-03-25得票数 0
我只需要作出剪贴画的请求，以请求网站的最后一页。 我不能创建一个转到最后一页的抓取请求。我已经尝试了下面的代码。 last_page = response.css('li.next a::attr(href)').get()
if next_page is None:
yield scrapy.Request(last_page, callback=self.parse) 预计爬虫会直接跳到最后一页，然后我将从那里进行一些操作
浏览 20提问于2019-09-10得票数 0
我正在抓取图像的网站列表，使用selenium webdriver+scrapy，但每个网站的下一步按钮都有不同的类/div名称，如何自动查找不同网站中的下一页进行抓取？
浏览 11提问于2020-06-20得票数 0
2回答
假设我有一个像这样的网页。
counter.php
if(isset($_GET['count'])){
$count = intval($_GET['count']);
$previous = $count - 1;
$next = $count + 1;
?>
<a href="?count=<?php echo $previous;?>">< Previous</a>
Current: <?php echo $count;?>
浏览 9提问于2018-10-29得票数 3
当涉及到抓取网站的话题时，我太天真了。到目前为止，我已经从预先生成的数据集中手动抓取或抓取数据。不过，我想解决一个分析问题，由于其规模，这个问题需要解决。因此，我决定尝试学习如何在python中刮刮。Scrapy是我被推荐使用的工具，所以这也是我将要使用的工具。 我正在尝试按照教程加载我的第一个Scrapy项目，但遇到了一个障碍。当我尝试在Spyder中输入启动项目的代码来启动新项目时： import scrapy
$scrapy startproject ProjectName 我在控制台中得到以下错误： import scrapy
scrapy startproject Project
浏览 13提问于2020-01-29得票数 0
目前，我正在抓取多个网站在一个去，需要抓取下一页的链接到下一页将从抓取的网站。所以需要连续地抓取每一页的下一页。请注意，每个页面的第二个页面具有相同的div内容。
Spider.py
class UstodaySpider(scrapy.Spider):
name = 'usatoday'
start_urls = ['https://en.wikipedia.org/wiki/India',
'https://en.wikipedia.org/wiki/USA
]
def parse(sel
浏览 1提问于2019-11-12得票数 0
回答已采纳
我正在尝试使用scrapy从flipkart.com中抓取一些数据。除了翻到下一页，我什么都拿到了。首先，我尝试使用scrapy，然后使用selenium。实际上，一个类有上一页和下一页的两个链接。 使用scrapy:我无法获取任何结果。我得到的是空白输出。 使用selenium:每当我尝试点击下一页时，从第一页到第二页都可以正常工作。但是然后不是转到第三页，而是返回到第二页。 有没有其他方法可以做到这一点？我应该如何区分上一页和下一页的URL？
浏览 45提问于2021-02-10得票数 1
1回答
我是一个全新的scrapy新手，正在根据文档/教程进行实验。我正在写一个简单的机器人，只是为了抓取黑客新闻，并最终想要提取只有一定数量的点的故事。我已经到了这样一个地步，我的循环只为第1页和第2页上的所有结果填充相同的故事标题/链接。我如何真正让它检查每个单独的故事，而不仅仅是每个页面上的第一个故事？代码如下：
import scrapy
class ArticlesSpider(scrapy.Spider):
name = 'articles'
start_urls = [
'https://news.ycombinator.com&
浏览 6提问于2021-05-19得票数 1
回答已采纳
我有一个scrapy sider，可以成功地登录到ancestry.com。然后，我使用经过身份验证的会话返回一个新链接，并可以成功地抓取新链接的第一页。当我尝试转到第二页时，出现问题。我收到一条302重定向调试消息，并且url：https://secure.ancestry.com/error/reqvalidation.aspx?aspxerrorpath=http%3a%2f%2fsearch.ancestry.com%2ferror%2fPageNotFound&msg=&ti=0>。 我遵循了文档，并按照这里的一些建议走到了这一步。每个页面都需要一个会话令牌吗
浏览 18提问于2019-05-02得票数 0
1回答
因此，我设置了一个与scrapy上的示例非常相似的爬虫。
我想让蜘蛛在进入下一页之前抓取所有的引文。我还希望它每秒只解析1个引号。因此，如果一页上有20个引文，则需要20秒来抓取这些引文，然后1秒才能转到下一页。
到目前为止，我目前的实现是在实际获得报价信息之前首先遍历每个页面。
import scrapy
class AuthorSpider(scrapy.Spider):
name = 'author'
start_urls = ['http://quotes.toscrape.com/']
def parse(self, response):
浏览 2提问于2017-01-19得票数 2
回答已采纳
我得到了一个抓取蜘蛛，它可以在终端上运行与教程文件夹中的scrapy crawl estate。
如何使用Dockerfile中的run命令cd到教程文件夹并运行它？
没有运行cd的我的Dockerfile：
FROM ubuntu:18.04
FROM python:3.6-onbuild
RUN apt-get update &&apt-get upgrade -y&& apt-get install python-pip -y
RUN pip install --upgrade pip
RUN pip install scrapy
WORKDIR /us
浏览 4提问于2018-08-02得票数 3
3回答
我一直在努力使用“下一页”按钮；抓取器设法单击下一页并转到它，然而，它一直转到第一页，并最终断开。我只想抓取接下来的所有页面(在本例中只有一页，但将来可能会有更多)。对于这里可能出现的问题有什么想法吗？代码如下： class DatatracSpider(scrapy.Spider):
name = 'data_trac'
start_urls = [
# FOR SALE
'https://www.milieuproperties.com/search-results.aspx?paramb=ADVANCE%20SE
浏览 14提问于2021-01-27得票数 1
回答已采纳
2回答
抓取下一页的抓取循环
、、、
你好，我正在尝试进入单词抓取器和爬虫，但是我不明白为什么我的代码不能转到下一页和循环。 import scrapy
from scrapy import*
import scrapy
from scrapy import*
class SpiderSpider(scrapy.Spider):
name = 'spider'
start_urls = ['https://www.thehousedirectory.com/category/interior-designers-architects/london-interior-desi
浏览 27提问于2021-03-31得票数 0
回答已采纳
1回答
不定域数
、、、、
我正在抓取一个网页，每一页上都会有不确定数量的相关元素，我计划把它们放在自己的桌子上。但是，如何动态地创建scrapy.Field()元素来处理这个问题呢？或者你不需要还是？
示例
为了简单起见，假设我是在刮随机人物的个人资料页。有些人有宠物，有些人没有，有些人有很多宠物，有些人只是养了一只。我该怎么处理呢？如何根据需要动态创建尽可能多的pet字段？
name = scrapy.Field()
age = scrapy.Field()
height = scrapy.Field()
pet = scrapy.Field()
# pet1 = scrapy.Field()
# pet2 = sc
浏览 0提问于2018-07-25得票数 0
我是python的新手，在跟踪urls时遇到了一些问题。我怀疑它可能与xpath规范有关，但是在做了几个关于这个主题的教程之后，我并没有进一步解决这个问题。它循环遍历引用表中的urls，并重复地从起始页抓取内容。我做错了什么？
所附代码：
import scrapy
from scrapy.selector import Selector
from scrapy.spiders import CrawlSpider
from scrapy.spiders import Rule
from scrapy.linkextractors import LinkExtractor
from scr
浏览 1提问于2017-09-11得票数 0
3回答
如何使用代理池
、、、
我正在使用Scrapy，并试图通过创建一个定制的DownloaderMiddleware来使用代理池。我遇到了一些麻烦，想在这里得到一些帮助(我查看了Scrapy网站的文档，但没有代码示例)
我的python代码是：
import random
class ProxyRotator(object):
proxy_pool = ['ip1...', 'ip2...', 'ip3...']
def process_request(self, request, spider):
request.meta['p
浏览 11提问于2016-02-17得票数 2
回答已采纳
我有一个从一个页面提取文章的功能，但我不能导航到下一页来抓取所有页面：
下面是我正在尝试的方法：
import scrapy
from scrapy.spiders import Rule
from scrapy.linkextractors import LinkExtractor
class MedicalSpider(scrapy.Spider):
name = 'medical'
# allowed_domains = ['https://blogs.webmd.com/diabetes/default.htm']
allow
浏览 6提问于2019-07-10得票数 1
我正在使用scrapy在一个网站上抓取多个页面。变量start_urls用于定义要爬行的页面。我最初会从第一页开始，因此在文件example_spider.py中定义start_urls = [1st page]
在从第一页获得更多信息后，我将确定下一页将被抓取，然后将相应地分配start_urls。因此，我必须用对start_urls = [1st page, 2nd page, ..., Kth page]的更改覆盖上面的example_spider.py，然后再次运行抓取。
这是最好的方法吗?或者有没有更好的方法来使用scrapy API动态分配start_urls，而不必覆盖examp
浏览 1提问于2012-01-10得票数 12
回答已采纳
1回答
我是一个抓取初学者，我想建立一个爬行工作与许多页在一个蜘蛛。
FYI:这是一个电子商务页面，工作应该一页一页地找到所有的产品.对于找到的每个产品，打开自己的URL来抓取该特定产品的数据。
守则应遵循以下规定：
使用URL打开页面(第1页)
发现所有产品
循环每个产品->遵循它的URL ->爬行数据
找到下一页
跟随下一页
这是我的密码
import scrapy
class QuotesSpider(scrapy.Spider):
name = "acfc_spider"
#List of URL
def st
浏览 2提问于2021-11-25得票数 0
回答已采纳
1回答
抓取pdf文件中的抓取数据
、、、、
我想知道如何使用scrapy抓取pdf文件中的数据。我应该使用哪个模块，哪种方法是最好和有效的？你能给我一些这方面的示例教程吗？
谢谢！！
浏览 2提问于2015-07-08得票数 4
1回答
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from manga.items import MangaItem
class MangaHere(BaseSpider):
name = "mangah"
allowed_domains = ["mangahere.com"]
start_urls = ["http://www.mangahere.com/seinen/"]
def parse(
浏览 0提问于2013-01-20得票数 3
回答已采纳
我是Scrapy的新手，对Python也不是很熟悉。我已经设置了一个抓取器来从网站上抓取数据，但是虽然我使用的是代理，但如果同一个代理被使用太多次，那么我的请求就会显示一个页面，告诉我访问太多页面太快(HTTP状态代码200)。
因为我的抓取器看到的是页面的状态代码为on，它找不到所需的数据并移动到下一页。
我可以确定何时通过HtmlXPathSelector显示这些页面，但是我如何通知Scrapy重试该页面呢？
浏览 1提问于2013-03-25得票数 3
回答已采纳
2回答
如何找出蜘蛛刮过的页数
、、、
我使用Python中的Scrapy从网站上抓取数据。
我成功地从网站上抓取数据，但我想知道我的蜘蛛刮了多少页。
刮擦的统计数据如下：
浏览 2提问于2017-05-23得票数 0
回答已采纳
1回答
#----\
#-----*-----\
#----/ \
\
#----\ \
#-----*-------- * <-- START
#----/ /
/
#----\ /
#-----*-----/
#----/
这是一个我想用scrapy处理的网站的结构，其中*是一个页面，-表示链接。我想抓取#页的数据。我已经做了一个可以从一个页面抓取数据的抓取器。
import scrapy
class MyItem(scrapy.Item):
topic
浏览 2提问于2017-03-07得票数 1
在我的网站上，我创建了两个简单的页面:这是他们的第一个html脚本：
test1.html：
<head>
<title>test1</title>
</head>
<body>
<a href="test2.html" onclick="javascript:return xt_click(this, "C", "1", "Product", "N");" indepth="true">
<span>
浏览 1提问于2014-07-25得票数 0
我发现的所有Scrapy示例都谈到了如何抓取单个页面，或者如何抓取多个级别的页面，当每个最深的页面被保存为一个独立的Item时。但我的情况有点复杂。
例如，网站结构是：
A (List page of books)
--> B (Book summary page)
----> C (Book review pages)
----> D (Book download pages)
因此，Item的定义如下所示：
class BookItem(scrapy.Item):
name = scrapy.Field()
type = scrapy.Field()
浏览 6提问于2021-07-30得票数 1
回答已采纳
我正在尝试删除以下页面的结果：
页面= 1,2,3,4 ...因此，根据结果。所以我得到了一个php文件来运行爬虫，对不同的页码运行它。代码(针对单个页面)如下所示：
`import sys
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtracto
浏览 1提问于2013-06-01得票数 1
1回答
我在迭代地为一个id抓取两页。第一个刮刀适用于所有id，而第二个只对一个id工作。
class MySpider(scrapy.Spider):
name = "scraper"
allowed_domains = ["example.com"]
start_urls = ['http://example.com/viewData']
def parse(self, response):
ids = ['1', '2', '3']
for id in ids:
浏览 2提问于2016-04-22得票数 0
回答已采纳
2回答
要刮除的站点有多个具有多个页面的项目，并且需要登录。我试过：
def start_request(self):
return [scrapy.FormRequest(, callback=self.logged_in)]
def logged_in(self, response):
with open(...) as f:
for url in f.readlines():
return scrapy.Request(url, callback=self.parse)
def parse(self, response):
..
浏览 6提问于2016-03-11得票数 1
我想抓取页面A，其中有一个值需要张贴到B页，并获得结果并将其附加到A页的数据中。
更具体地说，当用户点击蒙面文字时，电话号码就会显示出来。
在Scrapy中，如何在parse方法中启动另一个请求并将分析过的数据附加到主数据中？
浏览 1提问于2021-02-17得票数 1
回答已采纳
我是python的新手，从今年夏天开始断断续续地自学。我正在阅读scrapy教程，偶尔阅读更多关于html/xml的内容来帮助我理解scrapy。我自己的项目是模仿scrapy教程，以便抓取。我想得到一个线程标题的列表以及线程的网址，应该是简单的！
我的问题在于不理解xpath，我猜也不理解html。当查看gamefaqs站点的源代码时，我不确定要查找什么才能拉出链接和标题。我想说的是，只需查看锚点标记并抓取文本，但我对如何操作感到困惑。
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSele
浏览 1提问于2012-11-20得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
