保存一页数据，不转到第二页，不显示任何错误。import scrapy class QouteSpider(scrapy.Spider):
浏览 6提问于2019-11-02得票数 0
我有一个表格，其中只有10个数据显示在第一页，然后第11个数据到第二页。在使用selenium webdriver进行分页时，如何获取表数据。
浏览 5提问于2015-06-23得票数 1
我正在尝试使用scrapy从flipkart.com中抓取一些数据。除了翻到下一页，我什么都拿到了。首先，我尝试使用scrapy，然后使用selenium。使用scrapy:我无法获取任何结果。我得到的是空白输出。 使用selenium:每当我尝试点击下一页时，从第一页到第二页都可以正常工作。但是然后不是转到第三页，而是返回到第二页。
浏览 45提问于2021-02-10得票数 1
2回答
使用scrapy跟踪新闻链接
、、、、
我是新的爬行和刮伤，我试图从提取一些新闻，也只是与标签san-valentin匹配的新闻。
import scrapy
nameself, 'tag', None)
if tag is not No
浏览 1提问于2019-02-14得票数 0
回答已采纳
我想刮第一页，然后，对于该页上的每个链接，转到第二页，以提取项目的描述。当我运行下面的代码时，我得到：exception.TypeError: url必须是str或unicode，get list。这是我的代码：from scrapy.selector import Selectorfrom scrapy.item import Item,
浏览 7提问于2014-07-23得票数 1
回答已采纳
当我选中我的页面(1)上的复选框数据，然后通过分页(页面的底部按钮，如1234)转到下一页(2)，然后选中页面(2)上的数据。
当我返回到第(1)页时，它保持未选中状态，因为我没有选中任何内容！当从一页转到第二页时(第一页的复选框忘记他的值并取消选中)，当从第二页转到第一页之后，同样的事情也会发生。抱歉，我的英语又差又粗糙。有什么建议吗？
浏览 0提问于2012-11-27得票数 2
回答已采纳
1回答
刮擦-复制前2页并完成
、、、
我目前正在使用Python3.5的Scrapy来提取家得宝网站的SKU#和定价值。通过使用这些杂乱无章的教程文档，我成功地整理了一些东西，这些东西可以提取出正确的数据，然后继续到下一页。问题是，在Scrapy生成第二页的项目后，它会再次返回到第一页，然后在结束前重复。从本质上讲，它只是运行URL-1 -> URL2，-> Url 1，-> Url 2，->2，然后没有错误地完成。我使用的代码如下：
浏览 0提问于2017-03-30得票数 0
回答已采纳
1回答
我试图用scrapy废弃一些论坛，并将数据存储在数据库中。但是当涉及到更新数据库时，我不知道如何有效地做到这一点。我的问题是，当我再次删除同一个论坛时，比如说一周后，没有必要浏览所有的页面，因为新的帖子或任何有新帖子的帖子都会在其他不活跃的帖子上。转到第二页是没有意义的。因此，爬虫应该转到另一个论坛(forums.example.com/forum?id=2)。我尝试修改start_urls和规则，但似乎在爬虫运行后它们没有响应。有没有办法用scrap
浏览 1提问于2012-10-10得票数 1
在这里，我试图访问冷融合页面中的会话数据。您可以验证以下代码:A部分代码放在第一页，B部分代码放在第二页。当我通过打印会话数据从第一页转到第二页时，获得一个error.But，我可以访问第一页本身的会话数据。我是否在第二页中缺少访问会话数据所需的任何标记。有谁能帮我一下吗？
浏览 0提问于2017-10-15得票数 1
下面的代码(摘自一篇博文)可以很好地从第一页中删除数据。我添加了“规则”从第二页提取数据，但仍然只从第一页提取数据。# -*- coding: utf-8 -*-from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractorsproduct-profile-link"]/@hre
浏览 0提问于2016-08-10得票数 1
回答已采纳
第一页有一个表单，用于第二页并查询数据库。我知道这里应该使用POST方法(根据)，但是我想实现这个页面的GET方法，因为当用户在第二页时，他们会在那里选择他们的选项并转到第三页，但是当用户在第三页时，他们可能需要使用browser back按钮返回到第二页来更改一些值page=two“时，输入名称不会像将操作设置为"pagetwo.php”那样被提取并放入URL中(这将变成pagetwo.php?data=x)。我怎么才能绕过这个障碍？
浏览 5提问于2012-01-29得票数 0
回答已采纳
1回答
在点击第一页的一个按钮，我导航到第二页和ionViewDidLoad(第二页)，我调用数据服务和呈现在一个列表中的数据。接下来，当我通过单击顶部的“后退”按钮向后导航时，我会转到第一页。现在，如果我点击第一页的按钮，我导航到第二页。但是，在这种情况下，再次进行服务调用，这意味着再次触发ionViewDidLoad (这正是我希望避免的)。
如何保留第二视图的先前状态？
浏览 5提问于2017-01-11得票数 2
回答已采纳
我用scrapy编写了一个蜘蛛程序，用来从网站上提取数据。我有一个具有相似结构的html表的链接列表，到目前为止，这些链接的提取工作都很好。现在的问题是，这些表中的一些运行在多个页面上，即如果一个数据集超过30行，它就会被拆分。大多数表格只有一页，但有些表格要长得多，最多有70页。下一页是通过按下html表单形式的"next sheet“按钮来到达的。我希望爬行器去到每个表，从第一页提取数据，然后继续到第二页，第三页等，直到
浏览 1提问于2016-02-02得票数 2
1回答
如何从网站上抓取二级网页
、、、、
我想问你如何使用python + Beautiful soup或Scrapy来抓取网页，如果有2个级别的页面，一个简短的描述+一个到职位帖子完整细节的链接，那么它包含了例如招聘公告？我需要从招聘公告的标题中抓取数据，然后更深入地提取完整的描述，并将这些数据添加到数据库或文本文件中？问题是转到第二层，在那里完整的描述和获得完整的细节，包括图像链接，如果存在的话…有人这么做过吗？
浏览 0提问于2019-09-26得票数 1
1回答
我有一些关于模态对话的问题：2.我想在应用程序加载时显示模态对话框，在他按下按钮后显示到第二页.。
假设那是我的对话。
浏览 5提问于2017-05-05得票数 2
我定义的项目如下： # define the fields for your item here like: usage=scrapy.Field()title来自第一页，usage来自第二页，storage来自第三页。不，我试着从下面的网页中获取价值
def parse_item(self, response
浏览 12提问于2022-09-14得票数 -1
我需要从多个页面中抓取数据。首先，它应该从第一页抓取数据，然后从这个页面中提取一个url到第二页，并从中获取一些数据。
这是我的密码：import urlparseimpo
浏览 4提问于2017-03-25得票数 0
1回答
我试图使用Scrapy提取trying标记的值。<img src="https://media.rightmove.co.uk/map/_generate?53.803485&longitude=-1.561766&signature=rq2YsiaRQTXqZ2ilgvbFF3fdWfU=
当我查看从刮伤外壳返回的Chrome响应时，我可以看到我希望(通过开发人员工具)提取的数据，但是当我尝试用XPath<
浏览 6提问于2020-12-30得票数 0
回答已采纳
0回答
我以一种我认为对打印机友好的方式设置了它，但它似乎不想将一个大段落分成两页，只留下第一页上只有几个项目，页面底部有一个很大的空白点，然后第二页上有一个大段落。这是我的页面的一个简化版本(原始页面上的大量数据是通过php和mysql数据库等生成的)。
当您打印页面时，您可以看到“基本信息”部分跳转到第二页，而此时它应该被分成第一页和第二页。
浏览 9提问于2017-06-14得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
