腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
尝试使用
Scrapy
抓取
分页
链接时遇到问题
、
、
我正在尝试通过
获取
带有
分页
的属性网站上条目的标题来学习
Scrapy
。我无法从rules列表中定义的'Next‘页面
获取
条目。代码:from
scrapy
.selector import Selector 如果需要
浏览 0
提问于2016-07-14
得票数 0
1
回答
简陋的亚马逊
分页
前几页
目前,对于使用
Scrapy
的Amazon数据刮刀中的
分页
,我使用的是 next_page = response.xpath('//li[@class="a-last"]/a/@href').get()if next_page: yield
scrapy
.Request(url=n
浏览 13
提问于2021-08-30
得票数 1
回答已采纳
1
回答
如果下一步按钮不可用,如何进行
分页
、
我正在尝试使用
Scrapy
获取
数据,我面对的是这个表格,其中包含数字和字母用于
分页
。大概有116页。那么我怎么才能迭代到116。这是站点的URL。请看一下。谢谢。
浏览 10
提问于2020-10-24
得票数 0
回答已采纳
2
回答
不需要下一个链接的抓取解析
分页
、
、
我试图在没有下一个链接的情况下解析
分页
。response.xpath('//div[@class="pagination"]/ul/li/a/@href/following-sibling::a[1]/@href').extract() 有一个解析这个
分页
的好方法吗
浏览 2
提问于2020-08-04
得票数 1
回答已采纳
1
回答
使用curl抓取大页面
、
、
我正在尝试从一个流行的新闻网站上收集评论,以便使用curl进行学术研究。对于评论少于300条的文章,它可以很好地工作,但在此之后,它就会陷入困境。curl_setopt($handle, CURLOPT_RETURNTRANSFER, true);curl_close($handle);目前,这个页面运行良好:为什么它在拥有大量评
浏览 2
提问于2012-08-23
得票数 0
1
回答
如何在没有请求的情况下在
Scrapy
中让步?
、
我正在尝试用
Scrapy
2.4抓取已定义的URL列表,其中每个URL最多可以有5个我想要遵循的
分页
URL。', for url in self.start_urls: ) 解析起始URL: def parse(self, response): url = response.url + '&pn='+str(
浏览 15
提问于2020-12-23
得票数 0
1
回答
Scrapy
:如何
获取
分页
链接?
、
我尝试在这个site上
获取
分页
链接,但无济于事。if next_page is not None: yield
scrapy
.Request
浏览 24
提问于2020-06-08
得票数 0
2
回答
Scrapy
/ Python中的增量
分页
、
我遇到了与
Scrapy
的
分页
困难。div//div[4]//ul[1]//li[10]//a[1]//@href").extract_first() yield
scrapy
.Request因此,在捕获前5页之后,
Scrapy
跳到倒数第二个页面(526)。 而且它在数量上增加了。有人能帮我完成这个
浏览 2
提问于2019-02-15
得票数 3
回答已采纳
1
回答
我能用
Scrapy
提取这个XHR数据吗?
、
最终,只是尝试
获取
用户名,但是页面上还有其他<a href="">,但是如果我可以提取用户名,那就太好了,但是如果我必须
获取
所有的<a href="">,那就好了,我可以对它们进行排序,只
获取
@。只是想知道我能不能通过
scrapy
做这个?import
scrapy
name = "quotes" def start_requ
浏览 0
提问于2019-12-18
得票数 0
2
回答
Scrapy
:谁能告诉我为什么这段代码不能让我抓取后面的页面?
、
我是一个初学者,正在学习如何在Python中使用
Scrapy
进行网络抓取。有人能指出哪里出了问题吗?我的目标是抓取所有后续的页面。from indeed.items import IndeedItem name = "indnext_page_extension is not None:
浏览 27
提问于2021-04-25
得票数 3
1
回答
Scrapy
中的下一页爬行
、
、
我试图从网站
获取
一些数据,但我的蜘蛛没有爬行到下一页,即使在一个适当的
分页
链接。import
scrapy
name = "nspider" ).extract_first() # extracting next page link
浏览 16
提问于2021-03-25
得票数 0
回答已采纳
2
回答
刮擦
分页
在多个列表上失败
、
当我刮到一个特定的页面时,
分页
抓取是有效的,但是当我尝试用一次跳转
分页
刮掉所有的页面时,
分页
就不起作用了。# -*- coding: utf-8 -*-f
浏览 1
提问于2018-09-18
得票数 1
回答已采纳
1
回答
Scrapy
CrawlSpider下一页不工作
、
我想要从每张卡片中抓取所有项目,第一个规则工作正常,但第二个规则意味着
分页
规则不起作用。这是我的代码: import
scrapy
from
scrapy
.spiders import CrawlSpider
浏览 12
提问于2021-07-04
得票数 1
回答已采纳
1
回答
Python-使用
Scrapy
爬行网页并满足Javascript
、
、
、
我试图通过使用
Scrapy
在下面的链接下抓取页面。当我试图爬行下一页时,nc.mofcom.gov.cn/channel/qytc2017/list.shtml?
浏览 1
提问于2017-08-17
得票数 0
1
回答
Scrappy选择器上的Scrappy迭代
、
、
、
、
resp = json.loads(response.text) selector=
scrapy
.Selector(text=resp['results'], type="html") 而且它工作得很好,当我试图从页面
获取
属性时,我可以使用CSS或Xpath选择器来
获取
项 我现在要做的就是遍历选择器 for item in selector:items 但是当我应用这个循环时,我得到了TypeError TypeError: 'Selector' object i
浏览 10
提问于2020-12-16
得票数 1
1
回答
使用
scrapy
从facebook中抓取数据
、
、
、
因此,在抓取这个url之前,我通过
scrapy
登录,然后通过这个结果页面登录。但是,即使这个页面的http响应是200,它也不会丢弃任何数据。守则如下:from
scrapy
.spider import BaseSpiderfrom
scrapy
.selectorimport HtmlXPathSelector from
scrapy
.contrib.spiders import CrawlSpider, R
浏览 3
提问于2013-05-31
得票数 5
2
回答
如何从有刮痕的网站获得完整的新闻文章
、
我仍然在学习如何做网络抓取,我正在尝试刮一个网站,从一个索引页所有的文章,然后
获取
他们的信息,以及全文。有了下面的代码,我可以得到我需要的所有信息-日期,时间,类别,标题-除了整篇文章。下面是我到目前为止编写的代码: name = 'coalnews' start_urls
浏览 6
提问于2022-07-13
得票数 0
回答已采纳
1
回答
擦伤链接提取器忽略符号#后面的参数,因此不会跟随链接
我正试图抓取一个网站的刮痕,其中的
分页
是后面的标志"#“。这在某种程度上使刮刮忽略了字符后面的所有内容,并且总是只看到第一页。 如果您手动输入问号,网站将加载第1页。
浏览 2
提问于2019-01-06
得票数 0
回答已采纳
2
回答
使用
scrapy
递归地爬行站点
、
、
这是我到目前为止基于编写的代码(原始代码根本不工作,所以我尝试重新构建它)from
scrapy
.linkextractorsimport LinkExtractorfrom
scrapy
.selector importHtmlXPathSelector from nettuts.items impor
浏览 2
提问于2015-12-28
得票数 8
3
回答
获取
正确的
分页
的
Scrapy
Xpath
、
、
为了收集一些小数据,我已经收集了一段时间,但是我想获得一些额外的信息,但是我被一个
分页
卡住了。<li><a class="cursor" data-type="
js
" data-href="test"><i class="fa fa-chevron-right" aria-hidden="truemargin-bottom-20"> <div class="text-center"><u
浏览 0
提问于2018-08-07
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Scrapy尝试,获取斗图
Scrapy爬虫获取公开数据
纯前端js分页效果实现
使用scrapy和selenium实现动态网页的分页爬取
js 获取url大全
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券