腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
在python中
使用
selenium或
scrapy
点击“
下一
步”按钮
python
、
selenium
、
web-scraping
、
scrapy
、
data-mining
我正在尝试
使用
scrapy
从flipkart.com中
抓取
一些数据。除了翻到
下一
页
,我什么都拿到了。首先,我尝试
使用
scrapy
,然后
使用
selenium。实际上,一个类有上一
页
和
下一
页
的两个链接。
使用
scrapy
:我无法获取任何结果。我得到的是空白输出。
使用
selenium:每当我尝试点击
下一
页
时,从第一
浏览 45
提问于2021-02-10
得票数 1
1
回答
如何
使用
selenium python自动分页?(无需手动选择next按钮)
python-3.x
、
selenium-webdriver
、
web-scraping
、
scrapy
、
python-requests
我正在
抓取
图像的网站列表,
使用
selenium webdriver+
scrapy
,但每个网站的
下一
步按钮都有不同的类/div名称,
如何
自动查找不同网站中的
下一
页
进行
抓取
?
浏览 11
提问于2020-06-20
得票数 0
1
回答
如何
报废网站上的所有页面(第1
页
直到无穷大)
python
、
xpath
、
web-scraping
、
css-selectors
、
scrapy
伙计们,我想从上
抓取
一切都好,我
抓取
它的成功from
scrapy
.loader import ItemLoader
浏览 1
提问于2016-07-25
得票数 0
回答已采纳
1
回答
如何
在
Scrapy
中有条件地重试和重新整理当前页面?
python
、
web-scraping
、
scrapy
我是
Scrapy
的新手,对Python也不是很熟悉。我已经设置了一个
抓取
器来从网站上
抓取
数据,但是虽然我
使用
的是代理,但如果同一个代理被
使用
太多次,那么我的请求就会显示一个页面,告诉我访问太多页面太快(HTTP状态代码200)。因为我的
抓取
器看到的是页面的状态代码为on,它找不到所需的数据并移动到
下一
页
。 我可以确定何时通过HtmlXPathSelector显示这些页面,但是我
如何
通知
Scrapy
重试该页面呢?
浏览 1
提问于2013-03-25
得票数 3
回答已采纳
1
回答
python
抓取
规则在google结果中进行网络
抓取
python
、
python-2.7
、
xpath
、
web-scraping
、
scrapy
我正在尝试让
scrapy
(1.0)遍历所有google结果,并且我可以毫不费力地
抓取
结果的第一
页
,但是我不能让
抓取
器遍历下面的页数(我认为这叫做遍历?)。我尝试
使用
“规则”:但我一直收到错误: NameError: name 'Rule' is no
浏览 2
提问于2015-07-11
得票数 0
1
回答
scrapy
中的动态start_urls
web-crawler
、
scrapy
我正在
使用
scrapy
在一个网站上
抓取
多个页面。变量start_urls用于定义要爬行的页面。我最初会从第一
页
开始,因此在文件example_spider.py中定义start_urls = [1st page] 在从第一
页
获得更多信息后,我将确定
下一
页
将被
抓取
,然后将相应地分配start_urls因此,我必须用对start_urls = [1st page, 2nd page, ..., Kth page]的更改覆盖上面的example_spider
浏览 1
提问于2012-01-10
得票数 12
回答已采纳
2
回答
我想通过属性来标识特定的urls,但是如果感兴趣的属性是外文字符呢?
xpath
、
encoding
、
scrapy
我想
使用
Scrapy
来递归地刮取数据--在
下一
个页面之后从一个页面中
抓取
数据。我的蜘蛛需要遵循“
下一
页
”按钮。原则上,response.xpath("a[@title = 'next page']")可以识别“
下一
页
”urls。然而,由于网站是中文(),我
使用
的选择器命令是response.xpath("a[@title = '
下一
页
浏览 7
提问于2015-10-18
得票数 0
回答已采纳
1
回答
如何
让
scrapy
遵循javascript生成的url?
python
、
selenium
、
web-crawler
、
scrapy
、
scrapy-spider
我想
抓取
这个网站的新闻:new.scut.edu.cn,但在它的子网站,如,右下角的
下一
页
(中文
下一
页
) url是由javascript生成的。
下一
页
的html源代码是<a name="_l_p_n" href="javascript:if(true){a_next('/s/22/t/4/p/69/c/7/i//li
浏览 6
提问于2015-06-07
得票数 2
3
回答
如何
在
抓取
网页时单击“
下一
步”按钮
python
、
web-scraping
、
scrapy
、
splash-screen
我正在用
scrapy
抓取
一个有多
页
信息的网页,我需要程序点击
下一
步按钮,然后
抓取
下一
页
,然后继续这样做,直到所有的页面都被
抓取
。但我想不出该怎么做,我只能把第一
页
刮掉。from
scrapy
_splash import SplashRequest class MySpider(Spider):
浏览 18
提问于2019-05-22
得票数 1
回答已采纳
2
回答
Scrapy
Page不重定向
python-3.x
、
web-scraping
、
scrapy-spider
我正在尝试
抓取
MercadoLibre的产品列表。我
使用
的是
Scrapy
1.5.0。当
Scrapy
尝试转到
下一
页
时,它会循环第一
页
和第二
页
。代码#
Scrapy
1.5.0 from
scrapy
.http import Request
浏览 10
提问于2018-10-11
得票数 0
2
回答
scrapy
-如果关注无限网站,则终止爬行
python
、
web-scraping
、
scrapy
、
scrapy-spider
>但是,如果我想像这样
使用
scrapy
抓取
这个页面并跟随链接,
scrapy
永远不会停止
抓取
。True), urls.append(response.url) 我可以
使用</em
浏览 9
提问于2018-10-29
得票数 3
1
回答
抓取
:网页
下一
步按钮
使用
WebForm_DoPostBackWithOptions()
python
、
asp.net
、
scrapy
我是个新手,正在尝试
抓取
href="javascript:WebForm_DoPostBackWithOptions(new WebForm_PostBackOptions
如何
使用
Scrapy
导航到
下一
页
并
抓取
数据。
浏览 3
提问于2020-08-12
得票数 1
1
回答
使用
Scrapy
对网站进行分页和获取价格
python
、
python-3.x
、
scrapy
我开始关注
Scrapy
,想要一个蜘蛛来获得MTG卡的一些价格。首先,我不知道我是否100%正确地
使用
了在函数开始时选择所有可用卡片的链接:allowed_domains = ['www.bazardebagda.com.brview=ecom/itens&tcg=1&txt_estoque=1&txt_limit=160&txt_order=1&txt_extras=all&page=1'] 1-我应该
使用</
浏览 0
提问于2019-12-07
得票数 0
2
回答
运行结果很差
scrapy
刚刚开始
使用
Scrapy
,我希望能在正确的方向上有所作为。我想从这里
抓取
数据: import
scrapy
name = 'sportstatsresults.append(result) print(result) 现在我需要转到
下一
个页面showDetails(&
浏览 2
提问于2016-05-12
得票数 0
1
回答
为什么我在运行
Scrapy
时得到空的“消息:”记录输出?
python
、
python-3.x
、
selenium
、
scrapy
、
web-crawler
:43:05
scrapy
.extensions.logstats信息:
抓取
381
页
( 140
页
/分钟),刮掉350项( 136项/分钟) 2017-08-25 13:44:05
scrapy
.extensions.logstats信息:爬行688
页
(每分钟307
页
),刮除659项( 309项/分) 2017-08-25 13:45:05
scrapy
.extensions.logstats信息:
抓取
99
浏览 2
提问于2017-08-25
得票数 0
1
回答
使用
Selenium和
Scrapy
通过onclick
抓取
显示的数据
python
、
selenium
、
scrapy
我
使用
Scrapy
用python编写了一个脚本,以便
使用
身份验证从网站上
抓取
数据。我正在
抓取
的页面真的很痛苦,因为主要是由javascript和AJAX请求组成的。页面的所有主体都放在允许
使用
submit按钮更改页面的<form>中。URL不会改变(而且是一个.aspx)。我已经成功地从第一
页
抓取
了所需的所有数据,然后
使用
以下代码更改了单击此输入按钮的页面: yield FormRequest.fr
浏览 38
提问于2019-02-21
得票数 0
2
回答
如何
在
Scrapy
Crawler中跟踪
下一
页
以
抓取
内容
python-2.7
、
scrapy
、
web-crawler
我能够从第一
页
抓取
所有的故事,我的问题是
如何
移动到
下一
页
,继续
抓取
故事和名字,请检查下面的代码。# -*- coding: utf-8 -*-from cancerstories.items import CancerstoriesItem name =
scrapy
.Field() story =
scrapy
.Fi
浏览 2
提问于2016-02-10
得票数 2
回答已采纳
1
回答
如何
使用
Scrapy
抓取
下一
页
python
、
scrapy
、
web-crawler
这是我的
抓取
代码,我不知道我错了,但是在只
抓取
第一个page.How中,我可以
抓取
和遍历页面吗?有没有其他方法可以
抓取
下一
页
?import
scrapy
allowed_domainif next_page_url: next_page_url = res
浏览 14
提问于2020-09-14
得票数 2
2
回答
Scrapy
crawler无法从多个页面爬行数据
python
、
web-scraping
、
scrapy
、
web-crawler
from
scrapy
.contrib.spiders import CrawlSpider, Rule from
scrapy
.selector import HtmlXPathSelector from+ 1 print url[0] print name[
浏览 1
提问于2013-06-01
得票数 1
2
回答
使用
python
scrapy
抓取
同一链接的
下一
页
python
、
selenium
、
scrapy
我想
抓取
链接的
下一
页
:https://www.thetoptens.com/animals/,
使用
scrapy
-selenium点击next按钮,但它
抓取
了链接的第一
页
。我也尝试过
使用
webdriver,但显示了相同的结果。
使用
scrapy
-selenium的代码: import
scrapy
from
scrapy
_selenium imp
浏览 35
提问于2020-12-17
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python爬虫:使用scrapy框架抓取360超清壁纸
码以致用02-用Scrapy 爬虫抓取简单心理咨询师资料
Scrapy框架的使用之Scrapy入门
6000 多款 App,看我如何搞定她们并将其洗白白
Scrapy 爬取分析酷安网 6000 款App
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券