腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Scrapy
请求
不
会被
解析
python
、
python-2.7
、
web-scraping
、
scrapy
我的所有
请求
都不
会被
解析
。不过,它已经被成功
解析
了。下面是我的代码: # -*- coding: utf-8 -*- name = 'two_players' 'https:/
浏览 8
提问于2019-03-10
得票数 0
1
回答
在
scrapy
.Request中添加dont_filter=True参数是如何使我的
解析
方法工作的?
web-scraping
、
scrapy
、
scrapy-spider
这是一个简单的抓取蜘蛛 name = "dmoz"但在
scrapy
文档和许多youtu
浏览 1
提问于2016-08-15
得票数 8
回答已采纳
1
回答
为什么我的粗糙
解析
器没有被调用?
python
、
scrapy
我正在使用
scrapy
爬行整个站点,但我的
解析
器永远不
会被
调用。我一直在看这件事,做些小小的改变,但不起作用。也许它只是需要一双新的眼睛。这是我的代码:from
scrapy
.spiders import CrawlSpider, Rule我在Ubuntu16.0
浏览 1
提问于2017-09-14
得票数 0
回答已采纳
1
回答
粗糙地传递
请求
python
、
scrapy
我之前使用了一些类似这样的代码来访问一个页面,并稍微修改一下url以生成第二个
请求
,该
请求
被传递给第二个
解析
方法: # yield为什么没有调
浏览 0
提问于2020-07-17
得票数 0
2
回答
如何使用Python刮取单个页面的多个部分?
python
、
scrapy
、
scrapy-spider
多重
请求
yield
scrapy
.Request(url=url, callback=
浏览 0
提问于2017-05-07
得票数 1
回答已采纳
1
回答
刮擦项产生重复值。
duplicates
、
scrapy
、
yield
shell,我可以手动迭代并获得正确的值,如下所示:from cbury_
scrapy
.items import DA r =
scrapy
.Selector""" Ru
浏览 1
提问于2016-05-05
得票数 0
回答已采纳
1
回答
Python
Scrapy
- Selenium -
请求
下一页
python
、
selenium
、
scrapy
我没主意了.from
scrapy
.http.request import Requestfrom selenium.webdriver.common.byTimeoutExceptionimport time class TechcrunchSpider(
scrapy
.Spiderelem.get_attribute("
浏览 2
提问于2017-06-14
得票数 1
1
回答
刮擦的start_request会不会屈服或退却?
python
、
scrapy
我有一个刮板,在调用http
请求
和
解析
之前,我想检查url。因为它是调用的输入arg: # url as input to system if url:从文档中,start_request函数必须返回可迭代的
请求
。如果url是None,则上述代码
不
返回任何项。这对刮痕不好吗?
浏览 1
提问于2022-10-31
得票数 0
1
回答
尽管get
请求
url不同,但
Scrapy
仍在抓取起始页
web-scraping
、
scrapy
、
scrapy-spider
我正在建立一个刮刀来刮不同的链接使用
scrapy
。
Scrapy
不断地从初始page.Although中抓取链接GET
请求
的urls是不同的,response.url总是相同的,这会导致相同的页面被抓取。我不认为有任何类型的重定向,因为在普通浏览器中链接不
会被
重定向。我还使用设置了随机DELAY_INTERVAL和轮换用户代理。下面是我的
解析
函数: scraped_data = response.xpath("*/
浏览 1
提问于2017-01-31
得票数 1
1
回答
抓取的递归爬虫问题
python
、
recursion
、
scrapy
我试图爬行viagogo.com我想爬行的每一个显示从页面:我能够得到第一页的显示,但当我试图移动下一页它就是
不
爬行!下面是我的代码:from
scrapy
.contrib.linkextractors importLinkExtractorfrom viagogo.items impo
浏览 1
提问于2014-12-13
得票数 0
1
回答
如果不对url进行编码,
Scrapy
不能跟随带有逗号的url
python-2.7
、
scrapy
我可以强制
scrapy
请求
一个包含逗号的网址,而不将其编码为%2C吗?我想要抓取的站点(phorum)不接受编码的URL并将我重定向到根目录。举个例子,我有一个网站要
解析
:example.phorum.com/read.php?12,8但每次尝试
请求
这个url时,我都
会被
重定向到带有主题列表的页面:在那些示例中,URL
浏览 0
提问于2014-08-12
得票数 0
2
回答
如何在div中获取文本
python
、
scrapy
看看这个网页: details = response.xpath('.//div[@class="detail"]/text()').extract()
浏览 1
提问于2019-07-25
得票数 1
1
回答
如何在抓取
解析
中传递元信息?
python
、
scrapy
我正试图使用
scrapy
parse调试我的蜘蛛,如中所述。 但是,我想调试的
解析
方法期望
请求
包含一些元信息( Request(url, meta={.....}) )。在使用
scrapy
parse命令时,如何指定
请求
应携带此信息?
浏览 5
提问于2015-02-10
得票数 0
回答已采纳
1
回答
Scrapy
/ Python -执行多个结果
python-3.x
、
scrapy
、
yield
在我的
解析
方法中,我想从我继承的SpiderClass中调用3个方法。首先,我希望
解析
XPaths,然后清理数据,然后将数据分配给一个item实例并将其移交给管道。我将用很少的代码尝试它,并询问原则:cleanData和assignProductValues永远不
会被
调用-为什么?(MyclassSpider, self).cleanData)然后我尝试了另一种方法:我不想对网站做
浏览 0
提问于2017-06-26
得票数 0
1
回答
按DFS顺序
不
爬行
python
、
multithreading
、
scrapy
、
depth-first-search
Scrapy
似乎在按BFS顺序爬行页面,尽管文档说默认情况下订单应该是DFS。这是我的蜘蛛from
scrapy
.http import FormRequest, Request “
解析
的URL:.”“
解析
DATA_AGAIN的URL:.” “
解析
DATA_AG
浏览 4
提问于2015-09-11
得票数 2
回答已采纳
2
回答
Scrapy
解析
JSON输出
python
、
json
、
scrapy
我正在使用
Scrapy
抓取一个网站。一些页面使用AJAX,所以我得到了AJAX
请求
来获取实际数据。到目前一切尚好。这些AJAX
请求
的输出是JSON输出。现在我想
解析
JSON,但是
Scrapy
只提供了HtmlXPathSelector。有没有人成功地将JSON输出转换成HTML,并能够用HtmlXPathSelector
解析
它? 非常感谢你提前
浏览 1
提问于2013-04-10
得票数 4
1
回答
使用
Scrapy
解析
网站时更改城市
scrapy
、
scrapy-spider
据我所知,
Scrapy
是异步工作的,
请求
是无序的。城市的变化通过像http://www.example.com/city/set/1这样的
请求
来实现。我的蜘蛛看起来像这样: name = &qu
浏览 2
提问于2016-10-16
得票数 0
3
回答
Scrapy
:对同一个URL运行多个嵌套搜索
python
、
scrapy
我对Python非常陌生,对
Scrapy
非常陌生。我正在尝试构建一个蜘蛛,它将转到给定的URL,并在该站点中运行多个嵌套搜索。在每个级别的脑膜下,我正在寻找目标类别,并发出一个
请求
,以获得该子类别,直到我到第3级时,我分析结果寻找一个特定的项目。 存储基本URL ->主页->电子->视频:
解析
结果寻找"d
浏览 2
提问于2014-02-26
得票数 1
2
回答
从网站中抓取、点击和分析数据需要哪些工具?
html
、
python-2.7
、
selenium
、
scrapy
虽然我的过程是使用
scrapy
获取数据,但我不确定如何导航页面并提供输入(例如登录凭据和按钮导航),这使我想要使用selenium(在工作中使用它,所以我对它相当满意),但我不确定这是否是最好的方法。
浏览 9
提问于2015-11-11
得票数 1
回答已采纳
1
回答
尝试在vscode调试控制台中执行
scrapy
FormResponse
python
、
debugging
、
visual-studio-code
、
scrapy
我正在尝试学习如何使用python
scrapy
,我想知道我是否可以从vscode调试控制台手动
请求
网站。从那里我可以向网站发出更多的
请求
,而不需要重新启动调试器。然而,当我使用
scrapy
时,我找不到一种方法来做同样的事情,因为
scrapy
请求
会被
产生/返回。我的
请求
示例: yield
scrapy
.Request(website, callback=self.parse_site}) 如果我尝试将
scrapy</
浏览 23
提问于2021-11-01
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
爬虫你可能都会用,但是背后的架构你真的懂了吗?
Python爬虫很简单,真正的这些隐藏的知识你都懂吗?
爬虫可能都会用,但是背后的架构你真的懂了吗?
scrapy抓取 高考派大学数据
scrapy官方文档提供的常见使用问题
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券