腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
css
时
,
Scrapy
返
回空
列表
scrapy
color=001 我对爬行器的代码是: def parse(self, response): description = response.
css
("div._26GPU").
css
("div::text").extract() yield items 我也尝试过
scrapy
shell,返回的页面是空白的。我也在
使用</e
浏览 23
提问于2020-05-02
得票数 0
1
回答
response.
css
Scrapy
命令即使存在对象,也不返回任何结果(python)
python
、
css
、
scrapy
、
web-crawler
、
spyder
我想要的网址是这个:
CSS
对象示例:我正在运行以下命令: >
scrapy</em
浏览 2
提问于2022-10-02
得票数 0
回答已采纳
2
回答
如何获得与
Scrapy
一起
使用
的正确选择器(
CSS
/XPath)?
css
、
xpath
、
scrapy
、
selector
、
screen-scraping
我想从这个网站上抓取信息: (全国驾驶学校
列表
),在地图上映射邮政编码和公司名称(我已经从邮政编码映射到坐标),以找到学校聚集区。最佳结果将是一个选择器,它提取710家公司()的所有相关信息。我已经尝试复制了想要的表()的
CSS
"selector“和,但是在
Scrapy
中运行
CSS
选择器/ XPath
时
,它什么也不返回。复制的
CSS
选择器示例,该选择器在
Scrapy
shell中运行时不提供任何信息: In(1):response.
css<
浏览 2
提问于2020-04-04
得票数 0
回答已采纳
2
回答
获取
scrapy
格式的文本(不带标签)的值
xpath
、
scrapy
我正在尝试获取文本的值(没有<p>、<a>等标签)通过此链接 item=response.xpath("//div[@class='Normal']/text()").extract()item=response.
css
('arttextxml *::text').extract() 问题是,当我在
Scrapy
Shell中<
浏览 13
提问于2019-08-03
得票数 0
回答已采纳
1
回答
Response.
css
在
使用
Scrapy
库通过API获取数据
时
返
回空
列表
python
、
css
、
web-scraping
、
scrapy
、
response
scrapy
shell 'https://www.samsung.com/in/smartphones/galaxy-m/' response.
浏览 2
提问于2021-09-15
得票数 0
回答已采纳
2
回答
刮痕!如何在类之前刮掉包含此_ngcontent的div?
web-scraping
、
scrapy
假设div包含一个产品的名称:在
使用
response.
css
('div.shelfProductTile-content')返
回空
列表
时
,如何克服这个问题?Edit:声称
Scrapy
无法获得像AngularJs和react这样的Javascript web内容,因此建议
使用
Splash或S
浏览 5
提问于2022-03-31
得票数 -2
回答已采纳
2
回答
抓取RSS:
Scrapy
没有返回数据
scrapy
我在Chrome中以交互方式检查xpath,并
使用
“in”进行检查,这似乎还可以。import
scrapy
name = "bbc" allowed_domains = ["feeds.bbci.co.uk
浏览 1
提问于2019-11-12
得票数 0
回答已采纳
1
回答
从CNN主页抓取标题
时
的Xpath语法
xpath
、
web-scraping
、
scrapy
我试着用刮
scrapy
。 我
使用
了以下xpath选择器,但它们都返
回空
列表
。我用
Scrapy
。
浏览 2
提问于2019-12-29
得票数 0
回答已采纳
2
回答
使用
scrapy
从javascript html标记访问json数据的regex。
python
、
web-scraping
、
scrapy
、
scrapy-shell
我刚开始学习自动取款机( atm ),我正在尝试访问页面html上的JSON数据,并将它们放入python中,然后再
使用
数据,所以我尝试了一些失败的东西,如果有人能帮助我的话,我会很感激的。我找到了所需标记的response.
css
,其结果在
scrapy
中如下所示: '<script type="div.rich-snippet script').re(r'\{[^
浏览 13
提问于2021-10-10
得票数 0
回答已采纳
1
回答
无法在
scrapy
中
使用
列表
理解获取某些链接
python
、
python-3.x
、
web-scraping
、
scrapy
我在python中
使用
scrapy
编写了一个脚本,在向某个url发出post请求后从响应中获取链接。当我尝试
使用
下面的脚本
时
,链接就完美地通过了。Working one:from
scrapy
.crawler import CrawlerProcess 'USER_AGENT': 'Mozilla/5.0'
浏览 0
提问于2019-03-08
得票数 0
回答已采纳
1
回答
Scrapy
CSV格式不正确
python
、
csv
、
scrapy
我是
scrapy
包的新手,我的问题是: name = "simple_spider"start_urls = ['http://quotes.toscrape.com/login'] token = response.
css
self.parse_logged)
浏览 22
提问于2020-03-09
得票数 0
1
回答
将数据导出到csv
时
,我的输出可能由于制表符和空格的原因而混乱
python
、
web-scraping
、
scrapy
/www.stagiaire.com/offres-stages.html/'] url = i.
css
('.titleads::attr(href)'
浏览 2
提问于2016-08-23
得票数 1
2
回答
Scrapy
Page不重定向
python-3.x
、
web-scraping
、
scrapy-spider
我正在尝试抓取MercadoLibre的产品
列表
。我
使用
的是
Scrapy
1.5.0。当
Scrapy
尝试转到下一页
时
,它会循环第一页和第二页。代码#
Scrapy
1.5.0 from
scrapy
.http import Request class MercadoLibreSpiderlistado.mercadolibre.com.ar/microondas#D[A:microo
浏览 10
提问于2018-10-11
得票数 0
2
回答
当我按
CSS
类过滤
时
,为什么
scrapy
和beautifulsoup都不返回任何内容?
python
、
html
、
web-scraping
、
beautifulsoup
、
scrapy
我正在构建一个网络爬虫作为我实习的一部分,当我通过某些属性过滤
时
,我找不到我得到空
列表
的原因。我正在尝试抓取会议的名称、日期和地点。 我试过几种不同的方法,都得到了相同的结果。你可以在下面看到我尝试过的所有不同的方法: class AACRSpider(
scrapy
.Spider): allowed_domains = ['aacr.orgdef parse(self, response): soup = BeautifulSoup(response.
浏览 24
提问于2019-06-08
得票数 2
回答已采纳
2
回答
Scrapy
在Xpath或
Css
中找不到文本
css
、
python-3.x
、
xpath
、
web-scraping
、
scrapy
from
scrapy
.selector import Selector hxs = Selector(
浏览 11
提问于2018-02-13
得票数 0
1
回答
Scrapy
Flight搜索
python
、
web-crawler
、
scrapy
我正在尝试
使用
Python中的
Scrapy
在一些航班上运行航班搜索,然后将其导出为csv。这只是为了好玩,因为我对
Scrapy
有了更多的了解。这是我所拥有的 from
scrapy
.http import FormRequest print response.stat
浏览 1
提问于2015-04-17
得票数 0
2
回答
在google搜索中选择第一个链接
python
、
html
、
web-scraping
、
scrapy
当我检查网站(谷歌搜索)
时
,我可以通过查找器搜索这个//div[@class="r"]/a/@href来选择我想要的href。但当
使用
scrapy
并通过response.xpath('//div[@class="r"]/a/@href'访问
时
),这将返
回空
。许多其他的Xpath,比如链接标题,结果也是空的。奇怪的是,我在
使用
response.xpat
浏览 15
提问于2019-03-16
得票数 0
回答已采纳
1
回答
无法抓取图像URL(
Scrapy
)
python
、
mongodb
、
scrapy
我正在尝试
使用
Scrapy
来刮取数据。除Product外,所有部件数据都将被提取。当试图提取Image
时
,它返回一个空字符串
列表
,如下所示工程代码import
scrapy
brand = product.
css
("._2WkVRV::text").extract() original_price = p
浏览 1
提问于2021-02-26
得票数 0
2
回答
Scrapy
-Redis中的Dupefilter没有按预期工作。
python
、
redis
、
scrapy
我感兴趣的是
使用
来存储在Redis中刮过的物品。特别是,似乎是一个有用的特性。我在命令行
使用
scrapy
startproject tutorial生成项目,并在items.py中将QuoteItem定义为 text =
scrapy
.Field() tags =
scrapy
.Field()
浏览 25
提问于2017-05-04
得票数 1
回答已采纳
1
回答
使用
CSS
提取数据并将所有内容导出到一个单元格中。
python
、
excel
、
csv
、
scrapy
class HomedepotSpiderItem(
scrapy
.Item): productName =
scrapy
.Field()productSKU =
scrapy
.Field() #prodcutNumRating =
scrapy
.Field() 我的问题 我正在和
Scrapy
一起练习,我用
CSS
从家得宝的网
浏览 1
提问于2020-02-08
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Scrapy框架的使用之Selector的用法
Scrapy向导
Scrapy框架的使用之Scrapy入门
高级爬虫:Scrapy爬虫框架初探
Python数据科学实战系列之Web信息爬取
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券