腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Scrapy
xpath
无法
提取
python
、
xpath
、
scrapy
我正在尝试从link中
提取
数据,我使用
scrapy
shell "https://www.newegg.com/Product/Product.aspx?Item=06T-0045-00045" 我得到了正确的响应,但不能让
Xpath
工作,即用response.
xpath
('//li[@class="price-current"]')返回空的价格,我也尝试了response.
xpath
浏览 6
提问于2019-05-13
得票数 0
回答已采纳
2
回答
刮伤
xpath
不捕获标记
xpath
、
tags
、
scrapy
、
html-lists
在这种情况下,我想让
Scrapy
提取
出“圆形大小”。但事实证明,
Scrapy
无法
捕捉dl下的任何子节点。response.
xpath
('//[@id="termsheet"]/div/section[1]/div/dl/li[2]/dt/span').extract()
Xpath
表达式是从Chome inspect我在
Scrapy
中启用了A
浏览 7
提问于2016-06-06
得票数 0
回答已采纳
1
回答
我试图通过抓取和获取代码中的错误从网站的链接中
提取
数据
python-2.7
、
web-scraping
、
scrapy
我试图从一个网站的链接中
提取
数据。我要走的路是:-links import
scrapy
Profession =
scrapy
.Field() Die
浏览 1
提问于2017-05-08
得票数 0
回答已采纳
1
回答
scrapy
正则表达式找不到长破折号
python
、
regex
、
python-2.7
、
scrapy
我正在使用
scrapy
xpath
+ re从网页中
提取
数据。字符是unicode (俄语),并且所有要
提取
的字符串都包含长短划线(python代码'\u2014'),问题是我的正则表达式
无法
找到完整的字符串,并用长短划线将其拆分。对我来说真的很不方便。下面是我已经尝试过的一些例子,它们不起作用: response.
xpath
('some
xpath
goes here').re(r'[\w\s\\u2014\.,]+&
浏览 0
提问于2015-06-05
得票数 0
1
回答
创建循环以解析
scrapy
中的表数据
web-scraping
、
scrapy
我正在使用下面的
xpath
选择器//*[@id="employee-table"]/tbody/tr,但它不起作用。
浏览 2
提问于2017-04-21
得票数 1
1
回答
如何通过
xpath
获取元素
python
、
web-scraping
、
scrapy
我正在为网站设计一个使用python
scrapy
的刮板。 []
浏览 2
提问于2020-04-13
得票数 0
1
回答
而抓取获取错误实例方法没有属性'__getitem__‘
python
、
web-scraping
、
scrapy
、
web-crawler
、
scrapy-spider
我
无法
理解我得到的这个错误->实例方法没有属性getitem。我只是试着刮这个网站,以
提取
部门名称。import
scrapy
from
scrapy
.selector import Selectorfrom
scrapy
.contrib.linkextractors.sgml import SgmlLinkExtractor from urlparse import urlj
浏览 3
提问于2015-01-27
得票数 1
回答已采纳
2
回答
抓取抓取中的链接
python
、
scrapy
我试图建立一个广泛的连续爬虫,我能够
提取
链接,但我
无法
抓取他们和
提取
这些链接。该项目的最终目标是抓取.au域并将其根URL添加到数据库中。class Crawler (
scrapy
.Spider): rules = (Rule(LinkExtractor(allow='.com'), callback"http://quotes.toscrape.com/", d
浏览 0
提问于2020-06-10
得票数 0
回答已采纳
2
回答
在
Scrapy
中有没有比
XPath
选择器更好的选择?
jquery
、
xpath
、
web-scraping
、
scrapy
像title said一样,在
Scrapy
中有没有更好的
XPath
选择器,可以用来轻松地选择html中的数据?我发现
XPath
有很高的学习曲线,它的语法有点难以使用。我觉得如果jQuery选择器可以在
Scrapy
中使用或合并,它可以让生活变得更容易。
浏览 0
提问于2014-12-17
得票数 0
1
回答
刮伤不是爬过链接
python
、
web-scraping
、
scrapy
我是用链接
提取
器抓取链接,我使用的是正确的
XPath
表达式,但我不知道为什么它会无限大,打印某种源代码,而不是餐馆的名称和地址。我知道在我的限制
XPath
表达式中有一些错误,但是
无法
知道它是什么。代码:from
scrapy
.linkextractors import LinkExtractor ) def parse_
浏览 5
提问于2021-12-14
得票数 0
回答已采纳
1
回答
刮擦蜘蛛不跟随链接
python
、
scrapy
、
scrapy-spider
当我在
scrapy
shell http://www.nytimes.com中实例化链接
提取
器时,它成功地用le.extract_links(response)
提取
了一个文章urls列表,但是除了主页之外,我
无法
获得爬行命令(
scrapy
crawl nyt -o out.json)来抓取任何东西。from
scrapy
.contrib.spiders import Rule from
浏览 4
提问于2015-06-18
得票数 3
回答已采纳
2
回答
如何从网站上抓取所有的数据?
web-scraping
、
beautifulsoup
、
scrapy
有人能告诉我为什么要这样
提取
吗?我很感谢你的help.How,我可以正确地
提取
它吗?import
scrapy
title =
scrapy
.Field() Revenue2015 =
scrapy
.Field() Website =
scrapy<
浏览 45
提问于2017-05-13
得票数 1
回答已采纳
1
回答
条件URL抓取
python
、
xpath
、
scrapy
我试图在一个我不知道网址结构的网站上使用
Scrapy
。
scrapy
crawl dmoz>test.txtfrom
scrapy
.
浏览 5
提问于2016-07-27
得票数 1
1
回答
从在Chrome dev工具中工作的表中
提取
<a>标记,但不是在
scrapy
shell上
python-2.7
、
web-scraping
、
scrapy
、
scrapy-spider
我正在尝试
提取
论坛中所有帖子的标题()但是,相同的
xpath
在
scrapy
shell中不起作用。附件是chrome devtools的工作演示
浏览 2
提问于2018-02-21
得票数 0
3
回答
在
Scrapy
中,如何设置每个url的时间限制?
python
、
scrapy
我正在尝试抓取多个网站使用
Scrapy
链接
提取
器,并遵循为真(递归)。寻找一个解决方案,以设置时间限制爬行为每个网址在start_urls列表。谢谢 title =
scrapy
.Field()
浏览 39
提问于2016-07-28
得票数 1
2
回答
Scrapy
不接受爬虫中的日语字符
python
、
python-2.7
、
scrapy
"> <ruby>株式会社エリア・エステート 川崎店</ruby></td># -*- coding: utf-8 -*- name = "tes
浏览 0
提问于2017-07-10
得票数 0
1
回答
Scrapy
-
xpath
提取
程序返回空。
python-3.x
、
xpath
、
scrapy
我的目标是构建一个从的表中
提取
数据的刮板。import
scrapy
# overview details wallet =
scrapy
.Field
scrapy
.Item['wallet'] = sel.
xpath
('td[2]/a/text()').e
浏览 0
提问于2018-11-03
得票数 0
1
回答
从网站上抓取桌子时遇到的问题?
python
、
xpath
、
web-scraping
、
scrapy
、
scrapy-spider
我正在努力从这个网站中
提取
表格。虽然我匹配
xpath
并发现了表的字段,但我
无法
从站点中
提取
任何内容,这就是我的蜘蛛的样子:import
scrapy
name = "table1" 'wesite.com#/
浏览 1
提问于2016-10-27
得票数 1
回答已采纳
1
回答
如何检查来自
xpath
的url是否存在?
scrapy
我在
Scrapy
中有两个函数 def parse_attr(self, response): item= Item() item['Title'] = response.
xpath
('').extract()
浏览 8
提问于2019-02-07
得票数 0
回答已采纳
1
回答
如何用scrappy抓取整个网站,抓取python 3中每个网页的数据
python-3.x
、
web-scraping
、
scrapy
、
anaconda
我正在尝试爬行一个网站,并使用
scrapy
从python3中的每个网页中抓取一些数据。我已经通过提供url来抓取单个页面的数据,但现在我想要抓取每个页面的数据。我认为我遗漏了一些东西,因为我的代码
无法
抓取数据,因为它
无法
提取
数据。我已经尝试了下面的代码,但没有成功。我被困在这里了,所以请帮助我,我正在使用带有pycharm编译器的anaconda3from
scrapy
.crawler import CrawlerProcess from
scrapy
浏览 0
提问于2018-06-21
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Scrapy框架的使用之Selector的用法
爬虫CrawlSpider原理
Chrome下F12自带的Xpath及CSS提取验证功能
Scrapy向导
Python数据科学实战系列之Web信息爬取
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券