腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
xpath
用于
提取
特定
节
点中
的
所有
文本
,
并
使用
scrapy
将其
作为
一个
元素
返回
python
、
xpath
、
scrapy
<br></p> This is the second sentence</html> 我想从p节
点中
提取
文本
,
一个
节
点中
的
所有
文本
都应该
作为
一个
元素
返回
,我
使用
scrapy
shell,如下所示
浏览 17
提问于2019-01-23
得票数 0
回答已采纳
1
回答
如何从div中
提取
所有
文本
,包括来自
Scrapy
和Xpah同级
的
文本
?
xpath
、
scrapy
在
使用
scrapy
2.4从远程URL
提取
文本
时,我发现它只
返回
此div中
的
文本
,而不
返回
它
的
子节
点中
的
文本
。 例如。<div> <p>text inside child</p> more text </div>
浏览 16
提问于2020-12-26
得票数 0
回答已采纳
2
回答
XPath
:如何从
一个
XHTML节点收集多个
文本
片段?
java
、
xpath
、
xhtml
我试图
使用
XPath
从XHTML页面中
的
一个
节
点中
提取
文本
,但在收集给定节点下
的
所有
文本
时遇到了问题。问题是,节点(例如参见下面示例中
的
p
元素
)可以具有多个子节点(在示例中,例如"b“和"em")和散布
的
多个
文本
片段("aaaa”、"bbbb“和"cccc")。然而,我
浏览 3
提问于2015-02-24
得票数 1
1
回答
使用
CSS和
Scrapy
提取
所有
文本
,没有标记-失败
css
、
text
、
web-scraping
、
tags
、
scrapy
我看到了很多
Xpath
答案,但没有CSS答案。我已经成功地
提取
了我所需要
的
所有
文本
--但它完全被“包装”了?在标签,字体细节等。我是从网站
的
几个角色描述。我
使用
的
代码是从
Scrapy
教程中改编
的
--我想从站
点中
提取
每个角色
的
所有
与工作相关
的
文本
: f
浏览 3
提问于2017-10-31
得票数 0
回答已采纳
1
回答
Scrapy
/
XPATH
:如何仅从后代和自身中
提取
文本
xpath
、
scrapy
span> </span> </main> 我现在想从
所有
节
点中
提取
所有
文本
XPATH
,而是尝试
使用
Scrapy
中
的
几个步骤,例
浏览 16
提问于2019-02-25
得票数 0
回答已采纳
2
回答
用Python/
Scrapy
提取
h1中
的
p
python
、
html
、
scrapy
、
lxml
我正在
使用
Scrapy
从网站上
提取
一些有关音乐音乐会
的
数据。至少有
一个
我正在
使用
的
网站(根据W3C -
的
说法是错误
的
)-- h1
元素
中
的
p
元素
。不过,我需要在p
元素
中
提取
文本
,但无法知道如何
提取
。我已经阅读了文档,
并
查看了一些用法,但是对于
Scrapy
来说,它还是比较新<em
浏览 5
提问于2017-06-04
得票数 0
回答已采纳
2
回答
XPath
:获取带有或不带标记
的
情况下
的
底层
文本
xpath
、
scrapy
有办法将这两个
XPath
合并成
一个
吗?//li[@itemprop="worksFor"]/span/div/a/text()背景是,我希望在我
的
刮取中看到组织,但呈现
的
方式不同: (带有a标记)预期结果:标准保险
浏览 0
提问于2021-08-07
得票数 0
回答已采纳
1
回答
无法
使用
样式组件javascript刮除网站。
javascript
、
web-scraping
、
scrapy
、
styled-components
我
的
目标问题responseresponse.
xpath
浏览 4
提问于2020-12-15
得票数 0
回答已采纳
1
回答
Scrapy
没有找到Nokogiri找到
的
Xpath
ruby
、
xpath
、
scrapy
、
nokogiri
我最近在
一个
网站工作,需要从几家商店/网站抓取产品.我对python和
scrapy
有点陌生,因为它编写了原始代码,所以在测试爬虫和
Xpath
时,我
使用
Scrapy
并
打开另
一个
控制台
使用
nokogiri (Ruby )进行测试。在
特定
站
点中
,我未能
使用
scrapy
提取
某些内容,但我发现可以
使用
相同
的
xpath</
浏览 0
提问于2016-01-19
得票数 0
回答已采纳
5
回答
提取
文本
xpath
抓取
html
、
xpath
、
scrapy
大家好,我想用
scrapy
中
的
xpath
从html块中
提取
所有
文本
。假设我们有这样
一个
街区: <p>Blahblah</p> <p><a><span>Bliblih</span></a></
浏览 10
提问于2014-10-10
得票数 8
回答已采纳
1
回答
如何在网站刮刮中迭代
python
、
mongodb
、
scrapy
为了了解我想要实现
的
目标,我试图为我
的
网站构建
一个
文章刮板,我想在我
所有
的网页上迭代链接,
提取
元数据来确定它是否是一篇文章,如果是,将URL +相关数据存储在
一个
数据库(Mongo)中。我找到了
一个
,我想用它检索整篇文章。但我想我已经超过我自己了。 下面的代码是我
的
尝试,它工作,但不迭代。我想我需要
一个
for循环,但我不知道该怎么做。有人能给我指明正确
的
方向吗?from
scrapy
import
浏览 1
提问于2015-07-25
得票数 1
回答已采纳
1
回答
解析
使用
XPath
创建
的
响应
xpath
、
scrapy-shell
使用
Scrapy
,我想从
一个
HTML格式良好
的
站
点中
提取
一些数据。
使用
XPath
,我可以
提取
项目列表,但不能
使用
XPath
从列表中
的
元素
中
提取
额外数据
所有
的
XPath
都
使用
XPather进行了测试。我已经
使用
包含网页
的
本地文件测试了这个问题,同样
的
浏览 10
提问于2019-06-12
得票数 1
回答已采纳
1
回答
如何在
使用
xpath
选择器时刮取全部信息
python
、
web-scraping
、
xpath
、
scrapy
、
selector
我遇到了
一个
问题,在
使用
XPath
选择器时无法获得
所有
信息。该行处于开发人员模式。--</address>response.
xpath
('//*[@id="summary-section"]/div[1]/div[2]/div/div/div[2]/div[1]/a
浏览 4
提问于2022-06-25
得票数 0
回答已采纳
2
回答
Python -尝试
使用
Scrapy
从web抓取中获取URL (href
python
、
html
、
web-scraping
、
scrapy
我正在尝试
使用
web抓取从网页中获取URL或href,特别是
使用
Scrapy
。但是,当I response.
xpath
('
XPATH
').extract() href链接时,它
返回
一个
空列表。我尝试获取
的
特定
HTML
元素
href是:<a href="#2020-38970" class="redNoticeItem__labelLink" data-s
浏览 27
提问于2020-06-11
得票数 0
回答已采纳
1
回答
Web抓取-我不能
使用
for循环列出
元素
python
、
for-loop
、
web-scraping
、
scrapy
我目前正在建立
一个
网络刮板,我遇到了
一个
问题。当我尝试构建for循环,以便按公司对
所有
信息进行重新分组时,
提取
仍然将同一类型
的
所有
元素
显示在一起。当我意识到它不起作用时,我
返回
并
尝试只显示第
一个
元素
的
索引列表,但即使当我键入时,
所有
元素
都会显示给我,就好像没有进行任何
特定
选择一样 import
scrapy
f
浏览 4
提问于2019-06-27
得票数 0
1
回答
Scrapy
xpath
不工作--只与css-selector结合
使用
?
python
、
web-scraping
、
xpath
、
scrapy
、
css-selectors
我尝试
使用
scrapy
抓取以下站点,
并
尝试
使用
scrapy
shell - 这是基本
的
爬虫: import
scrapy
name
xpath
获得了
所有
相关
的
部分:(当我尝试len(tmpSEC)时,我得到了30,这对我来说似乎还可以) tmpSEC = response.
xpath
("/
浏览 58
提问于2021-11-16
得票数 1
回答已采纳
1
回答
硒+刮屑
javascript
、
python
、
selenium
、
scrapy
我正在尝试
使用
scrapy
和selenium,以便能够与javascript交互,并且仍然拥有
scrapy
提供
的
强大
的
刮取框架。我编写了
一个
访问
的
脚本,在搜索栏中输入“阿姆斯特丹”,然后成功地点击搜索按钮。单击搜索按钮后,我希望从新呈现
的
页面中
提取
一个
元素
。不幸
的
是,
scrapy
不
返回
任何值。这就是我
的
代码
的
样
浏览 4
提问于2017-01-10
得票数 2
回答已采纳
2
回答
刮除链接
提取
器不允许限制
文本
python
、
scrapy
from
scrapy
.linkextractors import LinkExtractor TypeError: __init__() got an unexpected keyword argument 'restrict_text' 我试图从谷歌搜索得到“下一步”网址,我想限制
提取
的
链接仅为“下一步”
文本
,我检查了,我应该做什么来
浏览 0
提问于2019-08-09
得票数 0
回答已采纳
1
回答
表-
xpath
帮助中
的
刮擦标记和嵌套标记
xpath
、
web-scraping
、
html-table
、
nested
、
scrapy
我刚开始刮擦,在从表格中
的
嵌套标记中
提取
文本
时遇到了一些困难。我似乎
使用
了基本
的
xpath
提取
,但是当我尝试
提取
每个项目时,我
的
尝试失败了。我
使用
extract()方法似乎会产生
一个
与unicode相关
的
错误? 我只想将下面的< TD >值
作为
一个
项
返回
。如果我在站点上
使用
提取
()
浏览 4
提问于2014-02-03
得票数 0
回答已采纳
1
回答
如何
使用
scrapy
获取href和相关信息?
python
、
xpath
、
scrapy
我学习了
scrapy
文档和
xpath
选择器。现在,我想把知识转化为做
一个
小项目。当我
使用
chrome developer工具打开上述页面
并
检查列出
的
作业时,我发现
所有
的作业都在这个ul中。href函数获取parse,然后
使用
response获取parse_details中
的
相关信息。正如我前面提到
的
,我在python方面有很好
的
编程技巧,但是,即使在有了这个
xpath
之后,我仍然很
浏览 8
提问于2016-12-15
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Scrapy向导
Scrapy框架的使用之Selector的用法
使用 Python 和 Scrapy 半小时爬了10 个在线商店的网页
爬虫框架Scrapy的第一个爬虫示例入门教程
Python数据科学实战系列之Web信息爬取
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券