腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
Scrapy
中
获取
选择器
的
子项
python
、
web-scraping
、
scrapy
、
css-selectors
我有一个
选择器
,它是通过过滤
选择器
列表得到
的
。现在我需要
获取
这个
选择器
的
子对象。
获取
选择器
列表
的
代码为 results = response.css('font::text, b::text, p::text, span::text').getall() if 'some_charecters' in r.root:
浏览 22
提问于2021-01-10
得票数 0
1
回答
确保项目数据打印
在
单独
的
行上
python
、
csv
、
scrapy
、
pipeline
我使用
Scrapy
从网站
的
第一页抓取信息,并将数据导出为.csv文件,如下所示:我想要获得form
的
输出: 'Link': [u'url'],{...........但相反,我
在
一个{}
浏览 1
提问于2015-10-19
得票数 0
1
回答
无法使用样式组件javascript刮除网站。
javascript
、
web-scraping
、
scrapy
、
styled-components
我
的
目标问题responseresponse.xpath('//h1/p')<e
浏览 4
提问于2020-12-15
得票数 0
回答已采纳
1
回答
无法
在
scrapy
中使用css
选择器
抓取下一个同级
python
、
python-3.x
、
web-scraping
、
scrapy
、
css-selectors
我正在尝试
获取
预算使用
scrapy
实现它
的
css
选择器
。当我使用xpath时,我可以得到它,但是对于css
选择器
,我就迷路了。我甚至可以
在
使用<code>D0</code>
的
情况下使用BeautifulSoup
获取
内容。我已经尝试过了:我使用css
选择器
得到
的
输出: <code>A2</c
浏览 16
提问于2020-08-06
得票数 0
1
回答
使用XPATH刮取属性值?
python
、
xpath
、
web-scraping
、
scrapy
49e7a93da461352c04b8e7146a8d2ceel-m0xd-w480_h480_q80.jpg" />html路径如下: <li> <a></a>from
scrapy
.spider import BaseSpider from
scrapy
.selec
浏览 2
提问于2017-06-25
得票数 1
回答已采纳
10
回答
如何选择元素
中
除最后一个
子项
以外
的
所有
子项
?
css-selectors
、
css
如何使用CSS3
选择器
选择除最后一个
子项
之外
的
所有
子项
? 例如,若要仅
获取
最后一个
子项
,则应为div:nth-last-child(1)。
浏览 4
提问于2010-04-04
得票数 452
回答已采纳
1
回答
Scrapy
:如何在不重新下载html
的
情况下重现结果?
python
、
web-scraping
、
scrapy
、
reproducible-research
在
使用
Scrapy
将HTML下载到我
的
硬盘后(例如,使用带有字段HTML
的
内置项目导出器,或者将所有HTML文件存储到一个文件夹
中
),我如何使用
Scrapy
再次从硬盘读取数据并执行管道
中
的
下一步?有没有类似于项目导入器
的
东西?
浏览 10
提问于2017-06-20
得票数 0
2
回答
Scrapy
:如何在
scrapy
/wget已经下载
的
文件上使用XPath
选择器
?
python
、
scrapy
我
的
项目涉及解析已经通过
Scrapy
或wget下载
的
文件。我知道我可以使用XPath
选择器
,但是到目前为止,我看到
的
示例涉及到
在
Scrapy
的
解析方法
中
调用XPath
选择器
,因此只对
Scrapy
下载
的
文件起作用。有没有一种方法可以直接对下载
的
文件使用XPath?我是Python和
Scrapy
的
新手,所以我找不到
在</em
浏览 2
提问于2013-01-13
得票数 0
1
回答
如何在Spyder或VScode中使用
Scrapy
beautifulsoup
、
scrapy
我想在Spyder中使用
Scrapy
,而不是通过终端/shell使用它。我是一个windows用户,
Scrapy
版本1.8.0,pyhton 3.7.3,我正面临着BeautifulSoup
的
问题。例如,我试图从一个网站
获取
一个产品
的
价格,问题是它并不总是得到数据,但
Scrapy
在这里通过使用CSS
选择器
工作得很好。所以我想将
Scrapy
与Spyder或Vscode一起使用,因为我还有其他依赖于
Scrapy
输出
的</
浏览 69
提问于2019-12-14
得票数 0
回答已采纳
1
回答
为什么我不能通过response.css
获取
所有的图片链接?
python
、
web-scraping
、
scrapy
我正在尝试提取图像
的
所有链接,但我只能提取每个属性页上
的
主图片,使用 def parse(self, response): link = prop.css(
浏览 17
提问于2019-08-07
得票数 0
回答已采纳
2
回答
为什么我不能在
Scrapy
中
解析响应?
scrapy
我是新
的
抓取和使用它从拉扎达网站刮数据。我得到了200条HTTP消息,这意味着响应将成功返回。但是我不能解析响应,尽管xpath查询是正确
的
。有谁可以帮我?谢谢。这是代码:name = 'lazada' all_products = response.xpath('//
浏览 19
提问于2020-10-28
得票数 0
3
回答
jquery .find()函数替代?
jquery
、
performance
、
find
.find()函数
在
IE 7及更低版本
中
运行非常慢,经常导致挂起。下面是代码片段。
浏览 1
提问于2012-07-10
得票数 3
2
回答
Scrapy
:如何从<span>中提取属性值
scrapy
查看Twitter: www.twitter.com/twitter<span class="ProfileNav-value" data-count="57939946" data-is-compact="true">57.9M</span>(//u
浏览 0
提问于2018-10-18
得票数 1
回答已采纳
1
回答
Selenium,
Scrapy
迭代(单击下一步)仅从第一页提取项目的href
python
、
selenium-webdriver
、
scrapy
我尝试提取每一项
的
href (每页六个)。要转到下一页,我使用next_click()。Selenium webdriver将打开并单击所有页面(到目前为止还不错)。但只提取第一页
中
的
项。看起来,它识别了正确
的
条目数量,但只重新提取了第一页
的
条目。注意:如果您单击下一页,url将保持不变。非常感谢你
的
帮助!import
scrapy
import time from
scrapy
.linkextrac
浏览 2
提问于2020-11-05
得票数 0
1
回答
使用
Scrapy
访问图像URL
python
、
web-scraping
、
scrapy
、
web-crawler
我正在尝试从这个网站上搜集有关房屋
的
信息:https://www.goldenproperty.co.za/property_search_result.aspx?1000000000&beds=-1&baths=-1&ids=Cape%20Town.all%20suburbs&status=-1&sqm=-1&land=-1 具体地说,我希望提取结果页面上列出
的
每个属性
的
图像
的
但是,由于它们
在
子页面上可用,所以我只得到get,
浏览 17
提问于2019-05-27
得票数 0
回答已采纳
1
回答
scrapy
:查找包含特定文本
的
元素
python
、
web-scraping
、
scrapy
、
scrapy-spider
我正在用
scrapy
爬行。我正在
获取
网站
的
全部内容。import
scrapy
name = "team" yield
scrapy
.Request(url='http://*****.com', callback=self.get_scripts)
浏览 0
提问于2017-03-23
得票数 6
1
回答
Scrappy
选择器
上
的
Scrappy迭代
python
、
json
、
api
、
scrapy
、
css-selectors
我正在尝试抓取一个使用调用HTML
的
API
的
网站,因此为此,我需要抓取API,然后从API抓取HTML结果 我已经使用这篇文章设法获得了API响应,并从中获得了HTML。resp = json.loads(response.text) selector=
scrapy
.Selector(text=resp['results'], type="html") 而且它工作得很好,当我试图从页面
获取
属性时,我可以使用CSS或Xpath
选择器
来
获取
项 我现在
浏览 10
提问于2020-12-16
得票数 1
2
回答
Scrapy
不能
获取
页面
中
的
所有链接,而Chrome可以
python
、
google-chrome
、
xpath
、
scrapy
、
screen-scraping
我正在尝试
获取
一个页面上
的
所有链接https://www.jumia.com.eg‘使用
scrapy
。代码如下: all_categories = response.xpath ('//a') 但我
在
结果中发现了很多缺失
的
链接。 结果
的
数量是242个链接。当我尝试Chrome开发人员工具时,我得到了所有的链接,结果计数为608,带有相同
的
选择器
xpath (//a)。 ?
浏览 47
提问于2020-07-21
得票数 0
回答已采纳
1
回答
Python3抓取网爬虫
html
、
python-3.x
、
web-scraping
、
scrapy
、
web-crawler
对于我
的
工作,我必须写一个爬虫,它只保存页面的标题,交付状态和产品
的
数量。以下是我
的
默认蜘蛛代码: name = "quotes" ]
浏览 2
提问于2020-07-20
得票数 0
回答已采纳
2
回答
Scrapy
:从使用"id“
选择器
而不是"class”
的
html标记中提取数据
web-scraping
、
scrapy
我对web scraping和
Scrapy
是个新手。我希望你能帮助我。谢谢你
的
帮助!
浏览 2
提问于2017-07-26
得票数 5
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Scrapy框架的使用之Selector的用法
在scrapy框架中操作MySQL数据库来存储数据,一个完整的开发项目
第六次:CSS选择器实战训练
使用 Python 在 JMeter 中实现循环获取返回值的高效性能测试
编程资源 Python
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券