1回答
问题是，我上面展示的html实际上不是静态的，所有页面都有不同的结构，这意味着有时在包含img src的center标签之前会有更多的p标签 由于p和center标签在每个页面中都是随机构造的，我在考虑获取所有的p标签，例如使用response.css('#hello p')，然后循环遍历所有的p以获取文本，但是在循环时从当前的p标签获取文本时，还要检查
浏览 12提问于2020-09-10得票数 1
回答已采纳
1回答
我试图复制播放器的行为：，除了这一点之外，我什么都能做(您可以查看页面源代码以获得完整的代码)。-- Etc -->但是，我的页面有以下结构： <article class="article>
<!，这些行为与<ol>中演示页面中的锚标记相同，因此我想自动播放每个锚标记，问题是它们不是在<ol>内部，而是在实际的单独文章中。nex
浏览 2提问于2013-06-04得票数 0
回答已采纳
2回答
Scrapy中的If条件
、、、
我正在使用scrapy抓取给定url中的标签，并检查标签中的url链接是否与网站的url匹配。我想将结果导出到csv，其中有一列指示是否存在匹配。我有以下代码，但不确定如何添加匹配条件：import pandas as pdfrom scrapy.crawler import CrawlerProcessclass urlsit
浏览 1提问于2019-07-03得票数 0
1回答
我试图从一个网站的几个页面中抓取不同的信息。在第16页之前，一切正常:页面被抓取，抓取，我的数据库中的信息存储，但是在第16页之后，它停止抓取，但继续抓取。我查看了这个网站，有470多个页面提供了信息。HTML标签是一样的，所以我不明白为什么它会停止抓取。url_list.append(url) return url_list
class ListeCourse_level1(scrapy.S
浏览 0提问于2018-01-24得票数 4
我目前正在执行访问DOM的操作。在页面底部，有一个关于创建函数以遍历DOM中的所有节点并获取下一个节点的小片段。我已经让代码正常工作了，但我不确定它到底是如何工作的。：
这个功能的第一步是什么？例如，它首先检查所选节点是否有子节点。如果有的话，它会“归还”它。这不是应该结束功能吗？我以为回来是打破常规的一种方式？为什么它还在继续？当它继续到while循环时，它会检查是否
浏览 5提问于2014-11-23得票数 3
回答已采纳
我必须使用jSoup选择图片中指示的<ul>。该列表总是出现在报头(<h2>)之后，该报头包含具有id Events的span。
浏览 4提问于2013-07-15得票数 1
1回答
我有一只蜘蛛在亚马逊搜索信息。另外，控制台上没有出现错误，爬行器启动，“爬行”关键字，然后停止。这是完整的蜘蛛import reimport random
from <em
浏览 1提问于2019-02-01得票数 2
回答已采纳
我正在尝试使用Scrapy ()获取'script‘标签的'src’值。_AC_SX75_.jpg"]},for sel in response.xpath('//script'): yield item
示例
浏览 0提问于2015-06-25得票数 0
2回答
我想知道是否有可能通过python中的漂亮的were包在两个完全不同的文本之间获得标签。print(tag)
<dtposted>2020<trnamt>10<fitid>202010<name>RESTAURANT</name></fitid></trnamt></dtposted> 我希望能够分别获得dtposted，trnamt
浏览 25提问于2020-11-09得票数 0
回答已采纳
在将检查的元素从div克隆到另一个div时，我面临一个问题。我能够得到选中的元素，但并不是所有的元素都附加在后面。这是我的密码
<p> ($(
浏览 1提问于2013-09-17得票数 1
10回答
如果一个单独的div是空的，我会尝试删除一个特定的div。下面是我使用的代码： if ('#leftmenu:empty') {
$('#menuTitleWrapper'
浏览 1提问于2011-01-12得票数 118
这个问题本质上和是一样的，但是我想仔细检查一下是否有“原生的”方法来解决这个问题。
我正在抓取网页，99%的时间都可以成功抓取，而不需要渲染JavaScript。我想写一个带有item_scraped方法的Scrapy ，该方法检查是否所有预期的字段都已填充，如果没有，则生成一个包含开机启动设置的custom_settings的不同爬行器
浏览 16提问于2017-07-20得票数 1
回答已采纳
我有一个简单的蜘蛛类，它有两个函数。一个从起始页面获取链接并输入它们(也--获得下一个页面链接)，另一个解析每个链接(它所指向的页面)。问题是，我有一个for循环，它在链接上迭代并为每个链接生成一个scrapy.Request，在这个循环之后，我有一个if语句来检查当前页面是否是最后一个页面，如果不是--如果不是，我想使用下一个页面链接产生第一个函数item = re.sub('sth_to_be_dele
浏览 3提问于2019-10-28得票数 1
关于scrapy正在使用的python版本的快速问题。我在archlinux上从AUR存储库安装了scrapy，它默认使用python 2.7。Scrapy支持python 3.3+。有没有人知道如何在不卸载2.7的情况下强制使用3.3，在网上找不到任何东西。
浏览 4提问于2016-12-15得票数 5
我试着用MediaCodec对安卓上的MediaCodec视频进行实时视频编码，但是dequeueOutputBuffer花费的时间很长(实际上有时非常快，但在其他时候非常慢，见下面的日志输出)。我已经看到它甚至达到了200毫秒的输出缓冲区准备就绪。我的代码有什么问题吗?还是您认为这是OMX.Nvidia.h264编码器的问题？
也许我需要把图像从1280x720降到更小的地方？或者，在等待输出缓冲区时，我需要去排队并排队更多的输入缓冲区？(有
浏览 1提问于2016-01-21得票数 5
回答已采纳
3回答
我有100多个蜘蛛，我想一次运行5个蜘蛛使用脚本。为此，我在数据库中创建了一个表，以了解蜘蛛的状态，即它是否已完成运行、运行或等待运行。from scrapy.utils.project import get_project_settings
print('-------------this is the-----{}--iteratio
浏览 1提问于2018-01-31得票数 1
回答已采纳
1回答
使用scrapy和命令行工具在python中工作。正在尝试：只返回"[]“-为什么，我如何获得正确的(”仓库结构“)文本？
浏览 0提问于2016-01-30得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
