我正在尝试抓取一个网站，但需要在所有页面上使用splash，因为它们的内容是动态创建的。现在它只呈现第一个页面，而不是内容页面或分页页面。response.url,我尝试过所有我能想到的方法我现在能想到的唯一解决方案是使用re
浏览 15提问于2017-12-15得票数 1
回答已采纳
1回答
我正在使用Scrapy-Splash请求来获取页面的渲染屏幕截图，但我还需要该页面上的图像。我使用管道下载这些图像，但我在想-这不是对同一图像发出了两个请求吗？一次是在Splash呈现页面时，另一次是在我发送下载请求时。有没有办法获取Scrapy-Splash请求返回的图像？
浏览 7提问于2017-07-19得票数 2
回答已采纳
1回答
到目前为止，我一直在使用scrapy和编写自定义类来处理使用ajax的网站。但是，如果我使用scrapy-splash，据我所知，它会在javascript之后抓取呈现的html，爬虫的速度会受到严重影响吗？使用scrapy抓取一个普通的html页面所需的时间与使用scrapy-splash抓取javascript渲染的html所需的时间进行了怎样的比较？最后，scrapy splash和Selen
浏览 3提问于2018-04-18得票数 12
回答已采纳
1回答
当使用scrapy-splash库来呈现JS时。我们将其自定义DUPEFILTER_CLASS添加到settings.py文件中。DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
似乎这是用来过滤请求，以避免发送太多的请求和加快进程。但是，在使用scrapy-splash？时过滤请求的基础是什么？是url吗？
浏览 2提问于2020-12-18得票数 1
我可以使用正确的头向主页(以start_urls格式)发送GET请求，我的__RequestVerificationToken正在工作，并且我可以看到主页的响应内容。但是我没有看到子页面的任何内容数据，响应是200，但内容只是普通的HTML页面源代码，不包含动态加载的内容。看起来像是一个子页面将Scrapy检测为机器人。我的代码：from scrapy.crawler import Cr
浏览 20提问于2021-06-13得票数 0
<svg version="1.1" id="Calque_1" xmlns="&ns_svg;" xmlns:xlink="&ns_xlink;" width="700" height="700" viewBox="0 0 300 300" overflow="visible" enable-background="new 0 0 300 300" xml:space="preserve">
浏览 5提问于2022-02-21得票数 0
回答已采纳
1回答
问题是我不能抓取网站的一部分。如果我使用chrome devmode，我无法在xpath或选择器中复制正确的位置。我将获得其他选项卡或div的正确路径，例如正文标题：body > div.header.home-header > div 然而，当我试图获得包含我想要的信息的标签时，我只得到了：#htmlContent我在想，如果有人让整个会议被引用，这样我就不能刮掉，或者它的其他问题。网址是中文的：http://www.usewealth
浏览 24提问于2019-04-24得票数 0
回答已采纳
1回答
我一直试图刮一些网站(基于AJAX的)我的研究。我有一个条件，我应该刮的内容，而不是登录到各自网站的帐户。怀疑没有硒解决方案或基于web驱动程序的解决方案。
浏览 2提问于2017-08-02得票数 0
我是网络抓取的新手，想用抓取从下面的网站抓取链接： https://shop.coles.com.au/a/national/everything/search/bread?pageNumber=1 我创建了下面的xpath来抓取链接，当我通过查看并按下ctrl +f来测试它时，我得到了51个匹配项，这与产品的数量相等，因此看起来是正确的： //span[@class="product-name当我运行shell时，我得到一个429错误，这表
浏览 14提问于2020-07-05得票数 1
我需要在文档第一页的底部打印一组信息(紧跟在详细信息栏之后)。由于打印在详细信息上的信息太大，文档创建了一个分页来显示其余的信息，但与我使用的打印信息(组、ColumnFooter、PageFooter等)无关，因此应该只打印在第一页上，此带在后续页面上一直占据空白
浏览 0提问于2017-03-16得票数 0
2回答
这是我第一次使用Scrapy看了几次输卵管，我正试着刮这个网址
print(response.css("#main > div > div > div > div:nth-child(2) > div.hckui__layout__containertypography__bodyM hckui__typography__link hckui__typography__bold::attr(href)").extract())
浏览 3提问于2018-10-17得票数 0
回答已采纳
1回答
我用不同的页面生成文件，通过将它放在HTML中手动添加一个标题。
我的问题发生在只有文本的页面上，并且文本在多个页面上断开。如何检测分页符并将页眉添加到一个页面？
浏览 3提问于2015-03-02得票数 1
回答已采纳
1回答
下面的代码使用将Html内容转换为PDF文件。html);$output = $dompdf->output();但是它根据html内容生成我只想把它限制在单个页面上，跳过剩下的内容。
浏览 4提问于2016-02-16得票数 2
我只是从它开始，想知道从搜索引擎的角度来看，索引React应用程序是否有任何问题。<!div></html>
浏览 33提问于2017-12-29得票数 2
回答已采纳
1回答
我有两条路径，第一条路线是显示数据，比如在第一页上包含1。苹果，2颗葡萄，第二条路线是删除数据的页面，现在我想删除第二页上的苹果数据，而我想要自动删除第一页上删除的数据而不需要实时重新加载，那我该怎么做呢？
浏览 7提问于2022-08-12得票数 -1
最近，我正在使用简单的单词java。如果表增加了很多行，我的内容就会下降，但是我想在第一页的末尾修复它。如果表的
浏览 1提问于2015-04-22得票数 0
回答已采纳
1回答
我想抓取一个网页，它显示了在谷歌的网络商店的搜索结果，该链接是静态的，为特定的关键字。问题是我无法呈现由Javascript代码生成的动态数据，以响应服务器。我尝试使用Scrapy和Scrapy-Splash呈现所需的页面，但仍然得到相同的响应。我使用Docker在端口8050上运行scrapinghub/splash容器的一个实例。我甚
浏览 12提问于2019-07-07得票数 0
1回答
如何强制HTML文档中的空页？我有一个标题页，之后是强制分页(规则如下)。问题是，剩下的内容直接出现在下一页，我希望标题页和剩余内容被分割成一个空页面(如下图)。|| 2 | -------| blah | -------编辑:在本例中，也可以使用page-break-after:
浏览 1提问于2014-08-04得票数 2
回答已采纳
1回答
我想用Java程序抓取以下链接的全部内容。第一页没有问题，但是当我想抓取下一页的数据时，有与第一页相同的源代码。因此，一个简单的HTTP根本帮不上忙。
是我需要爬行的页面的链接。该网站具有需要由HMTL/CSS/JavaScript呈现引擎解释和执行的活动内容。因此，我使用PhantomJS有一个简单的解决方案，但是在PhantomJS中运行PhantomJS代
浏览 3提问于2016-04-20得票数 3
回答已采纳
我正在刮这个网站：我想过滤掉类‘暗中心’的所有行，同时迭代选择器列表‘tableRow’。if row.xpath('//*[contains(@class, "dark center")]') is not None:我的产出contains(@id, "tournamentTable"
浏览 0提问于2019-07-22得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
