我正在构建一个网络爬虫作为我实习的一部分，当我通过某些属性过滤时，我找不到我得到空列表的原因。我正在尝试抓取会议的名称、日期和地点。 我试过几种不同的方法，都得到了相同的结果。你可以在下面看到我尝试过的所有不同的方法： class AACRSpider(scrapy.Spider): allowed_domains = ['aacr.org//www.aacr.org/MEETINGS/PAG
浏览 24提问于2019-06-08得票数 2
回答已采纳
1回答
无法从网页中提取一些标签
、、、
query=*&startItem=0&pageSize=10&sortBy=relevance&documentTypeFacet=journalresponse.css("div.resul
浏览 1提问于2022-08-10得票数 0
回答已采纳
我正在努力学习如何使用Scrapy抓取网页内容，并遇到了一个我无法理解的问题。我不明白为什么会发生这种情况；我可以使用任何浏览器的dev工具来选择DOM元素，但是当我试图从Scrapy中选择相同的元素时，会返回一个空列表。，但是当从Scrapy调用它时，它什么也不返回：
浏览 5提问于2020-05-05得票数 0
1回答
在使用scrapy和try产命令时，我在python中面临一个问题。如果我只在' name‘上运行下面的脚本，它将按预期返回该页面上的完整名称列表，但是当我将价格添加到脚本中时，对于缺货项没有价格，因此它返回“无价格”，但也会从输出中删除该名称。我真的不明白它为什么要这么做，我在下面添加了两个执行的屏幕截图(一个是用名字运行的，另一个是用名称和价格运行代码的)。import scrapy
浏览 2提问于2022-08-03得票数 1
回答已采纳
我想出了这个代码，它可以获得链接，但当我试图访问它们并获取信息时，它不会返回任何内容。import scrapyimport requestsfrom bs4 import BeautifulSoupfrom selenium.webdriver.chrome.options import Options
class Dicio
浏览 1提问于2022-07-21得票数 0
回答已采纳
1回答
据我理解，它应该同时包装<nav-bar>和<router-outlet>。这种情况通常发生在路由器出入口上吗？任何帮助都是非常感谢的。我在13角跑。
这是一个结果的图像。这仅仅是这一页的一半。
浏览 5提问于2022-01-14得票数 0
2回答
我试过用BeautifulSoup和XPath抓取。但是所有的代码都不起作用。这是我的一些示例测试代码，resposnse = re.get(url)
div_tag = soup.find_all('main'
浏览 7提问于2020-09-15得票数 0
我编写了一个爬行器来从搜索页面和列表页面中抓取每个列表的数据。然而，我遇到的问题是，在抓取时，我的爬行器将抓取所有的搜索页并排队等待抓取的列表页面，但一旦它到达最终的搜索页面，爬行器就会关闭。如果我让它只运行一个搜索页面(没有分页)，那么所有的清单都会被返回。我还在学习中，所以我确信我错过了一些东西。 我在这里编写了一个示例爬虫，使用与我编写的结构相同的结构。import scrapy
name = 'exampl
浏览 36提问于2021-01-12得票数 2
我坐了一个测试刮刀，它看起来是这样的： name = 'test' nr_pages = response.xpath('//div[@class="desktop-buttons"]/a[@class="csspage={nr}'
浏览 4提问于2020-10-22得票数 0
回答已采纳
通过添加和删除带有jQuery和CSS转换的类，我在按钮按下时做了两个div。在这个小提琴中，按其中一个按钮可以在0.4秒内滑动div：为什么会这样呢？
浏览 1提问于2015-03-25得票数 1
回答已采纳
1回答
我的类过滤器不像预期的那样工作，但我不确定原因。('before' => 'auth'), function() { }); Route::filter('auth', 'AuthFilter');
过滤器类也
浏览 8提问于2014-10-30得票数 0
回答已采纳
此错误消息引用了我以前在requisites.py中创建的另一个蜘蛛，称为 name = 'requisites'from bs4import BeautifulSoup
from <e
浏览 4提问于2020-11-13得票数 3
回答已采纳
当我最初加载页面时，我选择使用某个CSS类的所有内容，然后按如下所示附加一个工具提示("doTooltip“是CSS类的名称)：
$(document).ready(function () {但是，当我通过AJAX将一些额外的内容加载到页面中时，任何应用了doTooltip类的新元素都不会对它们执行.tooltip()，因为它们是在re
浏览 0提问于2016-07-12得票数 0
我正在使用Scrapy并试图刮掉 url，当我请求页面上任何有关产品的数据时，我就会把它拿出来。但是带有分页器类和id=paginator1的div作为空返回，即使它是一个具有对下一页的引用的表。我尝试过对表和css选择器使用xPath选择器，但两者都返回为空。这就是我尝试过的，使用css
In [29]: response.css('span a::attr(href)
浏览 0提问于2018-02-24得票数 0
回答已采纳
我尝试过使用BeautifulSoup和Selenium，但它们都不适合我。部分代码如下：
output=driver.find_element_by_css_selector('#bookingForm > div:nth-child事实上，当我尝试print(html)时，很多源代码数据似乎丢失了。我怀疑这可能是与JS相关的问题，但Selenium --它大部分时间都在渲染JS --在这个网站上对我不起作用。知道<em
浏览 0提问于2018-12-20得票数 1
我正在尝试抓取一个网站(我得到了他们的授权)，我的代码在scrapy shell中返回了我想要的东西，但我的爬行器什么也得不到。我想要理解为什么xpath选择器与scrapy shell一起工作(我得到的正是我需要的链接)，但是当我在我的爬行器中运行它时，我总是得到一个null列表。如果它能提供帮助，当我在爬行器中使用CSS选择器时，它可以很好地工作并找到元素，但我想使用xpath (我在将来的应用程序开发中需要它)。当我</
浏览 36提问于2018-04-25得票数 1
回答已采纳
2回答
我有一个有“一个类”链接的页面源，如下例所示。我想返回一个包含所有“href”值的列表，所以在下面的"/detail/Request-Technology%2C-LLC-Oakland-CA-94609/napil006/cyberMan”.示例中，我使用了漂亮的汤，find_all试图使用‘a class’属性，但是它什么也不返回。handleBackButton(this);" style="font-size:18px;" title=“stuff” va
浏览 1提问于2019-02-24得票数 0
回答已采纳
这将返回带有'href‘标签的所有内容，而我想要过滤'Report I want name dddddddd’上的文件。我试过使用正则表达式，例如'href=\s\w+‘，但没有用，因为它没有返回任何结果。任何帮助我们都将不胜感激import urllib
webpage=("http://www.example.com&quo
浏览 0提问于2013-01-23得票数 1
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
