beautifulsoup4 find_all在沃尔玛杂货网站上找不到任何数据
beautifulsoup4是一个Python库，用于从HTML或XML文档中提取数据。它提供了一组灵活且强大的工具，可以帮助我们解析和遍历网页内容。
在沃尔玛杂货网站上找不到任何数据可能有以下几个原因：
- 网页结构变化：沃尔玛杂货网站的HTML结构可能发生了变化，导致无法通过find_all方法找到所需的数据。这种情况下，我们需要检查网页源代码，确认所需数据是否存在，以及其对应的HTML标签和属性。
- 动态加载：有些网站使用JavaScript进行内容的动态加载，而beautifulsoup4只能解析静态HTML。如果沃尔玛杂货网站使用了动态加载技术，那么find_all方法可能无法获取到数据。这种情况下，我们可以考虑使用其他工具，如Selenium，来模拟浏览器行为，获取完整的网页内容。
- 数据位置变化：沃尔玛杂货网站上的数据可能被移动到其他HTML标签或属性中，导致find_all方法无法找到。在这种情况下，我们需要仔细检查网页源代码，找到数据所在的新位置，并相应地修改我们的代码。
综上所述，如果在沃尔玛杂货网站上使用beautifulsoup4的find_all方法找不到任何数据，我们需要检查网页结构变化、动态加载以及数据位置变化等因素，并相应地调整我们的代码。
相关·内容
1回答
我正在尝试从许多网站上抓取搜索结果。问题是，并不是所有这些网站都以纯html文本的形式返回搜索结果，其中很多都是用JS、AJAX等动态生成的。然而，我可以通过使用Firefox检查器查看页面来确切地看到我需要的内容，因为脚本都已经运行并修改了html。
我的问题是:有没有办法让我在允许脚本运行后下载网页，或者至少让它们在本地运行。这样，我就可以得到最终的html。
作为参考，我使用python。
浏览 0提问于2015-03-13得票数 0
大家好这里的每个人都是我的问题。
我想从一个网站中抽取两个单词，单词是“赢”或“损失”。如果我能在网站上找到这两个单词，我就能写我正在工作的程序，我的on.The问题是…
当我编写一个java程序从站点获取html代码时，它只提供给我没有改变的html代码，ie:它没有给出动态php代码部分。
当我在网站上“检查元素”时，它给了我我想要的。上面写着我要么赢了要么输了html标签。但是，如果我只是查看源代码，它就不会显示您在检查元素时会看到的动态php代码。
是否有一种方法可以让我编写代码，查看网站的“检查元素”，并跟踪html代码中在“赢”或“损失”之间变化的部分？
浏览 2提问于2015-10-29得票数 0
我是python的初学者，我已经开发了一个程序，是为了爬行一个网站(这是销售的东西)，并打印出不同的词在标题中的不同的频率出售的项目。
我的程序中有三个函数: 1)获取网站文本并将其提炼成字符串的函数2)获取该字符串并对其进行清理的函数，去掉方括号、逗号、星号等内容。3)然后获取该字符串并根据单词在网站上被写入的次数对单词进行排序的函数
我的BeautifulSoup4模块在这个程序中有一个错误，这篇文章帮助我改掉了它：，尽管这在我的程序中又犯了两个错误: 1)我放在第一个函数中的链接错误
File "/Users/lowryj1/PycharmProjects/untitled2/J
浏览 4提问于2017-02-03得票数 0
我正面临着一个技术问题，我浏览了几篇文章来寻找答案，但我无法从任何网站上获得适当的答案。
我在我的项目中使用ScrapySharp来抓取网页数据。当我试图从网站抓取数据时，出现了这个问题。
首先，我通过IE加载页面，并选择开发人员工具来检查标签。在我选择了我的代码所需要的标签"//div@class='cd__content'“之后，而且当我通过ScrapySharp加载上面提到的网页时
ScrapingBrowser browser = new ScrapingBrowser();
WebPage rootPage = browser.NavigateToPageAs
浏览 2提问于2017-09-09得票数 0
1回答
我对网络抓取和构建爬虫是个新手，我开始在一个杂货网站上练习。
我已经尝试从一个网站抓取数据很长一段时间了，不能超过三个页面，对于前三个页面，网站让我访问数据，但在那之后我没有得到任何响应，甚至在几秒钟内我也无法在浏览器上获得响应。网站使用API来获取所有的数据，所以我甚至不能使用BeautifulSoup，我想使用selenium，但也没有运气。我使用python的请求库来获取数据，并使用json进行解析。该网站需要post方法来访问所有的产品，所以我发送cookie，标题和参数，以及下一页使用相同的cookies等。
我正在寻找一些一般的反应，如果任何人经历了同样的情况，并得到了一个变通可能
浏览 1提问于2020-04-15得票数 0
我正在制作一个从网页获取数据的iphone应用程序，我使用HPPLE来解析html，一切正常，但在同样的情况下，我在html网页中访问由JavaScript (document.write)动态创建的元素时遇到问题.this是我的html web源。
<table dir = "rtl .......">
<tbody>
<script src = "get.aspx?type=js&file=ajax&rev=3"......>
<script language = "JavaScript
浏览 0提问于2011-10-29得票数 0
回答已采纳
2回答
我试图在一个教程网站上执行攻击。网页主要由一个表单和一个输入字段和一个提交按钮组成。在提交表单时，输入字段的内容将显示在同一网页上。
我发现该网站是黑名单脚本标签和一些JavaScript方法，以防止XSS攻击。因此，我决定对我的输入进行编码，然后尝试提交表单。我尝试了两种不同的输入，其中一种有效，另一种则没有。
当我试着：
<body onload="alert('Hi')"></body>
它正常工作，并显示了一个警告框。但是，当我在HTML标记中编码一些字符时，如下所示：
<body onload=
浏览 2提问于2014-05-14得票数 1
回答已采纳
我想动态上传内容从足球现场得分网站到我的数据库。
我也想每天这样做，从那个网站上的一个页面(那天的足球比赛)。
如果你能帮助我只与该网页的数据连接和检索，我将管理其余的。
网站：语言: php/java - mysql
谢谢！
浏览 0提问于2010-06-02得票数 0
回答已采纳
我有一个现有的Joomla1.5网站，并打算擦除它，并安装一个全新的2.5网站。我将选择新的插件，模板等，但希望将1.5网站上文章的基本文本/图像转移到新网站。我不太关心那些旧文章的分类和标签，因为它们可能会被归入“旧”类别。
我有几个文件和数据库备份的1.5网站。有人做过类似的事吗？这两篇文章的db模式是否足够相似，足以只传输数据？
浏览 0提问于2012-04-09得票数 2
回答已采纳
当我将Typo3网站上传到linux服务器并尝试访问主页时，我得到了错误：“无法加载布局文件。尝试了以下路径："/Main.html"，"/Main”“我检查了布局文件的正确拼写(大写)：它似乎是正确的，并且在正确的位置。有什么想法吗？
浏览 47提问于2016-09-07得票数 0
1回答
我的任务是创建一个小型网站使用SharePoint 2010网站网页通过SharePoint设计师。我带来了我最喜欢的html模板，它按预期的方式加载和运行(主要是)，但我很快遇到了以下问题。
我通常使用PHP直接从本地文件读取某些数据到我的页面。我没有使用ASP的经验，这似乎是实现这一目标的唯一方法。我已经搜索了很多文档和网站，但还没有找到一个清晰的方法来完成这个任务，现在我的头在旋转。有人能帮助我完成一个简单的过程，在我的html文件中读取一个文件吗？
例如：
<html>
<body>
Here's my title
<inject file con
浏览 1提问于2013-10-24得票数 1
回答已采纳
新手来了。我试图从一个使用BeautifulSoup4的网站上收集一些体育统计数据。下面的脚本确实输出了一个表，但它实际上并不是浏览器中显示的特定数据(浏览器中显示的数据是我一个赛季的守门员数据，而不是所有的时间记录)。
#import libraries
from urllib.request import urlopen
from bs4 import BeautifulSoup
import requests
#specify the url
stat_page = 'https://www.premierleague.com/stats/top/players/goals?s
浏览 0提问于2018-05-09得票数 0
回答已采纳
3回答
我正在解析一个文本，现在我遇到了一些挑战:文本中的原始字符串是
"All time views: 4,12011 shoppers saved this home"
我想用一段代码来识别这句话的意思，即：
All time views: 4,120
11 shoppers saved this home
理想情况下，我想退货
{'views': 4,120, 'saved': 11}
这是在输入数据，我在他们的网站上查看了很多记录，发现“无时无刻”的浏览量通常在2到5位之间，而“购物者储蓄”可以是1到2位数。
PS:原始文本是通过从网页中删除所有
浏览 4提问于2016-07-14得票数 0
回答已采纳
我正在加载和滚动动态加载页面。Facebook的“墙”就是一个例子，只有当你滚动到底部附近的某个地方时，它才会加载下一个条目。
我滚动到页面非常长，然后复制源代码，将其保存为文本文件，然后继续解析它。
我想提取网页的某些部分。我一直在python中使用，但效果有限。在那里的网站上，他们只显示很短的X路径的例子。
下面是函数的示例和获取页面中包含的用户名的路径。
usersID = elTree.xpath('//a[@class="account-group js-account-group js-action-profile js-user-profile-link js-n
浏览 1提问于2015-10-16得票数 0
回答已采纳
我想做的是，我想在我的安卓应用程序中使用我的typo3网站上的一些内容。
但是有很多方法我可以选择，从typo3网站获取内容-我不知道哪一个会是最好的。它会有什么好处和缺点。
1)我可以从数据库中读取内容并将其解析到我的应用程序中。
2)我可以解析网站本身..。
我认为，最大的缺点是，如果在网站上改变了一些结构，解析就不能工作了。
否则我会
3)手动将内容放入应用程序(但如果每周更新内容，将会有很多工作要做。)
4)让应用程序从一个外部文件(HTML，PHP，用于内容输入、编辑和删除的后端)获取内容。
那么，你有没有一个解决我的问题的最好办法呢？也许你已经有经验了，可以给我一个线索..。这个
浏览 1提问于2014-10-30得票数 0
回答已采纳
我需要找到一种方法，以编写一个程序(任何语言)，将连接到一个网站，并读取从网站动态生成的数据。
请注意，它是动态生成的--仅仅获取源html是不够的，因为我感兴趣的数据是通过引用后端代码的javascript生成的。所以当我查看网页源时，我看不到数据。(例如，去谷歌搜索。检查搜索结果页面上的源代码。您的浏览器显示的数据很少反映在源中--其中大部分是动态生成的。我需要一些方法来访问这些数据。)
浏览 5提问于2009-10-21得票数 3
我有爬行动态网页使用Crawljax。我可以抓取当前的id，状态和位置。但我无法获得网站内容..。有人帮我吗？
CrawljaxConfigurationBuilder builder =
CrawljaxConfiguration.builderFor("http://demo.crawljax.com/");
builder.addPlugin(new OnNewStatePlugin() {
@Override
public String toString() {
return
浏览 1提问于2015-01-14得票数 0
回答已采纳
2回答
我认为stackoverflow不鼓励合并关于同一主题的信息，假设这将导致杂乱无章的主题……因此，这里是我之前提出的相同问题的一个澄清变体。
我正在试图弄清楚google到底想在一个丰富的代码片段中得到想要的结果。如果我通过搜索查找示例，我通常在与搜索结果相关的页面上看不到匹配的代码片段。这是因为人们正在向google提交这些代码片段，还是其他什么原因？在一个网站上有没有一条路径可以让我找到rdfa或者google用来作为搜索结果基础的微数据？
例如，goodrelations网站经常提到“百思买”。如果我搜索“百思买”，不是广告的部分包括“每周特惠”之类的东西。如果我查看网页的源代码，我没有
浏览 6提问于2013-08-13得票数 1
几年前，我在我的网站上安装了Stat计数器代码。它在页面的末尾，就在body标签之前。它异步加载。当我在gtmetrix上查看我的页面时，它指出有两个主要原因导致我的页面加载缓慢：
Statcounter -大约1.5秒
谷歌广告
我也有谷歌分析跟踪网页。我不能删除AdSense，因为它提供了我的收入。删除statcounter可以以任何方式帮助提高页面加载时间和Google SEO吗？我认为因为它是异步的，所以不会影响页面加载。
浏览 0提问于2019-12-10得票数 1
我想从网站获取一些数据/值。为此，我使用了beautifulsoup，当我尝试从Python脚本中获取它们时，字段是空白的，而当我检查网页的元素时，我可以清楚地看到表行数据中的值是可用的。当我看到HTML源代码时，我注意到那里也是空白的。我想出了一个原因，网站使用Javascript从自己的数据库中填充相应字段中的值。如果是这样，那么我如何使用Python获取它们？
浏览 1提问于2015-02-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
