在Python中使用BS4抓取数据，嵌套表

文章/答案/技术大牛

发布

2回答

python、web-scraping、beautifulsoup

我正在尝试从棒球-reference.com上搜集一些数据。我已经编写了一些代码来从站点的其他部分获取数据，在这些部分中，表的编码稍微简单一些，但特定的页面集显然要复杂得多。从urllib.request导入bs4从bs4导入BeautifulSouptest_url = 'https://www.baseball-reference.com/BeautifulSoup(page, 'lxml')

浏览 1提问于2018-01-21得票数 1

回答已采纳

1回答

用请求和优美汤对Javascript元素进行and抓取

python、beautifulsoup

我正在进行我的第一个Python项目，它使用BeautifulSoup从上抓取数据。我了解网络抓取的基础知识，并一直跟随着YouTube教程。但是，在试图从上面的URL提取数据时，我遇到了一些问题。from bs4 import BeautifulSoup URL = requests.get('https://www.tva.com/Environment我试图解析

浏览 3提问于2020-05-06得票数 0

回答已采纳

1回答

如何从此网页上的Google表中刮取数据？

python、web、beautifulsoup、screen-scraping

我正在尝试使用Python从这个网页上的表中抓取数据。我尝试使用请求和bs4。我得到了原始的HTML，但是看起来数据是隐藏的。我该怎么做？

浏览 1提问于2016-12-19得票数 0

回答已采纳

1回答

如何从承载HTML之外的表数据的网站中刮表？

python、html、pandas、beautifulsoup、python-requests

我正在尝试从这个表URL：中抓取表数据在之前的测试中，我使用了以下Python包:从bs4导入BeautifulSoup导入请求导入mysql.connector作为pd从sqlalchemy导入create_engine 有人能告诉我用这种HTML设置使用<

浏览 3提问于2022-04-02得票数 -1

回答已采纳

1回答

使用python从javascript变量JSON.parse中提取数据

javascript、python、json

对于python来说非常陌生，并且尝试在web上搜索网站表，但我认为表数据似乎来自带有JSON.parse的Javascript变量。但是，解析并不是我所习惯的，也不确定如何在python中使用它。(大约25万个字符)嵌套在一个脚本标记中。到目前为止，我已经成功地使用bs4抓取了网站，找到了特定的脚本，并尝试使用re.search来查找JSON.parse，并从搜

浏览 1提问于2018-11-07得票数 0

回答已采纳

1回答

访问HTML注释中的标记

python、html、web-scraping、beautifulsoup

我已经通过BS4熟悉了使用Python进行web抓取的过程。我还没有找到嵌入在注释中的DOM标记的解决方案。例如，当试图从.html页面()获取数据时，检查页面上的表显示：我通常可以用BeautifulSoup抓取。但是，当我查看实际的页面源时，上述表被包含在注释标记中：

浏览 0提问于2018-12-11得票数 0

回答已采纳

3回答

如何使用Python* Pandas Lib设置For循环来读取URL列表并抓取数据*

pandas、python-3.7

这是我的第一个Python脚本。我目前正在尝试从多个url中抓取嵌入到HTML表中的数据，这些url位于一个名为url-list.txt的文件中。我已经成功地使用Python的Panda库从一个页面中抓取了所需的数据，然而，我正在尝试执行一个简单的for循环，从url-list.txt文件中加载每个url，以便从剩余的100个左右的url中抓取<

浏览 4提问于2019-06-08得票数 0

2回答

使用python抓取动态javascript内容网页

python、html、selenium、web-scraping、rendering

我正在尝试使用Python抓取这个网站：'‘。但是，requests + BS4只给了我HTML格式的页面源代码。我假设这是因为内容是动态的。因此，我尝试了Selenium + BS4来抓取网站，但我仍然只能抓取页面源代码。from selenium.webdriver import Firefoximport

浏览 4提问于2020-02-02得票数 0

2回答

将数据从Tripadvisor导入Google电子表格或Excel

excel、web-scraping、import、tripadvisor

是否可以获取此数据的列表：阿姆斯特丹所有餐馆的名单。如果可能的话，还有详细的地址等等。非常感谢！

浏览 1提问于2020-09-17得票数 0

1回答

如何从python抓取的URL列表中抓取数据？

python、web-scraping、beautifulsoup、orange

我正在尝试使用Orange中的BeautifulSoup4从同一网站抓取的URL列表中抓取数据。当我手动设置URL时，我已经成功地从单个页面中抓取了数据。from urllib.request import urlopenimport requestsimport rehref') for url_list in lin

浏览 21提问于2021-07-23得票数 1

回答已采纳

1回答

用查克比实现BeautifulSoup到Android

python、android、beautifulsoup、chaquopy

目前，我正在使用Android和BeautifulSoup开发一个网络抓取应用程序。我如何实现？从bs4导入BeautifulSoup python { pip{ install"<

浏览 2提问于2021-12-03得票数 3

回答已采纳

2回答

无法使用Python从网站中抓取数据

python、python-3.x、python-2.7

我想从“在交易所交易的债券”和“场外交易”中提取表格，并将其保存到excel工作表中。我正在尝试用python抓取数据( BS & requests )，但是我无法抓取数据(我不想使用selenium)。any1可以指导我吗？我没有收到任何错误，它没有在python终端中被处理我认为终端被挂起了，因为我甚至没有得到任何错误消息。import requests import pandas as

浏览 22提问于2021-09-09得票数 1

回答已采纳

1回答

如何使用Python从这个表中抓取数据？

python、html、web-scraping、data-mining

我想用Python脚本将表中的数据保存到Excel文件中，这也不是问题。然而，该网站的源代码并不包含任何我想要的价值。如果我使用Chrome插件"DataMiner"，它可以读出数值。我如何在Python中实现这一点？在图片中，显示了我想要抓取的数据。不幸的是，这些数据并没有包含在源代码中。from selenium import webdri

浏览 6提问于2021-12-03得票数 0

0回答

Python BeautifulSoup找不到表ID

python、html、beautifulsoup

我在使用BeautifulSoup抓取表时遇到了一些问题。以下是我的代码from bs4 import BeautifulSoup stats = soup.find('table', id = 'tota

浏览 4提问于2017-06-08得票数 1

回答已采纳

2回答

Python -初学者刮刮美汤4- onmouseover

python、beautifulsoup

我是python (3)的初学者，目前我正在为我的梦幻足球赛季收集一些体育统计数据。在此之前，我是绕着路走的(在HT-track中下载，转换为excel，然后使用VBA合并我的数据)。但现在我正在尝试学习python来提高我的编码能力。我想抓取，但是在只选择我想要的行/表时遇到了一些困难。下面是我的代码目前的状态。它仍然有一些代码，我一直在尝试使用它。ffffff" onmou

浏览 25提问于2017-02-21得票数 1

回答已采纳

2回答

如何仅在使用Python请求加载数据之后才刮除html表？

python、python-3.x、web-scraping、beautifulsoup、python-requests

我正在尝试学习使用python进行数据抓取，并且一直在使用请求和BeautifulSoup4库。它适用于正常的网站。但是当我试图从那些延迟加载表数据的网站中获取一些数据时，我发现我得到了一个空表。import requests response = requests.get("http://

浏览 1提问于2016-03-17得票数 2

回答已采纳

1回答

额外的HTML导致bs4出现问题

python、html、beautifulsoup

我试图从网站上的一个表中获取一些信息--特别是，我想从“按姓氏代表目录”表中获得有关代表的信息。到目前为止，我能够从站点下载HTML并将其写入文件，但是当使用bs4解析和抓取我想要的特定表时，它只是抓取每个表的第一行。没有抓取其余的行。到目前为止，这里是我的python代码： res = requests.get(&#x

浏览 4提问于2017-04-29得票数 0

回答已采纳

1回答

从Tableau公共仪表板中抓取数据

python、web-scraping、beautifulsoup、tableau-api

我对从网站上抓取数据的世界非常陌生，不知道如何从使用Tableau Public的网站上抓取数据网址：https://showmestrong.mo.gov/data/public-health/我一直在阅读一些关于如何检查元素并找到其中的表的资料，但我不知所措。我试过在Python、requests和BeautifulSoup中使用，但不知道如何工作。import

浏览 17提问于2020-09-30得票数 1

回答已采纳

2回答

基于日期抓取表数据

python、web-scraping、beautifulsoup、screen-scraping

我正在尝试抓取kurs事务的表from bs4 import BeautifulSoupheaders={ "User-Agent

浏览 0提问于2020-11-24得票数 0

1回答

美丽的汤无法从桌子上获取信息

python、python-3.x、beautifulsoup

使用python几个月后，使用BeautifulSoup从表中抓取一些信息会有困难，任何帮助都将不胜感激。我没有收到任何错误代码，而是没有从表中接收到任何数据。import bs4 as bs resp = requests.get('https://www.thestreet.com/markets/gainers.html

浏览 3提问于2017-02-12得票数 2

回答已采纳

点击加载更多