在Pandas中抓取BeautifulSoup中的onClick值

文章/答案/技术大牛

发布

1回答

python、pandas、beautifulsoup

在课堂上，我们被要求抓取朝鲜通讯社的网站：http://kcna.kp/kcna.user.home.retrieveHomeInfoList.kcmsf 这个问题要求抓取网站的onclick值。我尝试过用两种不同的方法来解决这个问题:通过导航DOM树。并通过在lop中构建正则表达式来系统地提取它们。我在这两个方面都失败了。\(" onclick_value_

浏览 54提问于2020-12-07得票数 1

回答已采纳

1回答

如何使用pandas将我的python web抓取数据导出到现有excel文件中的特定工作表？

python、excel、web-scraping、request、css-selectors

我有一个包含多张工作表的Excel文件。我想使用pandas将Python中的新数据添加到同一Excel文件中的新工作表中。有没有可能做到这一点而不影响我之前的数据？我是新来的。谢谢你的帮助！下面是我目前使用的Python代码：from lxml import html response我只是

浏览 49提问于2018-08-19得票数 0

回答已采纳

1回答

Python web从asx抓取-无法获取公告表

python、beautifulsoup

我试图从asx页面中抓取公告表，然而，当我使用BeautifulSoup解析html时，这个表不在那里。import requestsfrom bs4 import BeautifulSoup page = requests.get(ur

浏览 17提问于2021-02-26得票数 0

1回答

如何使用BeautifulSoup清除隐藏的数据元素

python、beautifulsoup

Level2StockQuotes.com提供了免费的实时顶级引用，我想用BeautifulSoup用python捕获这些引用。问题是，即使我可以在浏览器检查器中看到实际的数据值，我也不能将这些值抓取到python中。import u

浏览 0提问于2019-08-13得票数 0

2回答

如何找到正确的xpath并在表上循环？

python、selenium、web-scraping、beautifulsoup、python-requests

我想从上的表"Elektriciteit“中获得所有的值。但是，在没完没了地尝试使用selenium找到正确的xpath之后，我无法抓取表。我尝试使用“检查”并从表中复制xpath，以标识表的长度，以便稍后进行抓取。在这个失败之后，我尝试使用"contain“，但是这也不是成功的。#%% from selenium import webd

浏览 0提问于2019-07-24得票数 1

回答已采纳

2回答

我正在尝试从一个HTML表中抓取信息，该表具有交互能力，可以在不同的时间段中筛选信息。示例表位于这个URL：上。我想在9:30开始，然后通过向前跳1分钟与桌子互动。我尝试过使用pandas.read_html()，也尝试过使用BeautifulSoup。这两种方法都不适合我，尽管我对BeautifulSoup缺乏经验。我的要求是可能的，还是网站保护这些信息免受网络抓取？任何帮助都将不胜感激！

浏览 5提问于2017-01-11得票数 0

回答已采纳

1回答

根据下拉列表中的选项值刮取表

pandas、dataframe、beautifulsoup、python-requests

在从下拉列表中更改选项值后，我正在尝试从表中抓取值。我发现这个堆栈溢出后的，但我仍然没有设法使它工作。我试图得到“5分钟”图表，但它仍然返回默认的表"1天“。import requestsurl = "https://www.myfxbook.com/forex-market/correlation" with reque

浏览 3提问于2021-03-03得票数 1

回答已采纳

3回答

如何从BeautifulSoup html表中获取文本，.get_text()正在返回一个错误

python、html、beautifulsoup

我正在尝试使用python和BeautifulSoup从网站上抓取一张表(我对两者都有点陌生)。下面是我迄今为止尝试过的代码，它创建了前两列中的值列表。然而，当我试图得到字符串(2016-01,2016-02，.)来自Tcells1的td列表或(1.4193,1.3826，.)在Tcells2中，.get_text()给出了错误。我对Python和Beautifulsoup汤有点陌生。我知道Pandas</e

浏览 21提问于2022-02-21得票数 0

2回答

如何在Python中从网站抓取和迭代表

python、beautifulsoup

我试图在Python语言中抓取和迭代一个表，然后将其输入到一个pandas DataFrame中，但我甚至在使用BeautifulSoup查找表时都遇到了麻烦。这是我通常做的事情，但在源代码中似乎没有表格。我该如何拉出这个页面上的主表？from bs4 import BeautifulSoupimport numpy as np import request

浏览 21提问于2020-11-07得票数 0

1回答

如何在dataframe中检索和存储第2行和第3行元素

python、pandas、beautifulsoup、python-requests

我对Python中的Pandas、Webscraping和BeautifulSoup都很陌生。当我正在学习使用requests和BeautifulSoup进行一些基本的网页抓取时，我对将html表的第2和第3元素分配到熊猫数据框架中的任务感到困惑。假设我有一张桌子：到目前为止，我的代码如下：from bs4 import B

浏览 0提问于2021-10-19得票数 1

1回答

如何使用美丽的汤和熊猫从这个网站上捕获结构化格式的表格？

python、pandas、dataframe、beautifulsoup、python-requests

我想从这个网站上抓取表格，因为它每小时都在更新，所以我也想跟踪变化。我尝试过使用selenium抓取数据，但它们都在一个列中，没有任何表。如何使用pandas和Beautiful Soup以结构化的格式抓取表格并跟踪更改。这就是我想弄明白的代码。import pandas as pdsoup = BeautifulSoup(html, "html

浏览 7提问于2020-09-23得票数 0

回答已采纳

1回答

通过多个read_html链接创建数据循环

python、pandas、dataframe

我对python很陌生，我正在尝试从一个网站的多个页面中抓取一张表。import pandas as pdfrom bs4 import BeautifulSou

浏览 0提问于2019-01-06得票数 0

回答已采纳

1回答

使用网页的Python解析的HTML与实际页面不同

python-3.x、web-scraping、beautifulsoup、html-parsing

我需要从表中获取和存储PM2.5和值。我使用BeautifulSoup4来抓取网页，但是我得到的解析HTML与实际页面不同。例如，我得到了这个而不是这个。from bs4 import BeautifulSoupimport <e

浏览 1提问于2020-07-23得票数 0

回答已采纳

3回答

Python Web抓取:输出到csv

python、python-3.x、beautifulsoup、python-requests

我正在做一些web抓取的进展，但是我仍然需要一些帮助来执行一些操作：import pandas as pd # soup = BeautifulSoup(requests.get(converturl).content, &

浏览 25提问于2020-06-01得票数 0

回答已采纳

1回答

使用Python和BeautifulSoup抓取多个页面-网站url不起作用

python、html、web-scraping、page-numbering

我的python代码成功地从https://www.groupeactual.eu/offre-emploi中抓取文本并将其保存到csv文件中。例如，使用上面的url，当我单击指向"page 2“的链接时，整个url会发生变化，但当我在代码中使用该url时，我会得到来自page 1的结果。如何更改我的代码以从所有列出的可用页面中抓取数据？我的</em

浏览 16提问于2020-07-17得票数 1

1回答

当将列表追加到数据文件中时，空数据

python、pandas、beautifulsoup

我确信这之前有人问过，或者有一个非常简单的答案，但我很难解决这个问题，并找到我的确切问题。下面的代码基本上是在抓取一个表(它实际上是从一个由html创建的文本文档中获取数据)，我基本上是在尝试对这个表进行精确的复制。内部for循环应该从第一行中创建一个列表，并将其附加到熊猫dataframe，然后移到第二行，并将列表的值替换为新行的值并重复。from bs4 import

浏览 1提问于2017-10-01得票数 0

回答已采纳

1回答

抓取content-Type为application/ld+json的脚本标记

python、json、web-scraping、beautifulsoup

错误在jsn = json.loads(data.string)中。我想抓取评论者和收视率，但getting string as attribute error。你能帮帮我吗?代码： from bs4 import BeautifulSoupimport requests r= requests.get('https://www.zomato.com/beirut/divvy-ashraf

浏览 91提问于2021-08-12得票数 1

回答已采纳

1回答

如何使用Python和BeautifulSoup或Pandas从Finviz.com中抓取最大赢家和最大输家的表行？

python、web-scraping、beautifulsoup、stock

这就是我所能得到的。如何使用Python和BeautifulSoup或Pandas从Finviz.com中抓取最大赢家和最大输家的表行？import requests c=r.content soup= BeautifulSoup(c, "html.parser&qu

浏览 15提问于2020-04-09得票数 1

1回答

如何打印维基百科表格中某一列下的所有值？

pandas、dataframe、beautifulsoup、python-requests、wikipedia

我正在从维基百科表中抓取新冠肺炎数据到熊猫数据帧中。当我打印wikipedia表中的cases列时，我希望打印"cases“列下的所有值，但在dataframe中只打印了该列中的最后一个值。下面是我的代码。我想打印"cases“列下的所有值。我该怎么做呢？import requests from bs4 import

浏览 17提问于2020-06-21得票数 1

回答已采纳

2回答

如何在csv中写入抓取的数据？

python、screen-scraping、file-writing

大家好，我是python的新手，我不知道如何将抓取的数据转换成csv格式。这是我的程序import urllib.request import pandas response = requests.get(u

浏览 1提问于2019-09-25得票数 1

点击加载更多