如何在漂亮的汤中获取分页数据

文章/答案/技术大牛

发布

1回答

python、beautifulsoup、pagination

我正在尝试从这个特定的页面获取数据-- 用漂亮的肥皂。因为这个页面包含分页，问题是我只能通过漂亮的汤获得第一页的数据，我想要所有分页页面的数据。锚标签调用一些java脚本函数来获取下一页的数据。

浏览 13提问于2020-05-18得票数 0

2回答

如何scrape通过Javascript加载的页面外数据

python-3.x、beautifulsoup

我想用漂亮的汤刮掉这个页面上的评论- https://www.x....s.com/video_id/郊区评论通过Javascript在点击时加载。评论是分页的，每个页面也会在点击时加载评论。我希望获取所有评论，对于每个评论，我想要得到的海报个人资料网址，评论，没有。喜欢的数量，不喜欢的数量和发布的时间(如页面所述)。注释可以是字典列表。

浏览 24提问于2020-07-23得票数 2

回答已采纳

1回答

我正在尝试创建一个程序，它将通过一堆tumblr照片，并提取上传这些照片的人的用户名。如果你看这里，你可以看到多张食物的照片，上面有多个不同的上传程序。如果你向下滚动，你会开始看到更多的图片和更多的上传者。然而，如果你在浏览器中右击查看源代码，并搜索"username"，它将只会给出10个结果。每一次，无论你向下滚动到什么程度。有没有办法解决这个问题，让它显示所有图像的整个源代码，或者显示X个数的图像，或者滚动到什么程度？下面是

浏览 0提问于2012-03-16得票数 0

回答已采纳

2回答

如何读取HTML表格数据w美丽汤？返回“无”

javascript、html、web-scraping、beautifulsoup

我正在使用Beautiful从HTML表读取数据。为什么我没有从桌子上得到一个结果，我如何修正它？我的代码返回“无”。我使用了soup.prettify()来检查HTML，它似乎没有给我完整的源代码。我不确定这是不是个问题。下面是表的HTML和第一个数据行： data

浏览 6提问于2017-02-05得票数 0

1回答

BeautifulSoup误解了<area>标签

python、beautifulsoup

我使用漂亮汤从烟草文档中提取元数据，如：meta_data = soup.document.metadata<area>GEE,ED/OFFICE; N408</area> 一个空的区域标记<area></area>。带有内容GEE,ED&#

浏览 2提问于2014-07-29得票数 1

回答已采纳

2回答

无法输入世界人口数字('https://countrymeters.info/en')‘

python、python-3.x

我试图从网站的中导入世界人口数据，但无法使用Python导入感谢和非常感谢帮助！

浏览 10提问于2022-06-02得票数 0

回答已采纳

2回答

BeautifulSoup排除findAll中的标记

python、html、beautifulsoup、lxml

在漂亮汤中，如何在使用findAll时排除特定标签中的标签。<tr>标记中的标记。soup.findAll(['p']) 上面的代码将获取所有的<p>标记，但我需要在<tr>标记中提取<p>标记。

浏览 1提问于2020-08-13得票数 4

回答已采纳

1回答

使用Python抓取Ajax

python、selenium、pyqt4、beautifulsoup、screen-scraping

我正在尝试获取这个网站的表中的数据，该表在页面加载后通过jquery更新(我有权限)：这些值在firebug和chrome developer中都是可见的，那么有没有python包可以利用它并将其提

浏览 2提问于2012-05-04得票数 3

回答已采纳

1回答

BeautifulSoup4:缺少分析过的表数据

python、web-scraping、beautifulsoup

我试图通过BeautifulSoup 4从中提取每股收益数据。你知道这是不是我的问题吗？我读了很多帖子，今天我很头疼。下面是一个简单的例子。financeWrap包含表信息，但是beautifulSoup显示它是空的。

浏览 0提问于2014-10-21得票数 1

回答已采纳

2回答

景像网页但找不到网页连结

html、json、selenium、screen-scraping

我认为可以使用selenim和漂亮的汤从下面的网页中获取一些数据。但是，当检查html时，我无法找到页码链接。会非常感谢你的帮助。

浏览 12提问于2022-01-18得票数 0

2回答

使用Selenium (Python)提交web表单后复制结果

python、python-2.7、selenium

我试图使用Selenium来(1)在网站上提交一个查询，然后(2)使用漂亮的汤复制结果的内容。这是我第一部分的剧本..。elem = browser.find_element_by_name('search')elem.submit() 在第二部分中，我意识到我必须以某种方式将结果的新url复制到一个变量中，然后我才能使用漂亮<

浏览 3提问于2015-10-27得票数 3

回答已采纳

1回答

HTML代码的哪一部分用于抓取网站表

html、python-3.x、web-scraping、beautifulsoup

给你的网址 my_url = "https://sports.bwin.com/it/sports#leagueIds=42&sportId=4" #opening up

浏览 0提问于2019-07-30得票数 0

2回答

在python中序列化漂亮的汤和xpath树

python、serialization、xpath、beautifulsoup

首先，有一个python脚本来获得xpath树和给url的漂亮汤。r = requests.get(url) soup = BeautifulSoup(data)我们经常需要树和汤来导航源代码页面并提取我们需要的有用信息但是我们如何在python中序列化漂亮的汤和xpath树呢？有数据库可以存储汤或树对象吗？如果没有，是否

浏览 4提问于2014-11-16得票数 4

回答已采纳

1回答

美丽的汤刮不出所有的东西

python、beautifulsoup

我正在尝试从第一个图像中获取img标记，这样我就可以获取图像链接。当我用漂亮的汤抓取站点时，没有img标签(如图2所示)。我不明白为什么每个网站都有一个img标签，但美丽的汤却没有。

浏览 1提问于2020-03-02得票数 1

1回答

SkyBot IRC机器人-现在播放命令

python、bots、irc、shoutcast

我有一个基于SkyBot ()的IRC机器人，我想为它创建一个命令，检查ShoutCast流并以格式(Current_Song -Artier-Station_Name)的形式将输出作为消息发送到通道。不幸的是，我的Python已经生锈了。我试着把它捡回来，大约三年后，它一个人呆着。任何帮助都是非常感谢的。

浏览 1提问于2013-01-11得票数 0

1回答

用精美的汤从HTML中抓取表格

python、python-3.x、web-scraping、beautifulsoup

我正在尝试用python3从中抓取数据。该网站包含了基于冠军的FPS多人游戏“圣骑士”的玩家数据。我想要得到一个基于冠军的球员的统计数据，如网站所示。我面临的问题是，当我用Chrome检查页面源代码时，我得到了包含"table“标签的代码，它是干净的，我可以很容易地抓取它：但是当我创建soup对象时，我得到了一个不同的代码。当我转到

浏览 2提问于2018-06-26得票数 0

1回答

如何在保持顺序的同时，从漂亮的汤结果集中删除重复的值？

python、python-2.7、beautifulsoup、duplicate-removal

我有一个场景，我在一个漂亮的汤结果集中搜索值，并根据它们的内容不同地对待它们，例如： if 'this unique string' in i.text: else:然而，我已经意识到，唯一的条件实际上在结果集中发生了两次，但是我不需要第二个复制值，因此希望首先从结果集中删除它我尝试过在list<e

浏览 0提问于2013-05-02得票数 0

2回答

使用漂亮汤从脚本标记中抓取数据

python、beautifulsoup

我是一个python美容汤库的新手，我正在尝试从一个网站的highcharts中抓取数据。我发现我需要的所有数据都位于一个脚本标签中，但是我不知道如何抓取它们(请参见附件)有没有办法使用python漂亮的script从这个脚本标签中获取数据？

浏览 32提问于2020-07-07得票数 1

回答已采纳

3回答

将BeautifulSoup库与Python结合使用

python、beautifulsoup

我正在学习使用Python和Beautiful Soup库创建地图的教程。import csv问题是在美丽的

浏览 5提问于2012-10-22得票数 2

回答已采纳

点击加载更多