Python标签内的BeautifulSoup网络抓取

文章/答案/技术大牛

发布

1回答

web-scraping、python-3.6

我已经成功地解析出了这个页面上的大多数表，没有任何问题，但是<div>标记one让我感到困惑。class': 'table_wrapper setup_long long 获取我正在查找的div如果我做一个简单的： if 'tbody' in row:

浏览 3提问于2018-01-11得票数 4

2回答

使用Python在youtube中搜索打开第一个视频

python、python-3.x、beautifulsoup、youtube

我试了试，但不知道如何打开第一个视频。此代码在浏览器中打开搜索。 words = search.split() link += i + "+" webbrowser.open_new(link[:-1])

浏览 1提问于2020-04-10得票数 3

1回答

用查克比实现BeautifulSoup到Android

python、android、beautifulsoup、chaquopy

目前，我正在使用Android和BeautifulSoup开发一个网络抓取应用程序。我如何实现？从bs4导入BeautifulSoup python { pip{ insta

浏览 2提问于2021-12-03得票数 3

回答已采纳

1回答

Web抓取:阅读所有的href

python、regex、urllib

我用python编写了一个小脚本来读取网页中的所有href。但它有个问题。例如，它不读href="pages.php?

浏览 2提问于2017-05-11得票数 1

回答已采纳

1回答

如何用朱庇特笔记本在Python中更慢地抓取网站？

python、jupyter-notebook

我现在的python脚本将在一秒钟内用2页在网站上执行web抓取。我想让它变慢，就像一页上的25秒。我该怎么做？from bs4 import BeautifulSoupimport pandas as pd linked =headers = {'User-Agent': user_agent} response = re

浏览 0提问于2019-04-17得票数 0

回答已采纳

3回答

如何在Python中创建一个简单的URL提取器？

python、hyperlink、web-crawler

我如何从一个单独的网页开始，比如说从DMOZ.org的根目录开始，并索引附加到它上面的每个url。然后将这些链接存储在一个文本文件中。我不想要内容，只要链接本身。举个例子就太棒了。

浏览 1提问于2010-10-13得票数 0

回答已采纳

2回答

BeautifulSoup findAll()没有显示每个标记

python、html、web-scraping、beautifulsoup

我试着在9gag.com/hot上用网络抓取每一张图片，用于教育目的，我正在学习python和网络抓取。以下是我的非常基本格式的代码：os.makedirs('9gag'print('Downloading page %s...' % u

浏览 10提问于2019-07-11得票数 0

回答已采纳

1回答

如何使python代码请求URL并根据需要从网页中刮取信息

python、html、socks

我正在使用一个简单的python代码来尝试获取一个URL，并在这个URL的主页/根页面下刮出每个网页中提到的所有其他URL(如果有的话，所有html子页面)。, "127.0.0.1", 9050) req = urllib2.Request('http://www.python.org')我发现我必须在Python/site-package

浏览 1提问于2017-12-19得票数 0

回答已采纳

1回答

BeautifulSoup只提取顶层标记。

python、html、python-3.x、web-scraping、beautifulsoup

我正在使用Python3.4中的BeautifulSoup进行一些网络抓取。现在，我在学习过程中遇到了一个问题:我试图从网页中获取一个表行，并且我使用find_all()来获取它们，但是在表中--有更多的表中有表行！如何在BeautifulSoup中只获得标签的顶级/一级通用或特定元素？# Retrieves all the row ('tr') tags in table my_table.find_a

浏览 1提问于2016-06-19得票数 17

1回答

通过facebook营销api获取facebook的最新广告类型及其需求

facebook、facebook-graph-api、facebook-ads-api、facebook-marketing-api、facebook-ads

我一直在看上的facebook api文档，但还没有找到解决方案。我只是想得到facebook的最新广告类型的列表，这些类型列在这个页面上：以及每种广告的规格。是否可以通过API实现？我只是想澄清一下，我不想访问某个特定facebook账户的广告或活动。我只想通过API动态获取facebook的最新广告类型和每种广告类型的要求，而不必将这些信息存储在我的数据库中，以避免手动保持最新信息。我意识到这不是一个特定的编码问题，但如果可以的话

浏览 25提问于2020-10-28得票数 2

5回答

如何从其他网站获取数据？

python、database、parsing、web-scraping

我想创建一个网站，从其他网站提取信息，并将它们打印到我的网站上，我正在进行研究，所以我想听取一些意见，这个项目的最佳解决方案是什么？我听说Python使用解析器可以做到这一点，我只是想知道我应该走哪条路，应该使用哪种语言？

浏览 1提问于2013-06-14得票数 4

1回答

避免使用优美汤和urllib.request下载图片

web-scraping、beautifulsoup、urllib、urlopen

我使用BeautifulSoup ('lxml'解析器)和urllib.request.urlopen()从一个网站获取文本信息。但是，当我在Acitivity中查看网络部分时，我看到python下载了很多数据。这意味着不仅文本被下载，而且图像也被下载。在使用BeautifulSoup进行网络抓取时，有可能避免下载图片吗？

浏览 2提问于2016-04-03得票数 0

回答已采纳

2回答

我无法使用美汤进行解析

python、beautifulsoup

><span>Very Good</span></span> </span> My Name is Alis I am a pythonclass="class-3" style="style-2 clear: both;"> </div> <&

浏览 0提问于2010-11-17得票数 0

1回答

如何使用beautifulSoup对堆栈溢出问题进行web抓取标记？

python、beautifulsoup

= link.get('href') for i in link: title = link.string print(title) 输出: python浮点舍入python非谷歌合作python flask python漂亮汤python nonetype python ubuntu等。在从堆栈溢出站点提取数据时，我们在抓取问题的标签时遇到了问题。我们可以<

浏览 0提问于2018-03-17得票数 0

4回答

当元素确实存在时，BeautifulSoup返回none

python、html、beautifulsoup、nonetype

我是个网络刮刮新手，一直在用BeautifulSoup来刮每天的抵押贷款利率。然而，我尝试抓取的许多服务商站点都返回'none‘或一个空列表。我试图抓取的标签确实存在，我只是不明白为什么会发生这种情况。下面是一个例子。html=urlopen('https://www.popular.com/en/mortgages/') bs0bj=BeautifulSoup</

浏览 47提问于2017-11-04得票数 0

回答已采纳

1回答

用BeautifulSoup* - HTML不同格式从CSS类链接中提取标题*

python、beautifulsoup

我刚开始使用BeautifulSoup进行网络抓取，并遇到了以下问题:我试图从论坛上抓取帖子，我想提取帖子的标签。下面是标记类的HTML代码：这种格式在整个表单中是一致的。我试着用汤的“标题”给我“。如何提取“

浏览 5提问于2021-06-08得票数 0

回答已采纳

2回答

为C#程序员提供更好的web抓取(HTMLAgilityPack或Python+beautifulsoup)选项

c#、python、beautifulsoup、html-agility-pack

我需要在一个网络抓取项目上工作。我想了解一下HTMLAgilityPack和BeautifulSoup的区别。所以，我的问题是，对我来说，学习Python和BeautifulSoup或者继续学习C#和HTMLAgilityPack是合理的吗？任何其他建议都是受欢迎的。

浏览 5提问于2012-10-17得票数 2

回答已采纳

1回答

网页扫描:更新股票价格的通知

python、python-2.7、web-scraping、notifications

问题我是一个全新的Python程序员(我对python有一个非常基本的理解，没有任何非包含模块的<

浏览 4提问于2016-11-07得票数 0

1回答

如何获取站点中所有图像的所有信息

image、bash、curl、download、wget

我想要获取所有图像的所有信息，有什么简单的方法可以在Mac上使用bash吗？cxsort=10001的站点内容<ul id="small" > <li><a href="product.asp?

浏览 2提问于2016-02-20得票数 2

回答已采纳

3回答

如何使用python解析ld+json

python、json、web-scraping、json-ld

我一直在尝试一些网络抓取，我偶然发现了这个标签中的一些有趣的数据：我已经能够用美丽的汤分离出那个标签soup = BeautifulSoup(html, "lxml") p = soup.find('script', {'type':&

浏览 2提问于2017-04-27得票数 9

点击加载更多