bs4 python web抓取
bs4是Beautiful Soup 4的简称，是一个用于解析HTML和XML文档的Python库。它提供了一种简单而灵活的方式来遍历、搜索和修改文档树，使得从网页中提取数据变得更加容易。
bs4的主要特点包括：
- 解析器灵活：bs4支持多种解析器，包括Python标准库中的html.parser、lxml解析器和xml解析器等，可以根据需要选择最适合的解析器。
- 强大的搜索功能：bs4提供了一系列强大的搜索方法，如find()和find_all()，可以根据标签名、属性、文本内容等进行精确或模糊搜索，方便快捷地定位所需数据。
- 数据提取简单：通过bs4的方法和属性，可以轻松地提取出所需的数据，如标签名、属性值、文本内容等。
- 支持CSS选择器：bs4支持使用CSS选择器来定位元素，使得代码更加简洁易读。
- 容错能力强：bs4能够处理不规范的HTML或XML文档，具有较强的容错能力。
bs4在Web抓取中的应用场景包括：
- 数据采集：通过解析HTML或XML文档，可以从网页中提取出所需的数据，如新闻内容、商品信息等。
- 网页爬虫：结合网络请求库，如requests，可以编写爬虫程序，自动化地抓取网页数据。
- 数据分析：将抓取到的数据进行清洗、整理和分析，得出有价值的结论。
推荐的腾讯云相关产品和产品介绍链接地址如下：
- 云服务器（CVM）：提供弹性计算能力，满足各类业务需求。详情请参考：https://cloud.tencent.com/product/cvm
- 云数据库MySQL版（CDB）：提供高性能、可扩展的MySQL数据库服务。详情请参考：https://cloud.tencent.com/product/cdb_mysql
- 云存储（COS）：提供安全、稳定、低成本的对象存储服务。详情请参考：https://cloud.tencent.com/product/cos
- 人工智能机器学习平台（AI Lab）：提供丰富的人工智能算法和模型，支持开发者进行机器学习和深度学习的研究和应用。详情请参考：https://cloud.tencent.com/product/ailab
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求进行。
相关·内容
我正在使用Python的Visual Studio。我想安装用于web抓取的Beatifulsoup。作为解释器安装的Python 3.4。
我安装了BS，但不能工作。你能帮我在Visual Studio中使用Beatifulsoup吗？
我执行了下面的代码，得到了"no module named bs4“错误。谢谢
from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://www.pythonscraping.com/pages/page1.html"
浏览 21提问于2017-01-10得票数 0
1回答
访问HTML注释中的标记
、、、
我已经通过BS4熟悉了使用Python进行web抓取的过程。我还没有找到嵌入在注释中的DOM标记的解决方案。例如，当试图从.html页面()获取数据时，检查页面上的表显示：
<div class='table_outer_container"> ... </div>
我通常可以用BeautifulSoup抓取。但是，当我查看实际的页面源时，上述表被包含在注释标记中：
<!--
<div class='table_outer_container"> ... </div>
-->
我一直无法找到通过BS
浏览 0提问于2018-12-11得票数 0
回答已采纳
我有一些web抓取Python代码，使用下面的一些模块
硒
bs4
MySQLdb
AP调度器
在网上或云上运行我的代码的最简单的方式或平台是什么？
浏览 0提问于2016-11-28得票数 1
我正在尝试使用bs4做一个web抓取项目，但是在远程服务器上他们安装了Python2.6.6。
我可以在python2.6.6上使用bs4吗？
我已经尝试过了，但得到了以下错误：
Traceback (most recent call last):
File "/home/infoforense/public_html/citius-scraping.py", line 16, in <module>
from bs4 import BeautifulSoup
File "/usr/lib/python2.6/site-packages/bs
浏览 26提问于2019-11-05得票数 0
我正在尝试使用Python (Python3)学习web抓取，但是我似乎无法导入任何包，特别是BeautifulSoup，我也尝试过导入openpyxl，但同样的错误也出现了。 import openpyxl as xl
from bs4 import BeautifulSoup 我的控制台立即闪烁，并显示以下错误： unable to import 'bs4' pyline(import-error) [1,1] 我的语法是正确的，我已经检查了包是否已经安装，我甚至已经重新安装了它们，它们肯定在那里。我正在使用Mac，任何帮助都将不胜感激。
浏览 42提问于2021-04-08得票数 0
2回答
我刚接触Python，我发现在python中理解日志的整个概念真的很难。我目前正在使用Python3做这个web抓取项目。我使用了BeautifulSoup4来帮助我:下面是我写的代码：
from bs4 import BeautifulSoup
import urllib3
import urllib.request
web = "https://docs.python.org/3/howto/logging-cookbook.html"
page = urllib.request.urlopen(web)
soup = BeautifulSoup(page)
浏览 0提问于2017-04-22得票数 1
我正在学习使用Python Selenium和BeautifulSoup进行web抓取。目前，我正在尝试抓取谷歌搜索趋势上的热门搜索
这是我当前的代码。然而，我意识到完整的html没有下载，我只有最近几个日期的内容。我能做些什么来纠正这个问题？
from selenium import webdriver
from bs4 import BeautifulSoup
googleURL = "http://www.google.com/trends/hottrends#pn=p5"
browser = webdriver.Firefox()
browser.get(googl
浏览 1提问于2013-05-17得票数 15
2回答
我想要解析给定的网站并抓取表。在我看来，代码看起来是正确的。python和web解析新手
import requests
from bs4 import BeautifulSoup
response = requests.get('https://delhifightscorona.in/')
doc = BeautifulSoup(response.text, 'lxml-xml')
cases = doc.find_all('div', {"class": "cell"})
print(cases)
执行此
浏览 12提问于2020-11-15得票数 1
回答已采纳
有没有一种方法可以将BeautifulSoup (或类似于web抓取的东西)导入到猴运行程序？
将BeautifulSoup导入Python程序是成功的。然而，当导入到monkeyrunner时，我得到了importError。
ImportError: No module named bs4
在深入研究之后，我附加了BeautifulSoup路径名
导入sys
sys.path.append("path/to/monkeyrunner/directory/the_filename.egg") sys.path.append("path/to/monekeyrunne
浏览 1提问于2015-03-19得票数 2
回答已采纳
我写了一个脚本来抓取一些我想每10分钟运行一次的web数据。当我从命令行执行脚本时，它运行得很好，但是当我尝试每10分钟使用一个cronjob运行它时，我得到一个错误，因为它不能导入bs4‘。我得到了这个错误：
No module named bs4
我的crontab：
*/10 * * * * PYTHONPATH=/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages python /Users/{username}/Documents/scripts/cot.py
我通过使用以下命令找到
浏览 0提问于2017-12-24得票数 2
我的代码： import requests
import bs4
import lxml
res = requests.get("https://en.wikipedia.org/wiki/Pacific_blue-eye")
page = res.text
soup = bs4.BeautifulSoup(page, "lxml") 我该如何初始化lxml？我是python和web抓取的新手，所以如果我做了一些愚蠢的事情，请原谅我。提前谢谢。
浏览 235提问于2021-01-06得票数 1
回答已采纳
web抓取Python已经有一段时间了，最近我遇到了这个问题。BeautifulSoup似乎无法读取html文件。
例如，我正试着从这个网站上抓取
这是我的密码
from bs4 import BeautifulSoup
import requests
url_episode = 'https://www.thetvdb.com/series/initial-d/episodes/4889010'
print(url_episode)
getdetail_episode = requests.get(url_episode)
soup = BeautifulSoup(getde
浏览 1提问于2020-04-06得票数 0
1回答
这里是Python 3的代码，用于web抓取雅虎财务AAPL的股票价格。
import urllib.request
from bs4 import BeautifulSoup as bs4
htmlfile = urllib.request.urlopen("http://finance.yahoo.com/q?s=AAPL")
htmltext = htmlfile.read()
for price in htmltext.find(attrs={'id':"yfs_184_aapl"}):
print (price)
显然，只
浏览 2提问于2014-01-02得票数 1
回答已采纳
目前，我正在使用Android和BeautifulSoup开发一个网络抓取应用程序。我如何实现？
从bs4导入BeautifulSoup
像我在Python中一样进入Android Studio吗？
我的build.gradle是
python {
buildPython "C:/Python38/python.exe"
pip{
install "bs4"
install "beautifulsoup4"
install "requ
浏览 2提问于2021-12-03得票数 3
回答已采纳
4回答
我正在尝试找到一种在BS4中抓取多个页面的有效方法。我能够轻松地抓取第一页，并获得我需要的所有数据，但不幸的是，并不是所有的数据都在上面。还有另外两个页面需要抓取，而不是硬编码并更改第二个和第三个页面的URL，我想知道是否有更好的方法使用BS4在Python中实现这一点。唯一需要更改的部分是page=1到相应的页码(1、2、3)。
import csv
import requests
from bs4 import BeautifulSoup
url = "https://www.congress.gov/members?q={%22congress%22:%22115%22}&
浏览 0提问于2018-04-04得票数 0
3回答
我正在尝试使用python请求库来抓取网页。但我无法下载完整的html源代码。当我使用我的web浏览器检查元素时，它给出了完整的html，我相信它可以用于抓取，但当我使用python请求库访问这个url时，那些包含数据的html标记就消失了，我无法从这些标记中抓取数据。下面是我的示例代码：
import requests
from bs4 import BeautifulSoup as BS
import urllib
import http.client
url = 'https://www.udemy.com/topic/financial-analysis/?lang=en&#
浏览 5提问于2019-07-30得票数 1
我刚用Python开始了几个web抓取项目。我目前使用lxml，Beautiful Soup和requests模块来抓取网页。我需要知道是否有任何方法可以只从网站获得我们需要的数据，而不是加载整个页面。requests模块执行GET请求并接收整个，bs4，lxml只过滤数据。我尝试过Selenium，但这也打开了浏览器，这不太适合工业项目。我对scrapy和splash一无所知。 我也不是在寻找API key方法，它并不适用于所有地方。
浏览 28提问于2021-11-13得票数 0
回答已采纳
3回答
我试图创建一个web抓取程序，但是每当我编写：从bs4导入漂亮汤时，我总是会得到错误：no模块名为bs4。我安装了bs4 by：pip安装beautifulsoup4和pip安装bs4，但是没有工作。谢谢!
浏览 4提问于2021-10-03得票数 1
回答已采纳
我是Python的新手，我正在尝试制作web抓取程序来补充我在最近解决的另一个问题中提到的问题(谢谢！)我想让程序抓取一个表中的值。在底部，我有一个剪贴画，上面标有我想要刮的值的圆圈。 ? 指向被抓取的站点的链接： https://www.barchart.com/stocks/quotes/$SPX/technical-analysis 这是我目前拥有的web抓取部分代码的一部分。我用的是精美的汤和点菜。它当前在空闲时返回"None“。我们非常感谢大家在这方面的帮助。非常感谢! import bs4
import requests
res = requests.get(
浏览 5提问于2020-10-04得票数 0
1回答
我是Python新手，学习了使用bs4进行Web抓取的基础。在这里，我试图提取Youtube搜索结果的所有链接，但它不像其他网站那样工作。我分析了搜索结果html数据，搜索结果的链接在带有id“视频标题”的锚标签中，但是标签没有出现在我的bs4解析的html文档中。
from bs4 import BeautifulSoup as bs
import requests
name=input("Enter video name ")
url='https://www.youtube.com/results?search_query='+name
searched=
浏览 0提问于2019-05-09得票数 3
回答已采纳
1回答
我有一个简单的python程序，它应该从互联网上抓取一些信息，然后用它做一些事情。当我在PyCharm (IDE)中运行代码时，它工作得很好，但是当我直接运行它时，它不能运行(右键单击-> Openwith-> Python)。为了查找错误，我在代码中放入了几条输入语句，如下所示：
from random import choice
input(1)
import webbrowser as web
input(2)
from time import sleep
input(3)
import pyautogui as pg
input(4)
from platform impor
浏览 3提问于2021-09-25得票数 1
回答已采纳
2回答
我正在尝试使用Python抓取这个网站：'‘。
首先，我注意到我感兴趣的表实际上位于这个url：
但是，requests + BS4只给了我HTML格式的页面源代码。我假设这是因为内容是动态的。
因此，我尝试了Selenium + BS4来抓取网站，但我仍然只能抓取页面源代码。
from selenium.webdriver import Firefox
from bs4 import BeautifulSoup
import lxml
driver = Firefox()
url = 'https://ec.europa.eu/assets/eac/msca/jobs/im
浏览 4提问于2020-02-02得票数 0
我正在尝试抓取这个网站上所有帖子的urls：
我是python和web抓取的新手，mt代码可以工作，但它会产生很多重复的代码--我做错了什么？
import requests
from bs4 import BeautifulSoup
import csv
startURL = 'http://esencjablog.pl/'
f = csv.writer(open('test.csv', 'a+', newline=''))
f.writerow(['adres'])
def parseLinks(url):
浏览 0提问于2018-04-09得票数 0
我正在尝试使用bs4和色度驱动模块进行web抓取。使用代码和Python 3.7.4。在Windows 10上。
from selenium import webdriver
from bs4 import BeautifulSoup
import chromedriver
driver = webdriver.Chrome('path')
driver.get('https://webscraper.io/test-sites/e-commerce/allinone') ### (or any other website)
soup = bs.Beauti
浏览 3提问于2020-01-09得票数 0
回答已采纳
1回答
我正在学习python，在抓取一个web之后，我不太理解响应格式。为什么我没有得到作为这个代码的响应？
import requests
from bs4 import BeautifulSoup
quote_page = 'https://www.bloomberg.com/quote/SPX:IND'
page = requests.get(quote_page).text
soup = BeautifulSoup(page, "lxml")
price_box = soup.find('span', class_="pric
浏览 0提问于2019-08-10得票数 0
回答已采纳
2回答
我刚刚开始学习使用python Beautifulsoup和请求库以及Pycharm工具进行web抓取。
import requests
from bs4 import BeautifulSoup
result1 = requests.get("https://www.grainger.com/")
print('result1 is '+ str(result1.status_code))
当我使用这个网站时，它一直在加载，如果我使用google.com，它将提供输出。
我想知道为什么我没有得到上述网站的输出？
浏览 3提问于2020-10-16得票数 1
回答已采纳
我使用pip和pip3安装了pip3。当我运行Python时，我得到：
从'/Users/myUserName/Desktop/Dev/virtual_env/lib/python3.10/site-packages/bs4/init.py'>导入bs4打印(Bs4)<模块'bs4‘
但是，当我在IDE (崇高)中尝试相同的东西时，我得到了：
ModuleNotFoundError: No module named 'bs4'
我很困惑，之后我下载了熊猫，它在我的IDE中运行得很好。有什么解决这个问题的建议吗？还是我只是尝试另一个网络抓取工具
浏览 13提问于2022-08-20得票数 2
回答已采纳
因此，我正在使用网站10fastfingers.com，并且我想使用Python web抓取来从该网站提取我的输入数据。
这是网站的链接。在这里，您可以输入单词，直到计时器超时。然后，它就会让你得到分数。问题是，当我尝试使用requests或bs4模块来提取输入数据时。它会带到原来的网站，而不是我填写表单后的网站。
原始网站如下所示：
并且，在我做了我的输入测试之后，它看起来像这样：
现在，我想从第二个网站提取数据，也就是我的打字速度和准确性。我该怎么做呢？
我精通python，pandas和numpy，但不太擅长网络抓取。
浏览 2提问于2021-05-12得票数 0
我正在制作python脚本，它从在线站点获取文本数据。这是一个简单的web抓取脚本，语言只是python。我不使用硒，只使用漂亮的汤。而且我可以从<p>或<div>，甚至<h>和<a>中抓取文本，但是当我试图从<td>获取文本时，代码不起作用。下面我分享了我的代码。
from threading import Thread
from bs4 import BeautifulSoup
from lxml import etree
detailPage = requests
浏览 5提问于2021-07-16得票数 1
回答已采纳
2回答
我可以通过Python中的web抓取从网页中获取数据。我的数据被提取到一个列表中。但不知道如何将该列表转换为数据框架。有任何方法我可以网络刮和直接获取数据到一个df？这是我的代码：
import pandas as pd
import requests
from bs4 import BeautifulSoup
from tabulate import tabulate
from pandas import DataFrame
import lxml
# GET the response from the web page using requests library
res = reque
浏览 7提问于2020-04-03得票数 0
回答已采纳
2回答
我试图得到房子的位置，但我没有得到任何数据，只是"[]“。是Python的新版本，是web抓取的更新版本。这是我的代码：
from bs4 import BeautifulSoup
import requests
import pandas as pd
url = 'https://www.inmuebles24.com/casas-en-venta-en-tijuana.html'
page = requests.get(url)
soup = BeautifulSoup(page.text, 'html.parser')
location = s
浏览 3提问于2020-09-27得票数 0
回答已采纳
我今晚坐下来，决定如何使用蟒蛇。受到这篇网页抓取文章的启发。cam.ly/danesblog/2011/01/craigslist-arbitrage/
在阅读完教程之后，我：
1)下载和安装python：前3.3，然后2.7
2)下载的www.crummy.com/software/BeautifulSoup/bs4/download/ :bs4
3)遵循Brian的指示：
尝试了easy_install和python setup.py安装方法。
我仍然得到"ImportError:没有名为bs4的模块“
Python安装在应用程序文件夹中，bs4包自动安装在库中，这是问
浏览 1提问于2013-02-26得票数 3
3回答
我正在学习使用python进行web抓取，但是我无法获得预期的结果。下面是我的代码和输出
代码
import bs4,requests
url = "https://twitter.com/24x7chess"
r = requests.get(url)
soup = bs4.BeautifulSoup(r.text,"html.parser")
soup.find_all("span",{"class":"account-group-inner"})
[]
这是我想要刮的东西
我一直得到一个空数组。请帮帮忙。
浏览 1提问于2017-10-21得票数 0
回答已采纳
我正在尝试更新使用Anaconda的Python的Python3中的Beautiful 4来使用请求包而不是urllib、urllib2和urllib3的web刮板应用程序。
Anaconda通道中不存在urllib和urllib2，据我所读，请求包已使urllib和urllib2过时。对于web抓取，我仍然是Python编程方面的新手，并且还没有完全理解这4个包的所有概念和内部微妙之处。
当我将"urllib2.urlopen()“替换为"requests.get()”时，会得到以下错误：
从bs4导入BeautifulSoup导入请求
'''repl
浏览 0提问于2018-09-09得票数 1
回答已采纳
1回答
我是Python编程的绝对初学者，我正在使用Python中的bs4模块在一些网站上练习web抓取。 在这里，我想从网站获取链接，然后遍历它们，因为当我们打开网站上的每个链接时，它会从那里转到一个新的网页，我想提取代理的名称。现在有很多链接，所以我尝试先将它们提取到一个列表中，然后遍历它们。但我的列表返回的是空列表。请告诉我哪里做错了，应该做什么。 from bs4 import BeautifulSoup as bs
import pandas as pd
res = requests.get('https://www.mcgrath.com.au/offices', he
浏览 8提问于2019-04-12得票数 0
回答已采纳
我正在抓取web (使用Python请求和漂亮的汤)，我需要浏览项目列表中的所有页面，但我需要单击下一页，到目前为止，代码只返回代码中的第50行
import pandas as pd
import requests
from bs4 import BeautifulSoup
url = 'http://sistemas.anatel.gov.br/se/public/view/b/licenciamento'
antenas = requests.get(url)
if antenas.status_code == 200:
print('Requisição be
浏览 2提问于2021-02-23得票数 0
1回答
环境Python版本: 3.4.2 OS版本: OS小牛
嗨,
我想用python做一些web抓取示例。
因此，我创建了脚本文件并将其命名为“html.py”。(在我的项目目录中)
但是，当我使用python3执行它时，它会生成这样的错误。
Traceback (most recent call last):
File "html.py", line 1, in <module>
from bs4 import BeautifulSoup
File "/Library/Frameworks/Python.framework/Versio
浏览 6提问于2014-11-17得票数 0
回答已采纳
因此，我开始学习使用urllib和bs4在python中进行web抓取，
我正在寻找一个代码来分析，我发现了这个：- ，这是代码：-
from urllib.parse import urlencode, urlparse, parse_qs
from lxml.html import fromstring
from requests import get
raw = get("https://www.google.com/search?q=StackOverflow").text
page = fromstring(raw)
for result in page.css
浏览 2提问于2020-09-11得票数 1
回答已采纳
我是一个Java程序员，刚开始使用python语言，我知道这个问题很愚蠢。我通常使用Jsoup(java)获取web抓取数据，但为了改变，我想尝试一下漂亮的汤(Python)，但最后我遇到了一个男生错误。请帮帮我。
from bs4 import BeautifulSoup
import requests
for i in range (0,10,10)
r=requests.get("http://www.bjp.org/know-your-candidate/?start="+i+"&candidate_state=")
dat
浏览 4提问于2014-03-26得票数 2
回答已采纳
1回答
我试图进行web抓取，并使用了以下代码：
import mechanize
from bs4 import BeautifulSoup
url = "http://www.indianexpress.com/news/indian-actions-discriminating-against-us-exp/1131015/"
br = mechanize.Browser()
htmltext = br.open(url).read()
articletext = ""
soup = BeautifulSoup(htmltext)
for tag in sou
浏览 4提问于2013-11-11得票数 4
回答已采纳
1回答
我以前是python开发人员，我已经使用BS4几年了，现在我正在使用node进行开发，是的，cheerio包非常好，但我需要像BS4这样的smth来抓取节点
还有没有别的选择可以代替cheerio？谢谢!
浏览 56提问于2015-09-19得票数 23
回答已采纳
1回答
我正在尝试使用Python3将这个网站上的图表从web上抓取到一个.csv文件中：
图表的开头是这样的：
Tuesday, October 25
8:00 PM Knicks/Cavaliers TNT
10:30 PM Spurs/Warriors TNT
Wednesday, October 26
8:00 PM Thunder/Sixers ESPN
10:30 PM Rockets/Lakers ESPN
我正在使用这些包：
from bs4 import BeautifulSoup
import requests
import pandas as pd
import numpy as
浏览 13提问于2020-05-22得票数 1
回答已采纳
我需要通过使用Python中的BeautifulSoup库进行web抓取，从网站抓取一个表。来自URL https://www.nytimes.com/interactive/2021/world/covid-vaccinations-tracker.html
当我运行这段代码时，我得到了一个空表：
import requests
from bs4 import BeautifulSoup
#
vaacineProgressResponse = requests.get("https://www.nytimes.com/interactive/2021/world/covid-vacc
浏览 0提问于2021-04-18得票数 3
回答已采纳
3回答
我遵循中关于使用Python和BeautifulSoup抓取网站的教程。我试图从我的政府抓取网站(用于研究目的)，但它给我的错误如下: Traceback (最近一次调用)：
File "C:/Python27/scrap web.py", line 8, in <module>
name = name_box.text.strip()
AttributeError: 'NoneType' object has no attribute 'text'
我尝试了另一个网站，比如，它就能工作。当我查看我的政府网站并使用“查看页面源
浏览 0提问于2018-05-07得票数 0
首先，我不能使用任何可执行文件。我需要用纯Python来完成这个任务，但遗憾的是，BS4不支持JS页面，Selenium需要一个作为可执行文件的need驱动程序。
是否有人知道/是否有任何方法可以使用纯Python和它的模块而不必运行任何exe来抓取JS呈现的页面？
如果可能的话，我并不要求精确的解，只要求方法和模块。
感谢您阅读这篇文章，并感谢您的任何建设性意见！
祝您今天愉快!
表示完整的上下文：我试图每天在云上运行一个web抓取脚本，该脚本不允许运行任何前妻。使用Selenium和PhantomJS进行了尝试，但得到了一个无权限错误。
浏览 1提问于2018-08-22得票数 1
回答已采纳
我正在建立一个网络抓取项目使用python与美丽的汤和请求模块，问题是我想要抓取的网站有一个加载页面(完全不同于主页)，然后它将我重定向到主页。我怎么能等到页面加载完成，然后从主页上抓取数据呢？我知道Selenium可以处理这些类型的网站，但网站必须使用web驱动程序启动，这是我不希望在我的项目中使用的原因，这就是为什么我使用Beautiful Soup和requests模块。到目前为止，我的代码如下。 from bs4 import BeautifulSoup
import requests
import time
source = requests.get(url).text
prin
浏览 15提问于2020-10-25得票数 0
1回答
我正在编写一个小python程序，以进入web抓取：
from bs4 import BeautifulSoup
import requests
hero = raw_input("Enter Hero Name: ")
url = "http://www.dotahut.com/heroes/" + hero.lower().replace(' ', '_')
#to double check url in case of error
print (url)
r = requests.get(url)
soup = Be
浏览 2提问于2015-02-11得票数 0
回答已采纳
1回答
我想用Python脚本将表中的数据保存到Excel文件中，这也不是问题。然而，该网站的源代码并不包含任何我想要的价值。如果我使用Chrome插件"DataMiner"，它可以读出数值。我如何在Python中实现这一点？在图片中，显示了我想要抓取的数据。不幸的是，这些数据并没有包含在源代码中。
from selenium import webdriver
import time
from bs4 import BeautifulSoup
import requests
url = 'https://herakles.webuntis.com/WebUntis/monit
浏览 6提问于2021-12-03得票数 0
我有一个用Python编写的简单的web抓取程序，用于查找菜谱的方法，但是，当我运行代码时，我会得到以下错误消息：
AttributeError：'NoneType‘对象没有属性'text’
我的守则：
from bs4 import BeautifulSoup
import urllib2
quote_page = 'http://www.foodnetwork.co.uk/recipes/easy-pan-roasted-chicken-and-shallots.html'
page = urllib2.urlopen(quote_page)
so
浏览 6提问于2017-02-08得票数 0
回答已采纳
1回答
我正在用Python研究新冠肺炎在科索沃的传播。问题是，从表上的web抓取中得到的结果是空的。网络是表，我需要它的记录：
我使用了许多方法提取记录，但没有成功，使用的最新代码仅用于标题：
import requests
import pandas as pd
from bs4 import BeautifulSoup
link = 'https://corona-ks.info/?lang=en'
# get web data
req = requests.get(link)
# parse web data
soup = BeautifulSoup(req.co
浏览 2提问于2021-03-18得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
