我正在尝试抓取一个网站，然而，我无法完成代码，以便我可以插入几个网址一次。目前，代码可以一次使用一个URL， 当前代码为： import requestsimport lxmlfrom urllib.error import HTTPErrorfrom bs4 import BeautifulSoupgoo
浏览 28提问于2020-09-18得票数 0
3回答
from bs4 import BeautifulSoupforpg in range(1, 10): soup = BeautifulSoup(page.content, 'lxml')
for paragraph
浏览 1提问于2019-01-13得票数 3
回答已采纳
1回答
我必须在URL中放置一个变量吗？我需要通过一个列表形成一个循环或循环吗？from bs4 import BeautifulSoup soup = BeautifulSoup(html,'lxml')
浏览 2提问于2016-04-01得票数 0
回答已采纳
我正在使用beautifulsoup来抓取数据。有多个urls，我必须将我从这些urls中抓取的数据保存在同一个CSV文件中。当我试图从不同的文件中抓取并保存到相同的CSV文件时，我在CSV文件中刮到的最后一个url中的数据就在那里了。下面是我从其中抓取数据的代码。images = []for page in pages:
url = "https:/
浏览 17提问于2022-09-05得票数 0
回答已采纳
1回答
我使用selenium +美汤(使用selenium打开包含大量javascript的页面，并使用javascript命令将其转换为BeautifulSoup对象)来从体育网站上抓取数据，但由于某些原因，我不能使用无头浏览器。当我使用chromedriver实现无头浏览器时，我几乎不会像让chromedriver打开并运行时那样抓取大量数据。有没有人有类似的问题，或者有什么建议？')
我的项目非常长，由多个文件组成。但是，上
浏览 2提问于2020-05-09得票数 0
我的python代码成功地从https://www.groupeactual.eu/offre-emploi中抓取文本并将其保存到csv文件中。然而，在上面的网站上有多个页面可用，我希望能够在其中刮。例如，使用上面的url，当我单击指向"page 2“的链接时，整个url会发生变化，但当我在代码中使用该url时，我会得到来自page 1的结果。 如何更改我的代码以从所有列出的可用页面中抓取数据？我的代码： fro
浏览 16提问于2020-07-17得票数 1
2回答
下面的代码运行良好，但我需要抓取多个网址，我不知道如何真正…基本上，我试图从一个搜索链接获得一个重定向链接
# Getting the webpage, creating a R
浏览 0提问于2018-05-09得票数 2
我无法理解如何处理多个URL。这就是我到目前为止尝试过的方法，但它只是从列表中抓取了最后一个URL：from bs4 import BeautifulSoup urls = (line.strip() for line in inf)
浏览 1提问于2012-11-08得票数 0
回答已采纳
1回答
我想使用BeautifulSoup抓取这个website，首先提取每个链接，然后一个接一个地打开它们。一旦他们被打开，我想刮公司的名称，它的股票代码，股票交易和提取多个PDF链接时，他们是可用的。data.append(str(link.get('href'))) try: url= base + link
req = requests.get(
浏览 18提问于2021-04-11得票数 0
回答已采纳
3回答
我试图从一个网站上抓取用户列表，但它有多个页面，我可以抓取第一个页面，但当我抓取每个页面时就卡住了。代码-import requests
for profile in soup.se
浏览 5提问于2018-01-09得票数 1
回答已采纳
我正在尝试使用Python的BeautifulSoup从this网站上抓取网球比赛的结果。我尝试了很多东西，但我总是得到一个空的列表。我是不是犯了什么明显的错误？当我检查这个类时，它在网站上有多个实例，但它似乎没有找到它。import requests
url = 'https://www.flashscore.com/tennis/atp-singles/frenc
浏览 34提问于2020-09-17得票数 1
3回答
我正在用Django web框架用Python制作一个网络抓取应用程序。我需要用漂亮的汤库抓取多个查询。下面是我写的代码的快照： r = requests.get(url) links= soup.find_all("a", {"class":"dev-link"})
实际上，网页的抓取</e
浏览 0提问于2017-05-29得票数 2
1回答
当使用漂亮的汤来进行网络刮擦评论时，当涉及到“所有观众”的评论时，我有一个问题。更改审阅列表页时，URL不会更新。type=user 单击下一步时，不会更改URL。Network Method Post 当我查看GET操作的头部时，我看到了一个请求URL，当我尝试它包含我需要的所有信息时，问题是我不知道他们进入下一个页面的命名约定。Request URL page 1->2 Request URL page 2->3 我怎样才能让漂亮的汤遍历这些呢？ 谢谢! 下面应该有足够的
浏览 21提问于2019-09-20得票数 1
回答已采纳
1回答
我正在试着从这个页面抓取表格：有18个单独的页面，url不会为每个页面改变。任何建议都将不胜感激。
浏览 2提问于2015-07-08得票数 0
2回答
我的问题是BeautifulSoup和Python。我试图抓取一个网站，但问题是div和类名在整个html中出现在多个位置，所以当我抓取它时，只显示每个类的第一个匹配项。下面是一个例子import csv
url= 'http://www.thinkgeek.com/interestsicpg=HP_BrandLogos_Top_Color_Marvel&
浏览 0提问于2015-01-31得票数 1
1回答
我用python编写了一个小脚本来读取网页中的所有href。但它有个问题。例如，它不读href="pages.php?ef=fa&page=n_fullstory.php&NewsIDn=1648"。import urllibpattern = re.compile(regex)
htmltext =
浏览 2提问于2017-05-11得票数 1
回答已采纳
1回答
我正在尝试写一些代码，将抓取不同的数据从一个股票筛选器网站上的表，并保存在excel中的数据。我遇到的问题是，对于我想要从表中提取的一些值，没有一个明确的类代码。from bs4 import BeautifulSoupimport pandas as pd
headers = {'User-Agent': 'Mozilla/df_headers = ['Ticker' , 'Owner' , 'Relationshiop'
浏览 12提问于2021-11-07得票数 0
回答已采纳
1回答
我正在尝试使用Orange中的BeautifulSoup4从同一网站抓取的URL列表中抓取数据。 当我手动设置URL时，我已经成功地从单个页面中抓取了数据。year=2021&zone=1§ion=1901"soup = BeautifulSoup(req.text, "html.parser")) 并且我已经能够抓取</e
浏览 21提问于2021-07-23得票数 1
回答已采纳
3回答
我正在尝试用BeautifulSoup创建一个表格抓取。我写了这段Python代码：from bs4 import BeautifulSoup
soup = Beau
浏览 0提问于2013-09-24得票数 27
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
