腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(9999+)
视频
沙龙
1
回答
Python
-
使用
BeautifulSoup
抓取
创建
数据
帧
的
for
循环
问题
、
、
我是
Python
的
初学者,我正在尝试
使用
BeautifulSoup
创建
一个新
的
数据
框架来
抓取
网页。我正在遵循一些代码,这些代码在不同
的
页面上可以工作,但在这里不能工作。我
的
最后一个
数据
表是空白
的
,所以看起来没有追加。任何帮助都是非常感谢
的
。这就是我所做
的
: from bs4 import
BeautifulSoup
import
浏览 49
提问于2020-04-21
得票数 0
1
回答
在函数编译列表后,是否可以将列标题行添加到函数内
的
列表列表中?
、
、
、
我有一个函数,它(1)从一个URL列表中
抓取
数据
,每个URL都包含表
数据
。它
使用
BeautifulSoup
抓取
html文本,以收集包含列标题和表行
的
单独列表。然后,它(2)遍历表行list以
创建
列表列表。最后,(3)我将call函数放在一个for
循环
中,该
循环
遍历URL列表。我遇到
的
问题
是,我不知道如何将列标题插入到
数据
中,这样列标题就会出现在最终
的</e
浏览 4
提问于2017-08-25
得票数 0
1
回答
如何将多个表解析为一个
数据
帧
?
、
、
我用了漂亮
的
汤美容剂,得到了这个: <table cellpadding="0" cellspacing="<tr>所以有很多以div class="var_building_result“开头
的
小表,我能把所有这些表放到一个<em
浏览 12
提问于2019-11-26
得票数 1
回答已采纳
2
回答
从多个页面中
抓取
天气
数据
、
、
、
我是
python
的
新手下面是我最初尝试
使用
Beautifulso
浏览 9
提问于2019-11-27
得票数 0
1
回答
使用
漂亮汤
的
数据
格式
的
问题
、
、
、
我
使用
漂亮
的
汤
抓取
数据
创建
了一个
数据
文件。然而,有两个
问题
。 from bs4 import
BeautifulSoup
import requests root = request
浏览 2
提问于2020-09-26
得票数 1
回答已采纳
0
回答
Python
BeautifulSoup
找不到表ID
、
、
我在
使用
BeautifulSoup
抓取
表时遇到了一些
问题
。以下是我
的
代码from bs4 import
BeautifulSoup
page = urlopen(site) soup =
浏览 4
提问于2017-06-08
得票数 1
回答已采纳
1
回答
使用
Pandas/
BeautifulSoup
的
请求出错: requests.exceptions.TooManyRedirects:超过30个重定向
、
、
、
、
我正在
使用
Python
3
抓取
从csv文件
创建
的
Pandas
数据
框,该文件包含63,067个网页
的
源URL。for
循环
应该是从项目中
抓取
新闻文章,并将其放入巨大
的
文本文件中,以便稍后进行清理。我对
Python
有点生疏,这个项目是我再次开始用它编程
的
原因。我以前没有
使用
过
BeautifulSoup
,所以我遇到了一些困难,我只是用
Beautif
浏览 2
提问于2018-01-23
得票数 0
2
回答
用漂亮汤提取
数据
时
Python
for
循环
中
的
语法错误
、
、
我是一个Java程序员,刚开始
使用
python
语言,我知道这个
问题
很愚蠢。我通常
使用
Jsoup(java)获取web
抓取
数据
,但为了改变,我想尝试一下漂亮
的
汤(
Python
),但最后我遇到了一个男生错误。请帮帮我。from bs4 import
BeautifulSoup
r=requests.get("http:/
浏览 4
提问于2014-03-26
得票数 2
回答已采纳
1
回答
硕士研究生项目未研究
数据
的
数据
挖掘
、
、
、
、
因此,我必须开始思考我在
数据
科学硕士学位(面向商业,尽管我可以选择任何不相关
的
领域)
的
最后项目的主题,其中一个要求是挖掘和
使用
尚未在学术研究环境中进行分析
的
数据
。我倾向于避免典型
的
从twitter或其他常见
的
信息资源中刮取
数据
。如果您能给我一些关于如何找到一个可访问
的
数据
源
的
想法或指导,我将非常感激,这也不需要太多
的
时间来获取信息。 非常感谢你
的
浏览 0
提问于2022-06-17
得票数 0
回答已采纳
1
回答
Python
:如果满足特定条件,如何
使用
不同
的
抓取
页面重复“bs4”
循环
?
、
、
我正在尝试
创建
一个for
循环
,一旦它到达
抓取
的
页面中
的
最后一个search_result属性,它将重复该
循环
,但会
使用
新
抓取
的
网页
的
数据
。在for
循环
到达最后一个属性后,它将在网页上查找链接,并对新
抓取
的
网页重复该
循环
。 我已经写了下面的代码,但
循环
不会重复从原始网页
的
链接中获得新
的<
浏览 7
提问于2019-08-16
得票数 1
回答已采纳
1
回答
如何
使用
BeautifulSoup
清除隐藏
的
数据
元素
、
Level2StockQuotes.com提供了免费
的
实时顶级引用,我想用
BeautifulSoup
用
python
捕获这些引用。
问题
是,即使我可以在浏览器检查器中看到实际
的
数据
值,我也不能将这些值
抓取
到
python
中。
BeautifulSoup
返回每个
数据
元素为空
的
所有
数据
行。Pandas为每个
数据
元素返回一个带有NaN
的
数据
浏览 0
提问于2019-08-13
得票数 0
1
回答
当我
抓取
一个
循环
而不是直接访问它时,这个网页是如何阻止我
的
?
、
我正在试着
抓取
一组网页。当我直接从一个网页上
抓取
时,我就能够访问html了。但是,当我迭代pd
数据
帧
来
抓取
一组网页时,即使是只有一行
的
数据
帧
,我也会看到一个截断
的
html,并且无法提取我想要
的
数据
。迭代通过1行
的
数据
帧
: import pandas as pdfrom bs4
浏览 8
提问于2019-03-20
得票数 0
回答已采纳
1
回答
如何从
python
抓取
的
URL列表中
抓取
数据
?
、
、
、
我正在尝试
使用
Orange中
的
BeautifulSoup
4从同一网站
抓取
的
URL列表中
抓取
数据
。 当我手动设置URL时,我已经成功地从单个页面中
抓取
了
数据
。soup.find("table", class_="table-standings-body") print(url,child) 并且我已经能够
抓取
我需要<
浏览 21
提问于2021-07-23
得票数 1
回答已采纳
5
回答
如何从其他网站获取
数据
?
、
、
、
我想
创建
一个网站,从其他网站提取信息,并将它们打印到我
的
网站上,我正在进行研究,所以我想听取一些意见,这个项目的最佳解决方案是什么?我听说
Python
使用
解析器可以做到这一点,我只是想知道我应该走哪条路,应该
使用
哪种语言?
浏览 1
提问于2013-06-14
得票数 4
2
回答
关于从维基百科上
抓取
项目符号信息
的
问题
、
、
、
、
希望这里
的
问题
相当简单。我正在尝试从维基百科页面中
抓取
数据
,最终
使用
Python
(Page here)将其放入
数据
帧
中。具体地说,我试图将邻居列表(不是放在表中,而是放在页面上
的
项目符号中)放入一个空
的
数据
帧
中。我正在
使用
BeautifulSoup
,可以找到我想要
的
维基百科页面的一部分,但不能只获取邻里
的
名称
浏览 10
提问于2021-01-16
得票数 0
1
回答
Web
抓取
数据
,然后在
数据
帧
上显示和更新
数据
、
、
我正在尝试
创建
一个
数据
帧
,它可以显示和更新
数据
帧
上
的
数据
。我发现这个方法
创建
一个
循环
并输出
数据
,它看起来像这样: from bs4 import
BeautifulSoup
import pandas as pd url = 'https://finance.yahoo.com/
浏览 9
提问于2021-04-02
得票数 0
9
回答
BeautifulSoup
和Scrapy crawler有什么区别?
、
、
、
我想做一个网站,显示亚马逊和易趣产品价格
的
比较。其中哪一个会工作得更好?为什么?我对
BeautifulSoup
比较熟悉,但对Scrapy crawler不太熟悉。
浏览 323
提问于2013-10-30
得票数 146
回答已采纳
1
回答
我不能
使用
for
循环
和
BeautifulSoup
从多个URL
抓取
表
数据
、
我正在尝试从几个URL
抓取
表
数据
。我正在寻找
的
表是特定
的
,当我在
BeautifulSoup
中
使用
.find_all时,我已经为它建立了索引。例如,当我在一个URL上执行脚本时,它工作得很好,并返回我正在查找
的
表。当我
使用
for
循环
从多个URL中
抓取
表并将它们附加到一个
数据
帧
中时,
问题
就出现了。k=0 re
浏览 1
提问于2018-11-28
得票数 0
2
回答
如何根据从网站上刮来
的
数据
创建
数据
?
、
、
、
、
我试图从招聘公告
数据
中
抓取
网站,输出如下所示: 现在,这是我
使用
的
循环
: source = requests.get('httpsq=data+sc
浏览 0
提问于2019-04-04
得票数 1
回答已采纳
1
回答
Python
BeautifulSoup
web
抓取
中
的
For
循环
问题
、
、
、
我是
Python
的
初学者&正在尝试学习一个
BeautifulSoup
网络
抓取
项目。 我要
抓取
记录项目的标题,网址
的
项目和购买日期从this网址和出口到CSV。我在
抓取
标题和网址方面取得了很大
的
进步,但就是不知道如何在我
的
for
循环
中正确地编码购买日期信息(下面的purchase_date变量)。当前
的
情况是,csv文件中购买日期
的
数据
(例如p_date标题
浏览 18
提问于2020-09-21
得票数 1
点击加载更多
相关
资讯
python2.7爬虫字符及BeautifulSoup使用过程中的节点定位问题
《权力的游戏》最终季上线!谁是你最喜爱的演员?这里有一份Python教程
使用多个Python库开发网页爬虫(一)
Python实例:爬取网页中的一列数据
第二热门语言:从入门到精通,Python数据科学简洁教程
热门
标签
更多标签
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券