腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何
抓取
数据
帧
中
列
中
的
所有
url
python
、
pandas
、
dataframe
、
web-scraping
很抱歉这个问题,但是我是python
的
新手,这个问题对我来说非常困难。 我正在做这个csv (https://www.kaggle.com/jtrofe/beer-recipes),我需要做
抓取
。问题是,在
数据
帧
的
列
(
URL
)中有一个链接
的
一部分,并且没有声明主要部分(https://www.brewersfriend.com)。我想从每个网址
抓取
各种啤酒
的
浏览 18
提问于2019-06-13
得票数 0
1
回答
用于可重复
抓取
的
适当
数据
对象:将XML文档(列表)与结果一起存储在
数据
帧
中
r
、
xml
、
list
、
dataframe
、
dplyr
出于可用性
的
考虑,我想将
所有
这些都存储在一个
数据
帧
中
。我希望一
列
是商店
的
URL
,另一
列
是XML文档(这是列表
的
列表),第三
列
是我从XML文档
中
抓取
的
“详细信息”(这也是列表
的
列表,因为
抓取
的
术语并不总是返回长度一致
的
项)。但在整个
数据
帧
上工
浏览 1
提问于2017-06-16
得票数 1
1
回答
如何
在两个
数据
帧
之间比较特定
列
中
的
值,以检查较新
的
数据
帧
列
中
是否有新值?
python
、
pandas
、
dataframe
我不断地从网站上提取新
数据
,我
的
目标是将上次提取
数据
时特定
列
中
的
数据
与新提取
的
数据
进行比较。如果有新
的
行(通过比较每
列
中
的
数据
来识别,例如,每个
数据
框
中
的
name
列
),则将与新名称关联
的
行移动到新
抓取
的
数据</em
浏览 0
提问于2021-05-17
得票数 1
1
回答
在函数编译列表后,是否可以将
列
标题行添加到函数内
的
列表列表
中
?
python
、
pandas
、
loops
、
beautifulsoup
我有一个函数,它(1)从一个
URL
列表
中
抓取
数据
,每个
URL
都包含表
数据
。它使用BeautifulSoup
抓取
html文本,以收集包含
列
标题和表行
的
单独列表。最后,(3)我将call函数放在一个for循环中,该循环遍历
URL
列表。 我遇到
的
问题是,我不知道
如何
将
列
标题插入到
数据
中
,这样
列
标题就会出现在最终<em
浏览 4
提问于2017-08-25
得票数 0
1
回答
R:基于两列日期
的
多个条件创建新
列
r
、
date
我有一个
数据
框,看起来像这样(简短
的
例子): df 日期(dd-mm-yyyy) date1 date2 Value01-04-2016 01-03-2016 100 01-05-2016 01-03-2016 80 我想基于以下条件创建一个新
列
:如果date1 = date2 (例如01-02-2016 = 01-02-2016),我需要将行
中
" va
浏览 21
提问于2020-03-20
得票数 2
2
回答
根据存储在向量
中
的
列名设置pandas
数据
框子集
python-3.x
、
pandas
我从一个网站上
抓取
数据
,该网站构建了一个熊猫
数据
框架,根据网站上可用
的
数据
,使用不同
的
列名。我有一个列名
的
向量,比如: colnames = ['column1', 'column2', 'column3', 'column5'] 这些
列
是我希望在其中存储
抓取
的
数据
的
postgres
数据</em
浏览 10
提问于2019-05-02
得票数 2
回答已采纳
2
回答
将向量上
的
函数调用
的
结果彼此附加到r
中
r
、
function
、
append
我有一个1
列
的
dataframe,在它唯一
的
列
中有一系列
的
URL
(也可以是一个向量)。List_of_counties_in_California"))urls$col1<-as.character(urls$col1) 我还编写了一个函数,可以从这些urls
中
抓取
一个表(urls[1,1])
的
结果是58个观测值
的
数据<
浏览 12
提问于2019-02-06
得票数 0
回答已采纳
1
回答
如何
遍历多个urls (球队)以将NBA球员
的
名字和统计
数据
合并到一个
数据
帧
中
?
python
、
dataframe
、
url
、
concatenation
我仍然在学习网络
抓取
,并感谢任何帮助,我可以得到。多亏了社区
的
帮助,我能够成功地
抓取
NBA球员
数据
(球员姓名和球员统计
数据
),并将这些
数据
连接到一个
数据
帧
中
。urls来获取不同团队
的
数据
,然后将
所有
不同
的
团队合并到一个
数据
帧
中
。
url
中
的
'lal‘
浏览 14
提问于2021-04-13
得票数 1
回答已采纳
1
回答
使用R
中
的
url
列表进行Web
抓取
r
、
url
、
screen-scraping
我正在尝试从我收集
的
多个网站
中
抓取
一些
URL
。我将已经收集
的
网站保存在一个名为meetings2017_2018
的
数据
帧
中
。问题是,除了
URL
的
第一部分:https://amsterdam.raadsinformatie.nl之外,
URL
看起来并不是很相似。urls
的
第二部分保存在
数据
帧
中
。
浏览 21
提问于2019-03-18
得票数 0
回答已采纳
1
回答
html
抓取
html
、
r
、
bind
、
screen-scraping
抓取
网页上
的
作业,结果遇到了问题。12页nfl足球统计
数据
的
数据
帧
。所以我最终得到了一个
数据
帧
,它有一堆不同
的
QB,并重复它们,而不是将每个QB放在一行
中
……例如,德鲁·布里斯出现在
所有
的唱片中。但基本上,有没有一种方法可以让我为每个QB有一行,而不是一堆NA,每行有一个统计
数据
??我将去掉第一
列
、排名列和链接
列
...只是还没走到那一步。我认为这
浏览 11
提问于2020-10-26
得票数 0
2
回答
如何
使用循环填充零
列
的
空pandas
数据
帧
的
单元格?
python
、
pandas
、
dataframe
我需要
抓取
数百个页面,而不是存储每个页面的整个json,我只想将每个页面
中
的
几列存储到pandas
数据
帧
中
。然而,在
数据
帧
为空
的
一开始,我遇到了一个问题。我需要填充一个没有任何
列
或行
的
空
数据
帧
。pandas as pd df = pd.DataFrame()
浏览 23
提问于2021-10-28
得票数 0
回答已采纳
1
回答
多线程
中
的
pandas
数据
帧
python
、
multithreading
、
pandas
、
dataframe
有没有人能告诉我一种在python中将
数据
添加到pandas dataframe
中
的
方法,而多个线程将使用一个函数,在这个函数
中
,
数据
必须被附加到dataframe
中
...?我
的
代码从一个网址
抓取
数据
,然后我使用了df.locindex...将废弃
的
行添加到
数据
帧
中
。 因为我已经启动了一个多线程,它基本上将每个
URL
分配给每个线程。所以简而言之,
浏览 1
提问于2016-12-03
得票数 6
回答已采纳
1
回答
R xml get在特定节点后跟随属性值
r
、
xml-parsing
、
libxml2
、
lapply
我正在尝试解析出xml文件
中
的
所有
操作节点,并添加以下atbat num值。下面是xml文件
的
一部分。我
的
代码可以
抓取
所有
的动作,我只是不知道
如何
将下面的atbat num添加到list/dataframe
中
。我认为它是兄弟节点,而不是父/子节点,因为操作不是嵌套在atbat节点下
的
。我使用
的
代码是这样
的
,我试图合并下面的兄弟不等于action,但不能只返回错误
浏览 1
提问于2015-09-04
得票数 0
1
回答
迭代两只熊猫
的
数据
,并将
数据
从一个
数据
添加到另一个
python
、
pandas
、
dataframe
、
iteration
我有两只熊猫
的
数据
框架,看起来是这样
的
:index un_id city2 defun_id2 john lmn4 jessica def 我需要通过un_id
列
在新
的
数据
帧
或现有的
数据
框架
中
匹配
浏览 3
提问于2016-08-09
得票数 1
回答已采纳
1
回答
循环遍历
抓取
的
数据
以将
数据
存储在R
中
的
dataframe
中
r
、
loops
、
web-scraping
、
rvest
我是R
的
新手,目前正在尝试从web上
抓取
一些
数据
。问题是,我希望代码每五分钟运行一次,并在每次运行后将
数据
存储在
数据
帧
中
。
所有
抓取
的
数据
都应该存储在相同
的
数据
帧
中
。例如:网站上有一个生产
数据
,我想将它们
抓取
到R:100 200 这些
数据
每5分钟
浏览 0
提问于2020-02-28
得票数 1
2
回答
从维基百科上用漂亮
的
汤刮掉整张桌子,然后装进熊猫里
python
、
pandas
、
dataframe
、
html-table
、
beautifulsoup
我目前正在
抓取
下面的维基页面:,只有一个表开始于比较。我正试着把整张桌子都刮掉,然后把它输出给熊猫。我知道
如何
添加初始
列
,飞机,但在从卷开始
抓取
列
时遇到问题。
如何
将表
中
的
所有
行或
列
添加到
数据
帧
中
?
浏览 0
提问于2019-12-18
得票数 1
2
回答
从网络
抓取
中
过滤和格式化
数据
帧
python
、
pandas
、
dataframe
、
web-scraping
我是Python
的
新手,但对R很熟悉。我正在尝试从雅虎获取股票价格
数据
。我成功地检索到了价格
数据
,并且能够创建一个
数据
帧
。然而,雅虎也包括何时派发股息。现在,我想忽略红利,但在红利支付时,我无法过滤要删除
的
数据
帧
。此外,我还想更改Date
列
的
格式,例如,从Mar 14, 2000更改为%Y-%m-%d。88.90 首先,我尝试在'None'上进行过滤,但那是一个空
的
数据<
浏览 9
提问于2020-01-11
得票数 3
回答已采纳
2
回答
使用Regex + BeautifulSoup
抓取
XML并存储到Pandas
中
python
、
regex
、
pandas
、
beautifulsoup
我正在使用beautifulSoup
抓取
一些xml站点,然后将
抓取
的
数据
存储到一个
数据
帧
中
。XML
的
格式通常是一致
的
,所以
抓取
工作正常。但可能有15%
的
时间,
数据
不会保存到
数据
帧
中
,因为其中一个前缀略有不同。 例如,当
抓取
这三个
URL
时,第二个和第三个
URL
会毫无问题地存储到
浏览 13
提问于2020-05-10
得票数 2
回答已采纳
2
回答
如何
使用pandas绘制类似命名
的
列
?
python
、
pandas
、
csv
、
plot
我读过一些使用pandas
的
csv文件。现在只有两个文件,但在几周内,我将使用数百个具有相同
数据
变量
的
csv文件。我使用for循环读取文件,并将
数据
帧
附加到单个列表
中
,然后使用此for循环来区分一些名称:我
的
问题是,
如何
使用条形图比较文件之间
的
变量?
如何
调用
所有
温度
列
在条形图中对它们进行比较? 我试着使用这个,但不
浏览 21
提问于2021-03-13
得票数 1
回答已采纳
1
回答
尝试在R
中
连接多个
数据
帧
时出现
的
问题
r
、
merge
、
left-join
、
missing-data
、
cbind
我有三个
数据
帧
:df1,df2,df3,具有相同
的
列
数和行数,在相同
的
order.Their列名
中
除了最后三
列
(42:43)特定于每个df之外是完全相同
的
(例如: col41df1,cold42df1,我想要连接这三个
数据
帧
,这样特定于每个
数据
帧
的
列
将被附加到末尾,我将得到一个有49
列
的
数据
<
浏览 4
提问于2018-07-23
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Go 爬虫在大规模数据抓取中的性能如何
如何在Excel表格中快速的进行两列数据的互换?
【WPS神技能】如何判断Excel表格中的某列数据是不是在数据库中?
如何对 dataframe中的某一列数据 开根号呢?
Excel综合应用:如何显著标记出两列数据中的不同值?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券