腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
4
回答
在
每次
传递
时间
列
进行
转换
时
遍历
Dataframe
scala
、
dataframe
、
apache-spark
、
apache-spark-sql
我有一个有100
列
和列名的数据帧,比如col1、col2、col3……我想根据条件匹配对
列
的值应用特定的
转换
。我可以将列名存储
在
字符串数组中。并在withColumn中
传递
数组的每个元素的值,并且基于When条件我可以垂直
转换
列
的值。但问题是,由于数据帧是不可变的,所以每个更新的版本都需要存储
在
一个新的变量中,并且新的数据帧需要传入withColumn以便为下一次迭代
进行
转换
。有没有办法创建数据帧的数组,以便新的数据
浏览 23
提问于2020-07-10
得票数 0
回答已采纳
1
回答
将json
转换
为
在
熊猫中划行df
python
、
json
、
pandas
、
dictionary
我如何
转换
这个字典,使每个键都是一个
列
,而
时间
戳是每一行的索引--
在
每次
调用url
时
,dict values对应行条目?stats') as url:block_df = pd.
DataFrame
(block_data)block_df = pd.
DataFrame
(block_data)
浏览 5
提问于2017-08-30
得票数 4
回答已采纳
1
回答
优化函数,用给定的前一行替换一行,这是Pandas中的一个条件
python
、
pandas
、
dataframe
我有一个相对较大的数据帧(大约24000行15
列
),其中包含由神经网络(DeepLabCut)输出的老鼠运动的2D坐标数据。作为此输出数据的一部分,有一个p值得分,该得分衡量神经网络
在
应用该标签
时
的确定性程度。我试图通过
每次
遇到低p值
时
将前一行复制到其位置来过滤低质量预测,这假设rat
在
该帧中保持不变。Pval1 2 4 1.03 4 2 1.0 其思想是用来自行索引1的值替换行索引2,使得当计算这些坐标之间的帧
浏览 25
提问于2021-11-03
得票数 1
回答已采纳
1
回答
检查RDD PySpark上的操作
python-2.7
、
apache-spark
、
pyspark
、
apache-spark-sql
、
rdd
我
在
获得有问题的文件名
时
使用。
dataFrame
.The
列
中将添加到
dataFrame
中上面显示了具有值的
列
,但是当我将
dataFrame
转换
为RDD或在RDD上循环
时
,file_name
列
没有任何值。例如,print(rdd_data.take(1)) 这将显示带有空值的file_name
列</em
浏览 3
提问于2016-07-26
得票数 1
回答已采纳
2
回答
Dataframe
用唯一的时代
时间
替换每一行空值。
scala
、
apache-spark
、
dataframe
我
在
dataframes中有3行,
在
2行中,
列
id获得了空值。我需要循环
遍历
该特定
列
id上的每一行,并替换为应是唯一的并且应该发生在
dataframe
本身中的划时代
时间
。怎么做呢?例如:1 anull c 我想要这个将null
转换
为划时代
时间
的
dataframe
。
浏览 1
提问于2018-10-09
得票数 0
1
回答
将
时间
戳[us,tz=Etc/UTC]
转换
为timestamp[ns]将导致超时
时间
戳
pandas
、
apache-spark
、
pyspark
、
apache-spark-sql
、
databricks
这是我为此目的使用的代码:
dataframe
= df.toPandas()
dataframe
_json =
dataframe
.to_json(orient='records', force_ascii=False) 然而,第二行抛出了错误。从
时间
戳、tz=Etc/UTC到
时间
戳的
转换
将导致超出范围的
时间
浏览 2
提问于2021-12-29
得票数 6
1
回答
R:从
dataframe
列表的每个元素中删除零方差
列
。
r
、
list
、
dataframe
当我拆分
dataframe
时
,引入了0方差
列
(colSums=0)。列表中的Dataframes可能共享0个方差
列
,或者它们可能有完全不同的
列
和0方差。(x) {length(table(x, useNA = useNA))}) which(out==1) }
dataframe
_list_zero_var_rm[[1]][,3:n
浏览 4
提问于2015-07-28
得票数 1
2
回答
将pandas数据帧
转换
为条目列表
python
、
list
、
pandas
、
dataframe
、
tuples
numpy.array(matrix.toarray())games = {1: 0, 4: 1, 6: 2}我现在需要的是从该数据帧中获取一个列表,其中矩阵中的每个单元格都表示为以下格式的元组
浏览 3
提问于2018-02-03
得票数 1
回答已采纳
11
回答
更改pandas中的
列
类型
python
、
pandas
、
dataframe
、
types
、
casting
我希望将一个表示为列表列表的表
转换
为Pandas
DataFrame
。举一个非常简单的例子:df = pd.
DataFrame
(a) 将
列
转换
为适当类型的最佳方法是什么
在
本例中,将<
浏览 5
提问于2013-04-09
得票数 1155
回答已采纳
1
回答
如何从大型python数据帧中的复杂字符串中提取数字
python
、
regex
、
string
、
pandas
、
dataframe
我有一个接近1M行的python
dataframe
。有一个字符串列,其中包含一些数字,例如 String_Col String 24FT 20 String 3 我需要从该
列
提取24,24,20,20并将其另存为新
列
。我可以
遍历
每个单元格并
进行
字符串
转换
,但对于大型数据集来说,这会消耗大量
时间
。 任何想法都是值得感谢的。
浏览 13
提问于2020-01-16
得票数 1
回答已采纳
2
回答
PySpark数据帧的最佳实践-删除多个
列
?
python
、
dataframe
、
apache-spark
、
pyspark
假设有人想要从数据帧中删除一
列
。可以
在
不创建新数据帧的情况下做到这一点吗?看起来创建一个新的数据帧更安全,更正确,对吗?如果重用数据帧是一种糟糕的做法,假设有人想要删除几个与模式匹配的
列
: if col.startswith("aux_"):在这种情况下,
每次
创建一个新的数据帧似乎不切实际。
浏览 21
提问于2019-11-22
得票数 0
1
回答
熊猫DataFrames的SQLAlchemy模型存储
python
、
pandas
、
flask
、
sqlalchemy
我正在构建一个烧瓶应用程序,允许用户上传CSV文件(包含不同的
列
),预览上传的文件,生成摘要统计数据,执行复杂的
转换
/聚合(有时通过芹菜作业),然后导出修改过的数据。我考虑过三种方法: 将
DataFrame
压缩到PickleType中并直接存储
在
DB中。这似乎是最简单的解决方案,但意味着我将把大型二进制对象插入数据库。对
DataFrame
进行
酸洗,将其写入文件系统,并将路径存储为模型中的字符串。这使数据库保持较小,但在备份数据库和允许用户执行删除先前上传的文件等操作
浏览 1
提问于2014-05-06
得票数 13
1
回答
在
不唯一的Pandas
DataFrame
列上高效运行操作
python
、
python-2.7
、
pandas
我有一个类似于下面的
DataFrame
:raw_data = {'Identifier':['10','10','10','11',11,'12','13']}import pandas as pdprint df 正如您所看到的,'Identifi
浏览 1
提问于2017-06-19
得票数 0
1
回答
应用于星火
DataFrame
多
列
转换
的优化方法
scala
、
apache-spark
、
apache-spark-2.2
在
我的火花作业中,我必须对两个用例
在
多列上
进行
转换
: columnsDefs.foldLeft,我使用它来执行计算n个多
列
来创建n个新
列
(1输入值表示1输出值,n次)
浏览 6
提问于2021-11-01
得票数 0
3
回答
如何在python中
转换
不寻常的24小
时
日期格式?
python
、
python-2.7
、
pandas
我有格式的
dataframe
列
全
时
类型。现在,
dataframe
的这个
列
的数据类型是String。我想把它
转换
成日期
时间
,以便能够执行一些数值运算,比如对它们
进行
减法。我曾尝试
在
使用pd.to_datetime
时
指定格式,但由于
时间
是24小
时
格式,因此会抛出一个错误。做这件事最好的方法是什么?
浏览 5
提问于2016-10-21
得票数 0
回答已采纳
1
回答
将Pandas序列
转换
为分类编码
python
、
pandas
我有一个数据帧,我正在尝试对数据帧中的所有分类值
进行
编码。下面是我写的一次编码所有分类
列
的代码, data[col] = data[col].astype('category').cat.codesAttributeError: '<
浏览 30
提问于2021-05-13
得票数 1
回答已采纳
1
回答
我如何在tibble上循环并根据字符串检测更改其
列
值?
r
、
function
、
loops
、
if-statement
、
stringr
我有一个函数,在这个函数中,我尝试使用预先确定的
列
遍历
给定的tibble。{ }}} “text”
列
是文本,我希望根据每一行的“text”
列
是否包含某些“secenekler”值来更改其他
列
中的值。例如,如果对于第三行“text”
列
不包含'secenekler向量‘的第二个值,则给定Ti球中特定行的<em
浏览 8
提问于2022-04-26
得票数 0
3
回答
是否将numpy数组
转换
为
dataframe
列
?
python
、
pandas
、
numpy
、
dataframe
如何将numpy数组
转换
为
dataframe
列
。假设我已经创建了一个空的
dataframe
,df,并且我循环通过代码来创建5个numpy数组。
在
for循环的
每次
迭代中,我希望将在该迭代中创建的numpy数组
转换
为
dataframe
中的一
列
。为了清楚起见,我不想在
每次
循环迭代
时
都创建一个新的数据帧,我只想在现有的
列
中添加一
列
。df = pd.
datafram
浏览 6
提问于2017-06-08
得票数 9
1
回答
在
pyspark中按小时分组?
pyspark
、
apache-spark-sql
我有数据帧,其中包含字符串格式的
时间
列
。
dataframe
= time value 00:23:00 5 01:23:34 34 0hour count 0
浏览 26
提问于2019-10-09
得票数 0
回答已采纳
1
回答
使用列表理解
时
覆盖的数据
python
、
pandas
、
dataframe
每个新的
dataframe
应该是原始的'constituents_list‘数据格式,有两个新
列
。这两
列
向现有
列
添加定义的年数并返回值。year_list = [3, 5, 7, 10]我
在
new_dfs
在
我的结果中,所有四种数据都有相同的数据,其“男高音”为“10Y”,而“成熟度”则比“有效”一栏大10年。 我怀疑
每次<
浏览 3
提问于2020-02-20
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Pandas循环提速7万多倍!Python数据分析攻略
如何将 Pandas 循环加速71803倍
肝了3天,整理了90个Pandas案例
还在抱怨pandas运行速度慢?这几个方法会颠覆你的看法
这几个方法颠覆你对Pandas缓慢的观念!
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券