腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Scala
dataframe
是否
根据
其他
列
添加
新
列
?
scala
、
dataframe
6 26 0 7 2 14 1 14 3 21 9 1 9 我希望
新
列
任何人都知道怎么做,因为在那之后,我只需要在
新
的G
列
中显示最大的20个数字 如果之前有人问过这个问题,我很抱歉,并提前表示感谢。
浏览 5
提问于2020-01-16
得票数 0
回答已采纳
1
回答
Spark
DataFrame
:
根据
其他
列
添加
新
列
python
、
apache-spark
我想
添加
一个
新
列
new_col,如果
列
a的值在yes_list中,则在new_col中该值为1,否则为0 from pyspark import SparkContext sc = SparkContext.getOrCreate
浏览 11
提问于2020-07-09
得票数 0
回答已采纳
2
回答
根据
其他
列
值向
dataframe
添加
新
列
python
、
pandas
、
dataframe
我有一个数据,其中有两
列
: DNI,电子邮件。:. name2 lastname2 8658685我希望
根据
邮件的不同将num
列
添加
到第一个
dataframe
中,如果电子邮件
列
不存在名称和姓氏组合,我希望
添加
"0“值,它如下所示:. 1N
浏览 2
提问于2020-07-26
得票数 1
回答已采纳
2
回答
如何在不从
DataFrame
转换和访问数据集的情况下向Dataset
添加
列
?
scala
、
apache-spark
我知道使用.withColumn()向星火.withColumn()
添加
新
列
的方法,以及返回
DataFrame
的UDF。我还知道,我们可以将结果
DataFrame
转换为DataSet。
是否
有一种“面向对象的方式”来访问
列
(而不是将列名作为字符串传递),就像我们以前使用RDD那样,用于追加一个
新
列
。 如何在地图、过滤器等正常操作中访问
新
列
?res5: org.apache.spark.sql.<e
浏览 1
提问于2016-11-15
得票数 11
回答已采纳
2
回答
RDD对混合
DataFrame
API的UDF性能的影响
scala
、
performance
、
apache-spark
、
apache-spark-sql
、
rdd
(
Scala
特有的问题。)RDD和UDF相似,因为它们都不能从催化剂和钨的优化中获益。
是否
还有
其他
开销,如果存在,这两种方法之间
是否
有区别?为了给出一个具体的例子,假设我有一个
DataFrame
,它包含一
列
具有自定义格式的文本数据(不适于regexp匹配)。
浏览 2
提问于2016-08-09
得票数 9
2
回答
SparkR:“无法解析列名...”向Spark数据框
添加
新
列
时
sparkr
我正在尝试将一些计算
列
添加
到SparkR数据框中,如下所示:(unix_timestampOut.minus.In.mins", 第一个命令执行ok,head(Orders)显示
新
列
(
DataFrame
.<e
浏览 2
提问于2015-12-29
得票数 0
1
回答
Spark在
添加
随机双列时,在所有行中都有重复值。
scala
、
apache-spark
、
dataframe
我试图在
dataframe
中
添加
一个
新
列
。
新
列
包含随机双值。该问题是
DataFrame
中所有行的
新
列
中的值重复。我使用
scala
.util.Random类来生成。我试图简单地向
dataframe
添加
一个
新
列
,就像在类似的帖子中建议的那样。我试图将
DataFrame
更改为Dataset并
添加
列
。
浏览 2
提问于2019-04-26
得票数 2
回答已采纳
2
回答
可以从
Scala
调用python函数吗?
python
、
scala
、
apache-spark
、
pyspark
、
spark-dataframe
我正在创建一个火花作业,它要求使用用python编写的函数将
列
添加
到
dataframe
中。其余的处理是使用
Scala
完成的。我已经找到了如何从pyspark调用Java/
Scala
函数的示例: 我发现用另一种方式发送数据的唯一例子是使用pipe。我
是否
可以将整个
dataframe
发送到python函数,让函数操作数据并
添加
其他
列
,然后将结果数据返回给调用的
Scala
函数
浏览 3
提问于2017-09-15
得票数 5
1
回答
将StringType
列
添加
到现有的
DataFrame
中,然后应用默认值
scala
、
apache-spark
、
dataframe
、
apache-spark-sql
(更重要的是,),这个问题也仅限于向现有的
dataframe
中
添加
一个
新
列
,而我需要
添加
一个
列
以及数据中所有现有行的值。因此,我希望向现有的
DataFrame
添加
一
列
,然后将该
新
列
的初始(“默认值”)值应用到所有行。y| z||true|not true| red|这意味着,我希望向StringType类型的
浏览 4
提问于2016-10-10
得票数 7
回答已采纳
2
回答
用单个ID
列
减去DataFrames -重复列的行为不同
apache-spark
、
apache-spark-sql
我正在尝试将两个DataFrames与相同的模式(在Spark1.6.0中,使用
Scala
)进行比较,以确定在
新
表中
添加
了哪些行(即在旧表中不存在)。我需要通过ID来完成这个任务(即检查单个
列
,而不是整行,以查看什么是
新
的)。有些行在不同版本之间可能发生了更改,因为它们在两个版本中都具有相同的id,但
其他
列
已经更改--我不希望这些列出现在输出中,因此不能简单地减去这两个版本。
根据
各种建议,我在所选的ID列上做了一个左外部联接,然后从联接的右侧选择<em
浏览 6
提问于2017-07-14
得票数 1
回答已采纳
1
回答
根据
其他
列
是否
有数据
添加
新
列
python
、
python-3.x
、
pandas
我有一只熊猫的资料,如下所示:1 2 3na na 5 现在我想
添加
另一
列
a,它的值依赖于x,y和z,如果x是可用的,那么a将是"yes“。如果它是na,那么它将检查y。
浏览 0
提问于2019-08-14
得票数 1
回答已采纳
1
回答
在
Scala
中设计避免if-else梯形图的数据帧规则引擎
scala
、
dataframe
、
apache-spark
、
user-defined-functions
我想
添加
一
列
(“new_col”)。在基于不同规则的数据帧中,该规则是从现有列计算得出的。这些规则很复杂,有时会
根据
数据帧的4-5
列
进行计算。请参考以下代码片段: old
dataframe
= df(A,B,C,D,E,F,G,H) } return val3
浏览 7
提问于2020-04-08
得票数 0
回答已采纳
2
回答
将
新
列
及其数据
添加
到现有的
DataFrame
中,使用
scala
、
apache-spark
、
spark-dataframe
在
scala
中,我有一个ListString,我想将它作为一个
新
列
添加
到现有的
DataFrame
中。假设要
添加
一个部门的
新
列
Name | Date | DepartmentRohan| 2007-12-21 |我怎样才能在
Scala
中做到这一点?
浏览 2
提问于2016-10-03
得票数 1
2
回答
如何在
Scala
Spark中使用另一
列
的withColumn值组成列名
scala
、
apache-spark
、
apache-spark-sql
我正在尝试向
DataFrame
中
添加
一个
新
列
。此列的值是另一
列
的值,该
列
的名称依赖于同一
DataFrame
中的
其他
列
。--+----+----+----+| B| 2| 0.2| 0.4| 0.4|也就是说,我
添加
了
列
源
列
A_1的名称来自于连接
列
A和
浏览 1
提问于2018-01-10
得票数 5
1
回答
如何将Spark
dataframe
添加
到另一个数据帧的底部?
scala
、
apache-spark
、
dataframe
我可以使用withcolumn向数据帧中
添加
新
列
。但是在
scala
中,我如何向
DataFrame
添加
新
行呢? 我正在尝试将一个数据帧
添加
到另一个数据帧的底部。因此,无论是如何在
scala
中
添加
行,或者如何将
DataFrame
添加
到另一个行的底部,都会有所帮助。谢谢
浏览 0
提问于2015-11-06
得票数 23
回答已采纳
1
回答
在现有
列
的基础上在
DataFrame
中
添加
新
列
scala
、
apache-spark
、
apache-spark-sql
我有一个包含日期时间
列
的csv文件:"2011-05-02T04:52:09+00:00“。我使用
scala
,文件被加载到spark
DataFrame
中,我可以使用jodas时间来解析日期:import sqlContext.implicits" -> "true")) val d = org.joda.time.format.DateTimeFormat.forPattern("yyyy-mm-dd
浏览 0
提问于2015-04-28
得票数 3
回答已采纳
1
回答
通过使用
Dataframe
中的多个
其他
列
的值将
新
列
添加
到
dataframe
中
dataframe
、
scala
、
apache-spark
、
apache-spark-sql
我有一个
Dataframe
,我应该
根据
其他
列
的值向它
添加
一个
新
列
。我有一个来自excel的Nested IF公式,我应该实现它(用于向
新
列
添加
值),当转换为编程术语时,如下所示:{ }else{} i,j,
浏览 2
提问于2017-11-22
得票数 4
回答已采纳
2
回答
来自
其他
列
和行的
DataFrame
中的
新
列
python
、
pandas
、
dataframe
我想在现有的
DataFrame
,df中创建一个
新
的
列
V。我希望
新
列
的值是该行中'x‘
列
中的值与它下面行中'x’
列
的值之间的差异。例如,在下图中,我希望
新
列
的值为93.244598 - 93.093285 = 0.151313。 我知道如何
根据
Pandas中现有的
列
创建一个
新
列
,但我不知道如何使用此方法引用
其他
行。
是否<
浏览 4
提问于2022-07-26
得票数 1
回答已采纳
1
回答
Apache中
列
的顺序在从临时表中选择数据时出错,如何将特定
列
放在第一位?
dataframe
、
scala
、
apache-spark
、
apache-zeppelin
目前,我们首先显示了
scala
DataFrame
输出的id值(但它是按时间顺序
添加
到最后一个
DataFrame
中的)。
其他
列
基于.pivot()函数和数据动态显示。当我在%sql解释器中调用数据时,顺序发生了变化,从而使我下载的CSV文件也有id列作为最后一
列
,这对我不起作用。我不能通过手动将id
列
放在第一点来编写选择脚本,因为我不能控制
其他
列
,因为有了pivot。还有什么
其他
方法可以让特定的<e
浏览 11
提问于2021-12-22
得票数 0
回答已采纳
1
回答
将geohash_decode函数应用于数据帧中的
列
machine-learning
、
data-science
、
geohashing
我正在尝试将地理哈希返回到地理坐标,但我没有想出一个函数,可以对数据帧中的
列
执行此操作。
浏览 0
提问于2019-05-02
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
肝了3天,整理了90个Pandas案例
pandas系列学习(三):DataFrame
数据分析工具Pandas的数据结构学习
第四范式OpenMLDB: 拓展Spark源码实现高性能Join
pandas.dataframe 专题使用指南
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券