腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
dataframe.withColumn
和
变量
似乎
不起作用
python
、
dataframe
、
databricks
我正在尝试编写如下语句: profileId = "some“df.withColumn("ProfileId",df.withColumn(ProfileId)),并在DataBricks上获得一个AnalysisException。据我所知,这应该是有效的,所以我想知道是什么问题。任何帮助都将不胜感激。
浏览 20
提问于2019-02-27
得票数 0
回答已采纳
2
回答
Python:用方法将self链接起来是否违反了德米特定律?
python
、
spark
、
law-of-demeter
在Python中,
使用
方法链接的代码非常常见,与其他地方的代码的主要区别是,这也与返回相同类型但已修改的对象结合在一起。这种方法通常假定对象是不可变的,并且只返回新实例。pyspark.sql import functions as F dataframe =
dataframe.withColumn
("a", F.rand()) dataframe =
dataframe.withColumn
("b&
浏览 0
提问于2022-10-29
得票数 1
回答已采纳
2
回答
pyspark withColumn,如何改变列名
dataframe
、
pyspark
、
columnname
""" """ #df =
dataFrame.withColumn
(f.col(colName), f.col(targetColName)) returndf out注释行
不起
浏览 0
提问于2018-09-13
得票数 1
1
回答
dataframe.orderBy(rand)与
dataframe.withColumn
("X",兰德).orderBy(“X”)相同吗?
apache-spark
、
apache-spark-sql
看着dataframe.orderBy(rand)
dataframe.withColumn
("X",rand).orderBy("X")这就引出了两个问题。在排序的上下文中,dataframe.orderBy(rand)与
dataframe.withColumn
("X",rand).orderBy("X&quo
浏览 0
提问于2019-02-07
得票数 1
回答已采纳
1
回答
解析星火中嵌套的JSON列
json
、
apache-spark
"b":["abc","ab"]}这是我的预期输出:1,abc到目前为止,这就是我要来的,这是我现在得到的输出2
浏览 1
提问于2019-03-21
得票数 0
回答已采纳
1
回答
如何在spark dataframe中获取记录的输入文件名?
spark-dataframe
我通过从s3加载制表符分隔的文件,在spark中创建了一个数据帧。我需要获取dataframe中每条记录的输入文件名信息,以便进一步处理。我试过了但是我得到了input_file_name的空值。谁来帮我解决这个问题。
浏览 0
提问于2016-10-11
得票数 5
回答已采纳
2
回答
在吡火花数据帧中添加新列比较同一数据帧中存在的两列
pyspark
、
pyspark-dataframes
我有一个有两列COL_1
和
COL_2的数据框架。我想再添加一列COL_3
和
COL_3值,这取决于下表中COL_1
和
COL_2的比较。当两个值都为不同的=无效时我尝试了一些代码下面的东西,但它
不起作用
。df_Input =
dataframe.withColumn
("COL_3", (col("COL_1") !
浏览 2
提问于2020-03-01
得票数 0
回答已采纳
1
回答
使用
Spark写入BigQuery中的JSON列类型
java
、
apache-spark
、
google-bigquery
、
apache-spark-sql
我想用Java管道写这封信,但我
似乎
找不到一种可能的方式。如果创建JSON的结构,则会产生RECORD类型。如果我像下面这样
使用
to_json,它将转换为STRING类型。dataframe =
dataframe.withColumn
("JSON_COLUMN, functions.to_json(functions.col("JSON_COLUMN))) 我知道BigQuery
浏览 3
提问于2022-12-02
得票数 0
1
回答
如何
使用
SHA-2
和
随机盐加密spark sql数据帧列
scala
、
encryption
、
apache-spark-sql
、
salt
、
sha2
我
使用
的是Scala编程语言。我想
使用
SHA-2算法
和
随机盐加密整个列的spark sql数据帧我怎样才能把盐加到这个散列中? 谢谢
浏览 26
提问于2020-02-21
得票数 0
回答已采纳
1
回答
基于pyspark中其他列的过滤值创建列
pyspark
、
data-cleaning
我尝试创建一个名为k的新
变量
,它的值取决于metric是I还是M,否则我想返回一个空值。IIT| M| 6| 8|+---+-------+-------+------+---+---+ 我试过用这个,但
不起作用
dataframe=
dataframe.withColumn
('k', when ((col('metric') == 'M',(dataframe['metric'
浏览 0
提问于2022-11-28
得票数 0
回答已采纳
1
回答
迭代C#中的spark dataframe列
c#
、
dataframe
、
apache-spark
、
apache-spark-sql
、
spark-dotnet
我正在
使用
microsoft.spark版本1.0.0来处理从网络接收到的一个parquet文件。
似乎
找不到如何将列转换为可枚举的方法,并且没有内置的方式来迭代列。任何指针都会有帮助。
dataframe.WithColumn
("alias", ExtractAlias(dataframe["userid"])) ExtractAlias(Column userID_column){need
浏览 29
提问于2020-12-04
得票数 0
回答已采纳
2
回答
string for Python -不能将字符串列强制转换为十进制/双进制
apache-spark
、
pyspark
、
apache-spark-sql
system_id: string (nullable = true)在创建DataFrame之后,我希望将列'gen_val'(存储在
变量
版本#1dataFrame =
dataFrame.withColumn
(results.inputColumns, dataFrame[results.inputColumns].cast('double'))错误
浏览 1
提问于2017-10-25
得票数 3
回答已采纳
3
回答
数据帧Spark scala分解json数组
json
、
scala
、
apache-spark
、
dataframe
、
apache-spark-sql
currency":"USD"} |我一直在尝试
使用
如下的分解功能,但它
不起作用
。val newDF =
dataframe.withColumn
("nestedPayment", explode(dataframe.col("Payment"))) 任何帮助都是非常感谢的!
浏览 1
提问于2017-03-17
得票数 10
回答已采纳
1
回答
在udf中
使用
广播火花
变量
时,如何确保在初始化
变量
之前不
使用
该
变量
?
scala
、
apache-spark
、
apache-spark-sql
、
spark-streaming
、
user-defined-functions
我的UDF
和
广播
变量
都属于一个可序列化的helper对象,我在类的顶部初始化了广播
变量
,并在该类的def中调用了UDF。然而,在评估期间,当尝试访问广播
变量
时,我会得到一个空指针异常。显然,这里的操作顺序并不像预期的那样发生(在加载广播
变量
的相关数据之前执行UDF ),所以我假设我需要某种方式来强制执行某种依赖/顺序。为了记录这一点,我不想用对象
和
类分离的特殊方式来实现它,这是我能想到的最好的方法,可以避免序列化我的UDF并确保UDF能够访问广播
变量
(它依赖于
浏览 5
提问于2022-09-08
得票数 0
回答已采纳
1
回答
如何以最优的方式在不同的分析函数上
使用
相同的窗口分区?
scala
、
apache-spark
、
apache-spark-sql
我
使用
相同的windows分区,并在其上运行不同的函数,如max、min
和
row_number。val windows = Window.partitionBy("id").orderBy(col("date").desc)
dataframe.withColumn
("max", max(col
浏览 5
提问于2019-10-06
得票数 1
回答已采纳
1
回答
当foldLeft应用于dataFrame时,如何理解输出数据?
scala
、
apache-spark
我试图
使用
Scala中的foldLeft & regex_replace从Dataframe的字符串列中删除新的行字符。该表有4列:id, id1, id2, id3
和
id3中有一个新的行字符。
浏览 0
提问于2018-08-27
得票数 1
回答已采纳
2
回答
使用
jquery保存会话
变量
似乎
不起作用
jquery
、
session
我正在
使用
的代码: $.session("compareLeftContent","value");要
使用
的。
浏览 0
提问于2013-02-15
得票数 3
回答已采纳
2
回答
Java中DataFrame上的SparkSQL
和
explode
java
、
apache-spark
、
apache-spark-sql
有没有一种简单的方法可以在SparkSQL DataFrame的数组列上
使用
explode?这在Scala中相对简单,但是这个函数在Java中
似乎
是不可用的(如javadoc中所提到的)。一种选择是在查询中
使用
SQLContext.sql(...)
和
explode函数,但我正在寻找一种更好的方法,尤其是更简洁的方法。DataFrame是从拼图文件加载的。
浏览 0
提问于2015-08-06
得票数 9
回答已采纳
1
回答
如果是某个字符串Spark Scala,则更改列值
scala
、
apache-spark
我正在尝试创建一个UDF函数来替换DF中的一些值。我有以下DF: df1| Periodicity || Monthly || Annual | +-------------+ 因此,如果我在这个DF中找到“年度”,我想将其更改为"EveryYear“,如果我找到"Daily”,则将其更改为"EveryDay“。这就是我正在尝试的: val modifyColumn = () => if (df1.col("Periodicity
浏览 16
提问于2021-07-15
得票数 0
1
回答
WordSpec,
使用
“in”
和
“pending”
似乎
不起作用
scala
、
scalatest
从Specs2转移到Scalatest,我尝试
使用
WordSpec,但没有成功。我
使用
了来自的示例,但由于出现错误,它对我
不起作用
。然后,我复制了scaladoc中的基本测试,仍然有相同的问题。in (pending)[error] one error found 我试着搬到FunSpec,但不能强迫自己,WordSpec对我来说
似乎
更自然
浏览 0
提问于2012-08-25
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
python中轻松声明变量和使用
Python 中的变量如何定义和使用
C语言指针变量的定义和使用(精华)
Python程序开发(九)函数使用和变量的作用域详解
React基础案例05+06 JSX使用外部变量和方法
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券