腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
pyspark
:
在
python
中
`
val
`
是
变量
的
情况下
,如
何在
计算
中
使用
多个
` `
lit
(
val
)`?
pyspark
D = # came from numpy.int64 via pandas output_df.withColumn("c", F.col("A") - F.log(F.
lit
(D) - F.
lit
(E))) 我尝试
在
列操作
的
pyspark
中
使用
多个
lit<
浏览 14
提问于2020-07-06
得票数 1
3
回答
将SCALA === (三等号)转换为用于火花列
的
Python
python
、
scala
、
apache-spark
、
pyspark
我
在
Scala中有一段用于
Python
转换
的
代码import org.apache.spark.sql.._
val
searchTermsNoEndDatecountryCodes: String): String = { countr
浏览 3
提问于2022-03-18
得票数 0
1
回答
如
何在
Scala
中
以分数图
的
形式获取不同
的
值?
python
、
scala
、
apache-spark
我想在Scala
中
对我
的
数据帧进行分层采样。我
的
dataframe只有一列,我想为它形成一个分数映射。我可以
在
pyspark
中
实现,但在Scala中会出错。以下
是
我
在
Scala
中
尝试
的
内容:
val<
浏览 87
提问于2018-06-07
得票数 0
3
回答
计算
数据帧Spark
中
缺少
的
值
的
数量
apache-spark
、
dataframe
、
apache-spark-sql
我有一个缺失值
的
dataset,我想要得到每一列缺失值
的
数量。下面
是
我所做
的
,我得到了非缺失值
的
数量。如何
使用
它来获取缺失值
的
数量?-------+---+---+---++-------+---+---+---+ 如有任何帮助,请获取一个dataframe,我们将在其中查找列和每个列
的
缺失值
的
数量
浏览 3
提问于2017-06-07
得票数 9
回答已采纳
2
回答
如何将参数传递给自定义函数?
python
、
apache-spark
、
pyspark
我有一个用户定义
的
函数: result = df.withColumn('col1', calc(col
浏览 1
提问于2017-11-13
得票数 8
回答已采纳
17
回答
在
Apache Spark DataFrame
中
连接列
sql
、
apache-spark
、
dataframe
、
apache-spark-sql
如
何在
Apache Spark DataFrame
中
连接两列?Spark SQL中有没有我们可以
使用
的
函数?
浏览 7
提问于2015-07-16
得票数 159
1
回答
在
pyspark
中
创建列
的
数组
python
、
apache-spark
、
pyspark
、
apache-spark-sql
我有一个单行多列
的
数据帧。我希望它能将其转换为多行。我
在
stackoverflow上发现了一个类似的问题。import org.apache.spark.sql.Column var ColumnsAndValues: Array[Column] = df.col
浏览 18
提问于2021-03-11
得票数 0
回答已采纳
9
回答
转置柱与星火
python
、
apache-spark
、
pivot
、
transpose
我正试着把我桌子上
的
一些列转成一行。我正在
使用
Python
和Spark1.5.0。这是我
的
第一张桌子:| A |col_1|col_2|col_...|| 1|+-----+--------+-----------++-----+--------+----------谢谢你
浏览 12
提问于2016-06-16
得票数 43
回答已采纳
1
回答
如
何在
星火scala
中
通过数据动态调用withColumn函数
scala
、
apache-spark
、
spark-dataframe
这在火花-scala
中
是
可能
的
吗?我用
的
是
火花2.2 .withColumn("id",
lit
("this isid")) .withColumn("type",
lit<
浏览 0
提问于2018-04-30
得票数 0
回答已采纳
2
回答
如何根据数据
中
的
条件设置新
的
列表值?
apache-spark
、
pyspark
、
apache-spark-sql
、
spark-dataframe
、
pyspark-sql
我有一个像下面这样
的
DataFrame。|[3.594114, 1.3512149, 1.6967168] |我想根据我
的
where我想在其中设置新
的
特性值id=1,我当前
的
功能值
是
[6.629056, 0.26771536, 0.79063195,0.8923],但是我想设置[0,0,0,0]。我想在其中设置新
的
特性值id=2,我当前
的
功能值
是
浏览 6
提问于2017-12-18
得票数 0
回答已采纳
1
回答
SparkSQL:
使用
两列
的
条件求和
sql
、
apache-spark
、
aggregate-functions
、
apache-spark-sql
、
pyspark
我有一个如下
的
DF: (1, "a", "2014-12-01", "2015-01-01", 100), 我喜欢做一个groupBy prodId,并聚合“value”,将其相加,得到由列“dateIns”和“dateTrans”之间
的
差异定义<
浏览 0
提问于2015-11-23
得票数 3
回答已采纳
3
回答
如何处理spark sql
中
缺少
的
列
scala
、
apache-spark
、
apache-spark-sql
我们正在处理无模式
的
JSON数据,有时spark作业会失败,因为我们
在
spark SQL
中
引用
的
一些列
在
一天
中
的
某些时间内不可用。在这些小时内,spark作业失败,因为所引用
的
列在数据帧
中
不可用。我尝试过UDF,但是我们缺少太多
的
列,所以不能真正地检查每一列
的
可用性。我还尝试
在
更大
的
数据集上推断模式,并将其应用于数据帧,期望缺少
的
列将用null填
浏览 5
提问于2018-08-10
得票数 2
1
回答
Spark: UDF未读取已定义
的
值
scala
、
apache-spark
它根据特定列
中
的
值应用类别。该函数
使用
了前面
在
代码
中
定义
的
值。代码如下所示:
val
sc = new SparkContext()} 这会在尝试读取函数内部
的
浏览 0
提问于2015-06-08
得票数 0
1
回答
在
Pyspark
中
使用
具有
多个
参数
的
Scala UDF
scala
、
apache-spark
、
pyspark
、
user-defined-functions
如果需要
多个
参数,我很难调用UDF。以下
是
我到目前为止
在
Scala和
Pyspark
中所能做
的
事情:class SparkUDFTest() extends Serializable {Scala主类:
val
stringLength = spark.sqlContext.udf.r
浏览 1
提问于2018-02-12
得票数 2
2
回答
无法为dataframe添加数据写入
中
的
“引号”
apache-spark
、
spark-dataframe
目前,该文件不包含在“引号”
中
。我正在
使用
Spark2.1.0DataOutputResult.write.format("com.databricks.spark.csv").输出格式(必需) : "XXX","1",&
浏览 4
提问于2017-04-14
得票数 1
回答已采纳
2
回答
pyspark
中
的
ARRAY_CONTAINS多重值
python
、
sql
、
hive
、
pyspark
我正在
使用
pyspark
.sql.dataframe.DataFrame。我想根据
多个
变量
来过滤stack
的
行,而不是一个单独
的
变量
,我正在
使用
一个
Python
2Jupyter笔记本。765 | . . . |[4, 5, 8]| filtered_stack = stack.filter("array_contains(list, {
val
})"
浏览 0
提问于2017-01-09
得票数 8
7
回答
基于日期
的
火花数据过滤
apache-spark
、
apache-spark-sql
我
在
没有运气
的
情况下
尝试了下面的方法据我所知,查询
是
不正确
的
。有人能告诉我应该以什么方式格式化查询吗? 我检查过数据仓库
中
的
所有企业都有价值--它们有价值。
浏览 12
提问于2015-08-13
得票数 54
回答已采纳
1
回答
如何
使用
pySpark
将items行
中
的
数组列单元格转换为计数?
arrays
、
pyspark
、
dataset
、
transformation
我有一个
在
一列中有
多个
值
的
数据集,并且我想
计算
每个值在数据集
的
所有行中出现
的
次数。initial dataset (example)+ answers ++
val
1#
val
2#
val
3 ++
val
2 ++-----------
浏览 15
提问于2019-10-06
得票数 0
回答已采纳
5
回答
星火数据-
在
加入时实现Oracle NVL功能
scala
、
apache-spark
、
apache-spark-sql
我需要实现NVL功能
的
火花,同时加入两个数据文件。所以我已经这样写了,但是NVL或Coalesce函数缺少.so,它返回了错误
的
值。 如何将"NVL“纳入火花数据格式?
浏览 5
提问于2017-09-20
得票数 5
回答已采纳
2
回答
Spark DataFrame:
计算
行平均值(或任何聚合操作)
python
、
apache-spark
、
apache-spark-sql
、
pyspark
(
在
numpy
中
,这称为
在
axis=1上执行操作)。如果要
计算
行
中
DataFrame
的
平均值(axis=0),那么这已经
是
内置
的
了:F.mean(...)但是,有没有一种方法可以通过编程方式对列
中
的
条目执行此操作?+--+---+---+| 1| 0|100| 0| | 1| 0|
浏览 0
提问于2015-09-20
得票数 8
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
通过一个简单程序剖析python语法元素
Python中动态创建类的方法
go语言基础知识-数据类型、变量和常量
从定义变量小窥Python和Scala的设计理念不同
Python和Scala的定义变量
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券