腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
基于
行
值
的
Spark
选择
列
scala
、
dataframe
、
apache-spark
、
apache-spark-sql
我有一个全
字符串
spark
dataframe
,我需要返回其中
所有
行都满足
特定
条件
的
列
。
scala
> val df =
spark
.read.format("csv").option("delimiter",",").option("header", "true").option("inferSchema| mamma
浏览 22
提问于2020-08-28
得票数 0
1
回答
将StringType
列
添加到现有的
DataFrame
中
,然后应用默认值
scala
、
apache-spark
、
dataframe
、
apache-spark-sql
Scala
2.10在这里
使用
Spark
1.6.2。我有一个与类似的(但不是相同
的
)问题,然而,被接受
的
答案不是,它假定了关于火花
的
某种“预先知识”;因此我无法复制它或理解它。(更重要
的
是,),这个问题也仅限于向现有的
dataframe
中
添加一个新
列
,而我需要添加一个
列
以及数据中
所有
现有
行
的
值。因此,我希望向现有的
DataFrame</em
浏览 4
提问于2016-10-10
得票数 7
回答已采纳
1
回答
是否可以将
字符串
注册为UDF?
scala
、
apache-spark
、
user-defined-functions
在
Spark
(
Scala
)
中
,在将应用程序jar提交给
Spark
之后,jar是否可以从数据库表
中
获取多个
字符串
,将每个
字符串
转换为催化剂表达式,然后将该表达式转换为UDF,并
使用
UDF过滤另一个
DataFrame
中
的
行
,并最终合并每个UDF
的
结果?(上述表达式需要
DataFrame
的
一些或
所有
列</e
浏览 4
提问于2020-08-01
得票数 0
回答已采纳
1
回答
如何在不
使用
javaRDD
的
情况下通过
dataframe
从hbase获取数据
java
如何在不
使用
javaRDD
的
情况下
使用
dataframe
(
spark
sql)从Hbase获取数据。”
行
中
的
异常: hbase.columns.mapping
的
行
字符串
的
值无效:java.lang.IllegalArgumentException,城市
字符串
r: city‘at org.apache.hadoop.hbase.
spark
.Defa
浏览 4
提问于2017-05-12
得票数 0
1
回答
如何从列表
中
创建
spark
数据帧
scala
、
apache-spark
我有一个
scala
List List[Any] = List("a", "b",...),我需要获取一个
Spark
dataframe
,它只包含列表中
所有
列
的
一
行
。我正在尝试用返回org.apache.
spark
.rdd.RDD[Any] = ParallelCollectionRDD[5834] at parallelize at <console>:81
的
sc.parallel
浏览 2
提问于2018-09-26
得票数 1
2
回答
使用
Scala
删除
列
中
包含
特定
值
的
Spark
DataFrame
行
scala
、
dataframe
、
apache-spark
我正在
使用
tryping来删除
spark
dataframe
中
包含
特定
行
中
的
特定
值
的
行
。例如,如果我有下面的
DataFrame
,我想删除
列
"A“中有"two”
的
所有
行
。所以我想删除索引为1和2
的
行
,我想
使用
Scala
2
浏览 188
提问于2020-11-03
得票数 0
回答已采纳
1
回答
向
dataframe
星火/
scala
添加新
列
时遇到
的
问题
scala
、
apache-spark
、
dataframe
、
apache-spark-sql
、
user-defined-functions
,后者是DF
中
的
列
。我试图通过
使用
DF和when向dateDiff添加一个新
列
,后者
使用
dateDiff来获取日期
之间
的
差异。
的
值没有被转换成
字符串
来解析为日期。这就是发生
的
事吗?如果是,如何将
列
值转换为
字符串
?下面是我从DF中
使用
的
列
的
架构: |-- item_due_date: stri
浏览 1
提问于2017-11-27
得票数 0
回答已采纳
2
回答
为什么$不能处理String类型
的
值(并且只直接处理
字符串
文本)?
scala
、
apache-spark
、
apache-spark-sql
" val Date = "Date"} 然后,我想按
列
对
浏览 2
提问于2018-01-11
得票数 2
回答已采纳
8
回答
从星火
DataFrame
中
选择
特定
列
scala
、
apache-spark
、
apache-spark-sql
我已经将CSV数据加载到星火
DataFrame
中
。 我需要将这个
dataframe
分割成
两个
不同
的
dataframe
,其中每个数据都包含来自原始
dataframe
的
一组
列
。如何根据
列
在星火数据中
选择
一个子集?
浏览 7
提问于2018-08-04
得票数 40
回答已采纳
2
回答
Scala
火花
选择
不按预期工作
scala
、
apache-spark
很肯定这是我做错
的
事。然而,
浏览 4
提问于2015-11-12
得票数 0
回答已采纳
2
回答
如何将函数应用于
Spark
DataFrame
的
列
?
scala
、
apache-spark
、
dataframe
、
apache-spark-sql
让我们假设我们有一个
Spark
DataFrame
Class[_ <: org.apache.
spark
.sql.
DataFrame
] = class org.apache.
spark
.sql.
DataFrame
使用
下面的模式root|-- tk: array (nullable = true) ||-- element: strin
浏览 2
提问于2016-01-05
得票数 7
回答已采纳
1
回答
Spark
Scala
:
使用
$
的
符号
中
的
功能差异?
scala
、
apache-spark
、
apache-spark-sql
下面
两个
表达式
之间
有功能上
的
区别吗?对我来说,结果看起来是一样
的
,但很好奇是否有未知
的
未知。$符号表示什么/它是如何读取
的
?
浏览 126
提问于2021-01-13
得票数 2
回答已采纳
1
回答
使用
列
比例列表进行
Spark
选择
scala
、
apache-spark
我正在尝试找到一种
使用
List[ column,我正在分解一个
列
,而不是用我
的
分解列传回
所有
我感兴趣
的
列
]来进行
spark
select
的
好方法。var columns = getColumns(x) // Returns a List[Column]试图找到一种好
的
方法,我知道,如果它是一个
字符串</e
浏览 0
提问于2016-10-07
得票数 9
回答已采纳
2
回答
用单个ID
列
减去DataFrames -重复列
的
行为不同
apache-spark
、
apache-spark-sql
我正在尝试将
两个
DataFrames与相同
的
模式(在
Spark
1.6.0
中
,
使用
Scala
)进行比较,以确定在新表
中
添加了哪些
行
(即在旧表
中
不存在)。有些行在不同版本
之间
可能发生了更改,因为它们在
两个
版本中都具有相同
的
id,但其他
列
已经更改--我不希望这些列出现在输出
中
,因此不能简单地减去这
两个
版本。根据各种建议,我在所选<em
浏览 6
提问于2017-07-14
得票数 1
回答已采纳
7
回答
如何在
spark
的
数据
中
“负
选择
”
列
scala
、
apache-spark
、
dataframe
、
apache-spark-sql
这个df有"A“、"B”和"C“
列
。现在假设我有一个Array,它包含这个df
列
的
名称:我想以这样
的
方式来做一个df.select(),这样我就可以指定哪些
列
不能
选择
。例如:假设我不想
选择
列
"B“。我试过了 df.select(column_names.filter(_!="
浏览 21
提问于2015-07-15
得票数 22
回答已采纳
2
回答
星火SQL抛出错误"java.lang.UnsupportedOperationException:未知字段类型:空“
hadoop
、
apache-spark
、
hive
、
apache-spark-sql
当创建一个
列
值默认值为NULL
的
表时,我在
Spark
(1.6) SQL
中
获得了下面的错误。示例:将表测试创建为select column_a,NULL作为column_b从test_temp创建;是否有更好
的
方法
使用<
浏览 3
提问于2017-12-27
得票数 0
回答已采纳
1
回答
在木星中
使用
Apache内核
的
有限
Scala
语法
scala
、
apache-spark
、
jupyter-notebook
、
apache-toree
我已经通过
使用
成功地将
Spark
-
Scala
内核包含到了我
的
木星笔记本
中
。以下是
两个
例子:以下代码在终端shell
中
工作: ("Brandon", "Erica"),但是,当尝试
使用
<e
浏览 14
提问于2017-11-06
得票数 0
回答已采纳
1
回答
使用
Scala
:通过对每个可能
的
对执行函数来计算表
scala
、
apache-spark
、
apache-spark-sql
、
mapreduce
我对
Scala
/
Spark
完全陌生,我正试图从头创建一个
Spark
应用程序来计算n整数集
之间
的确切n(您不需要知道回答这个问题
的
是什么)。我有一个
Dataframe
,其中每一
行
都是一组整数,例如:以及一个函数jacsim(s1, s2),它返回
两个
集合
之间
的
Jaccard相
浏览 1
提问于2020-11-04
得票数 1
回答已采纳
3
回答
用case激发
Dataframe
选择
列
scala
、
apache-spark
、
dataframe
、
apache-spark-sql
、
spark-dataframe
我想实现以下几点1) Emp1.csv (档案)SourceDat
浏览 4
提问于2017-08-10
得票数 0
回答已采纳
1
回答
除了火种之外,左撇子有什么区别吗?
scala
、
apache-spark
、
apache-spark-sql
在我下面的实现
中
,左反连接和除星火之外是否有区别? | ).toDF("number", "word", "value") someDF5: org.apache.
spark
.sql.
DataFrame
scala
> val someDF4 = someDF.drop("value&q
浏览 1
提问于2020-04-29
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
肝了3天,整理了90个Pandas案例
第四范式OpenMLDB: 拓展Spark源码实现高性能Join
Spark SQL DataFrame与RDD交互
遇见YI算法之初识Pyspark(二)
教程:Apache Spark SQL入门及实践指南!
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券