腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如
何在
Scala
dataframe
中
获取
列
的
数据类型
scala
、
dataframe
、
types
如
何在
Scala
中
从
dataframe
中
获取
列
的
数据类型
。我在各处找到了一些答案,但没有一个是有帮助和准确
的
。例如,有一个
数据类型
为(StringStype)
的
列
X,在执行以下操作之后:
scala
> df.select("X").dtypes res: Array[(String, String我正
浏览 85
提问于2019-09-21
得票数 0
回答已采纳
2
回答
星火SQL抛出错误"java.lang.UnsupportedOperationException:未知字段类型:空“
hadoop
、
apache-spark
、
hive
、
apache-spark-sql
当创建一个
列
值默认值为NULL
的
表时,我在Spark(1.6) SQL
中
获得了下面的错误。示例:将表测试创建为select column_a,NULL作为column_b从test_temp创建;是否有更好
的
方法使用spark在hive表<em
浏览 3
提问于2017-12-27
得票数 0
回答已采纳
1
回答
如何将SQL
中
的
日期时间转换为
Scala
数据类型
?
sql
、
sql-server
、
scala
、
apache-spark
、
bigdata
我正在将一些数据从MS表导入
Scala
程序。MS表大约有20个字段,因此我正在创建一个类来加载
Scala
程序
中
的
那些行。在MS
中
,有一个
列
的
数据类型
是datetime,我如
何在
Scala
程序
中
存储这种
数据类型
,我认为
Scala
没有这种
数据类型
?在MS
中
,还有一个
列
Price (数值(14,4),而不是null)
浏览 0
提问于2019-05-21
得票数 0
1
回答
DataFrame
na()填充方法和不明确引用
的
问题
apache-spark
、
dataframe
我使用
的
是Spark 1.3.1,其中连接两个数据帧会重复连接
的
列
。我在外部连接两个数据帧,希望将结果数据帧发送到na().fill()方法,以便根据
列
的
数据类型
将空值转换为已知值。我看到有一个
dataFrame
.withColumnRenamed方法,但我只能重命名一
列
。我有涉及多个
列
的
连接。我是否只需要确保存在一组惟一
的
列名,而不管我应用na().fill()方法
的
da
浏览 4
提问于2016-02-28
得票数 3
1
回答
使用星火:基于
列
1
的
回收箱绑定column1和查找column2平均值
scala
、
apache-spark
、
binning
我正在学习和
scala
语言。所以请帮帮忙。我从查询cassandra
中
获得3
列
(c1、c2和c3),并在
scala
代码
中
的
dataframe
中
获取
它。我必须保存(bin size = 3) (统计数据,
如
直方图) c1 ,并在c1回收箱
中
查找c2和c3
的
平均值。是否有任何预先构建
的
函数,我可以用来做这个,而不是传统
的
for循环,如果条件,以实现
浏览 0
提问于2016-04-13
得票数 0
1
回答
minBy等价于Spark
scala
、
apache-spark
、
apache-spark-sql
我正在寻找minBy聚合在Spark
中
的
等效功能,或者可能需要手动聚合。有什么想法吗?谢谢。
浏览 2
提问于2018-07-25
得票数 2
1
回答
按数组
列
过滤
Scala
数据帧
scala
、
apache-spark-sql
我
的
scala
dataframe
有一个
数据类型
为array(element: String)
的
列
。我想要显示该
列
中
包含单词"hello“
的
数据帧
的
那些行。上面写着:argument 1 requires string type, however, 'my:' is of array<string> type
列
。
浏览 4
提问于2018-09-07
得票数 0
回答已采纳
1
回答
尝试用两个
列
[Seq(),String] - Spark创建
dataframe
scala
、
apache-spark
、
spark-dataframe
当我在星火壳上运行以下代码时,我会得到一个
dataframe
:+------++------++------+
scala
> val df1 = Seq(Seq(Arraymember of Seq
浏览 0
提问于2018-04-12
得票数 3
回答已采纳
1
回答
用循环
获取
数据表列
的
数据类型
r
、
dataframe
、
types
我想使用循环访问
dataframe
列
的
数据类型
,然后询问这些
数据类型
是否是在列表
中
输入
的
数据类型
之一?我怎么能这么做? if(st(col) in ("category", "object", "bool")){ }在循环中,
获取
dataf
浏览 4
提问于2022-11-03
得票数 0
1
回答
java,如
何在
spark 1.4.1
中
调用UDF
java
、
apache-spark
、
user-defined-functions
、
spark-dataframe
在spark 1.4.1
中
,callUdf方法
的
参数是没有任何方法可以直接作用于
列
,
如
1.5.1
中
的
方法那么如
何在
1.4.1
中
调用UDF呢?或如何将
列
类型更改为
scala
.collection.Seq<
浏览 1
提问于2016-11-28
得票数 0
回答已采纳
1
回答
Spark
Dataframe
,使用其他
列
的
函数添加新
列
java
、
scala
、
dataframe
、
apache-spark
在我
的
scala
程序
中
,我有一个包含两
列
a和b (都是Int类型)
的
dataframe
df。另外,我有一个先前定义
的
对象obj,其中包含一些方法和属性。在这里,我想使用来自obj
的
dataframe
和属性的当前值向
dataframe
df添加一个新
列
。| c || 1 | 0 | -9 || 2 | 5 | -3 | +-
浏览 16
提问于2021-10-21
得票数 0
回答已采纳
1
回答
如何创建countVectorizer模型
的
一个
列
中
包含值数组
的
火花数据
apache-spark
、
spark-dataframe
、
countvectorizer
中
创建第4
列
,其中包含所有这3
列
的
值数组,
如
| indiana|需要这个数组,因为countVectorizer模型
的
输入应该是包含值数组
的
列
。它不应该像下面的错误消息中提到
的
那样是字符串
数据类型
: 线程"main
浏览 1
提问于2017-09-05
得票数 0
回答已采纳
1
回答
在Spark
Scala
中
对数组
的
每个成员应用函数
scala
、
apache-spark
、
apache-spark-sql
我在一个数据帧中有一个
列
,它是一个字符串
数据类型
数组。我需要提取字符串
的
一部分,因此我需要对数组
中
的
每个元素应用正则表达式。所以我想使用
scala
Dataframe
API来应用它。regexp_extract($"myString","(\\d+)-(\\d+)",1).cast(LongType) 在数组
的
每个成员上。在一个字符串上做这件事很简单,但是如
何在
数组
的
每一项
浏览 20
提问于2021-04-24
得票数 1
3
回答
org.apache.spark.sql.AnalysisException:
scala
、
dataframe
、
apache-spark
Marks];;res6: String = Marks 我希望传递一个变量作为参数,该变量存储
dataframe
的
列
值。基于该参数,它将检查条件,计算值,并替换该
dataframe
中
同名
的
列
。实际上,更
浏览 2
提问于2020-07-10
得票数 0
回答已采纳
1
回答
N
列
m行
的
动态数据帧
scala
、
apache-spark
从json(动态模式)读取数据,并将其加载到
dataframe
。, (3, "GHIJ")someDF: org.apache.spark.sql.
DataFrame
ABC|| 3| GHIJ|要求:
列
数和名称可以是任何值。我想在循环中读取行,以逐个
获取
每一
列
浏览 6
提问于2020-06-04
得票数 0
回答已采纳
1
回答
如何将multipleColumns文件
中
的
XML转换规则传递给Spark
中
的
Dataframe
?
scala
、
dataframe
、
apache-spark
、
transformation
、
toolbox
我有XML文件,其中包含使用withColumn函数在
DataFrame
上运行
的
所有转换,如下所示:如
何在
DataFrame
上应用它。我有一个使用
Scala
ToolBox和runTmirror编写
的
代码,它在内部编译代码并在
DataFrame
上运行这些规则。它能很好地工作在不到100
列
的
地方。但是现在需求已经改变了,
列
的
数量从80
列
增加到210
列
,所以这段代码失
浏览 0
提问于2019-08-31
得票数 0
回答已采纳
1
回答
为什么pd.read_sql_query不从DB
获取
时区信息?
python
、
pandas
、
timezone-offset
、
milliseconds
我正在尝试从Oracle
的
不同日期时间
数据类型
(带和不带时区详细信息)
的
不同
列
中
获取
数据,并将其转换为
DataFrame
。
如
您所见,
列
c2
中
有时区。当我尝试使用下面的python代码在熊猫
中
获取
相同
的
数据时,不知怎么
的
,时区
的
详细信息没有被
获取
。= pd.read_sql_query(select_
浏览 12
提问于2022-07-04
得票数 0
1
回答
如
何在
不使用javaRDD
的
情况下通过
dataframe
从hbase
获取
数据
java
如
何在
不使用javaRDD
的
情况下使用
dataframe
(spark sql)从Hbase
获取
数据。”行
中
的
异常: hbase.columns.mapping
的
行字符串
的
值无效:java.lang.IllegalArgumentException,城市字符串r: city‘at org.apache.hadoop.hbase.spark.DefaultSource.generateSchemaMappingMap(DefaultSource.
s
浏览 4
提问于2017-05-12
得票数 0
2
回答
我可以对
列
执行哪些操作
scala
、
apache-spark
、
apache-spark-sql
ORIGIN_COUNTRY_NAME countUnited States Croatia 1.csv("/data/flight-data/csv/2015-summary.csv"); 我只能使用col函数从
DataFrame
中
获取
浏览 19
提问于2019-02-08
得票数 0
回答已采纳
1
回答
在没有重复列
的
pyspark
中
连接
apache-spark
、
pyspark
这是对
scala
for thread
中
给出
的
解决方案
的
参考[如
何在
join?]--+----+>>> |key|val|| a| 1|因此,当"key“在"a”和"b“上都匹配时,我必须从
dataframe
"a”
获取
数据。
scala
中
给出
的
解决方案之一是工作,如下所示
浏览 14
提问于2018-09-07
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
肝了3天,整理了90个Pandas案例
年薪50万+的大数据工程师需要具备哪些技能?
Python使用DataFrame打印指定列的方法
pandas系列学习(三):DataFrame
我用Rust徒手重写了一个Spark,并把它开源了
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券