腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(4861)
视频
沙龙
1
回答
Scala
Databricks
:
将
所有
bigint
列
转
换为
double
scala
、
apache-spark
、
types
我指的是这个问题:Cast multiples columns in a DataFrame 我有一个有很多
列
的数据帧。一些开头的
列
(比如5)不应该被触动,因为它们是ID、name等。从第6
列
开始,我希望
将
数据类型为
bigint
的
列
转
换为
double
DataTypes。目前,我使用的是: val df2 = df.withColumn("col_name", df.col("col_name").cast(Da
浏览 15
提问于2019-06-28
得票数 0
1
回答
火花红移保存到s3中作为Parquet
amazon-s3
、
apache-spark
、
amazon-redshift
、
apache-spark-sql
将
红移表保存到s3中作为拼花文件.这是从日期字段传来的。现在,我
将
尝试
将
列
转
换为
long,并将其存储为unix时间戳。(
Double
.java:540)at java.text.DecimalFormat.parse$.com$
databricks
$spark$redshift$Conversions$$parseTimestamp(Conversions.<em
浏览 5
提问于2015-11-05
得票数 1
回答已采纳
1
回答
将
两个
BigInt
值除以,并将结果在
Scala
中转
换为
浮动
scala
、
dataframe
、
apache-spark-sql
我有一个数据框架,其中包含两个类型为
BigInt
的
列
。然后,我有一个用户定义的函数,它对这两
列
执行一个操作,最后的结果应该是浮点类型。=
scala
.math.pow(firstColumnValue.toFloat / secondColumnValue, 1.0/3.0);} (x: Float)Float <and> (x: Long)Float <and>
浏览 0
提问于2020-02-12
得票数 2
回答已采纳
1
回答
Spark :
将
bigint
转
换为
时间戳
apache-spark
我有一个有
bigint
列
的Dataframe。如何
将
bigint
列
转
换为
scala
spark中的时间戳
浏览 1
提问于2019-07-23
得票数 4
回答已采纳
0
回答
动态和可配置地更改几种Spark DataFrame
列
类型
scala
、
apache-spark-sql
我是Spark和
Scala
的新手。大约有100个字段,我需要将其中几个类型从string更改为int、boolean或
bigint
(long)。因此,我需要能够处理给定DataFrame的列子集,
将
每
列</e
浏览 7
提问于2017-11-28
得票数 3
回答已采纳
2
回答
spark Dataframe中不带小数点的双精度值舍入
dataframe
、
apache-spark
、
apache-spark-sql
、
rounding
下面是dataframe
列
值。+-----+-----++-----+-----+| 94.0| 46.0|root |-- SIG2:
double
(nullable = true) 预期输出如下|round(
DOUBLE
a)| Returns the round
浏览 32
提问于2019-10-24
得票数 0
回答已采纳
4
回答
星火DataFrame等价于Pandas `.iloc()方法?
pandas
、
scala
、
apache-spark
、
dataframe
、
apache-spark-sql
是否有使用整数按位置引用星火DataFrame
列
的方法?
浏览 1
提问于2016-05-27
得票数 11
回答已采纳
1
回答
使用java.lang.OutOfMemoryError()和
databricks
连接时运行到‘toPandas:Java堆空间’
python
、
pandas
、
pyspark
、
databricks
、
databricks-connect
我正在尝试
将
一个大小为2734984行x11
列
的pyspark转
换为
一个名为toPandas()的熊猫数据。(SparkServiceRPCClient.
scala
:84) at com.
databricks
.service.SparkS
浏览 20
提问于2020-12-09
得票数 7
回答已采纳
3
回答
在带约束的Apache Spark (
Scala
)数据框中将布尔
列
转
换为
数值
列
?
scala
、
spark-dataframe
val inputfile = sqlContext.read .option("header"delimiter", "\t") inputfile: org.apache.spark.sql.DataFrame = [a: string, b:
bigint
Spark中是否有一个函数可以
将
Spark数
浏览 2
提问于2017-11-01
得票数 3
回答已采纳
3
回答
在
scala
中如何
将
sql查询行中的结果转
换为
双精度
sql
、
scala
、
apache-spark
我尝试获得spark sql查询的结果,并在
Scala
中为它们做一些计算。total_id FROM some_ids_table ") val other_id_1 = sql_DF01.select("other_ids").first().toSeq.asInstanceOf[Seq[<e
浏览 1
提问于2019-10-29
得票数 0
1
回答
如何在
Scala
中将64位十六进制数转
换为
二进制?
scala
我想把下面的散
列
"d41d8cd98f00b204e9800998ecf8427e“转换成二进制字符串。然而,我似乎找不到一种方法来做到这一点?有人能教我如何在
Scala
中做到这一点吗?谢谢
浏览 5
提问于2015-10-12
得票数 1
2
回答
转换存储在Server中VARCHAR字段中的数字
sql-server
我有一个表,它存储在一个类型为VARCHAR的
列
中。10.01最近,作为新请求的一部分,我们不得不从存储在VARCHAR
列
中的数字中删除小数点。转
换为
BIGINT
),请乘以100,然后转
换为
BIGINT
测试这一点的简单方法: SELECT CONVERT(
BIG
浏览 1
提问于2013-01-29
得票数 1
回答已采纳
1
回答
创建一个新的
列
,方法是读取json字符串中的不一致模式。
json
、
pyspark
、
apache-spark-sql
、
databricks
我的问题提出了三个问题,如下所述: 这种情况既发生在
databricks
中,也发生在火花放电的本地安装中。我对这样做的最佳方法的理解是
将
字符串转
换为
数据帧中的struct,然后使用explode。这将创建5行(每个响应一行),每个行都有
列
_oid, json_str,
浏览 6
提问于2022-02-03
得票数 0
2
回答
无法使用
scala
为CSV文件显示数据格式记录
scala
、
apache-spark
、
hadoop
、
bigdata
我通过使用map函数
将
dataframe转
换为
DF来创建RDD。当我试图显示记录时,它给了我exception。0).toLong,p(1),p(2),p(3).toLong,p(4),p(5).toDouble,p(6).toDouble,p(7).toLong)).toDF()
scala
> employeesDf res5: org.apache.spark.sql.DataFrame = [emp_id:
bigint
, emp_name: string
浏览 0
提问于2018-08-05
得票数 1
回答已采纳
3
回答
有没有比这更好的在列表中做正方形的方法呢?
scala
我正在试着简化一个正方呼叫。(1 to 10).map(x => x*x)
浏览 0
提问于2013-07-17
得票数 9
回答已采纳
1
回答
将
Scala
代码转
换为
Python以进行报告
python
、
scala
、
apache-spark
def createTD(value: String) : String = {} return createTD(value.toString) return("Reduction")} ${createTH(&q
浏览 38
提问于2021-01-08
得票数 -5
回答已采纳
1
回答
如何在Spark中将时间戳
列
转
换为
毫秒长列
apache-spark
、
apache-spark-sql
在Spark中,
将
Timestamp
列
转
换为
毫秒时间戳Long
列
的最短和最有效的方法是什么?下面是一个从时间戳到毫秒的转换示例ts: org.apache.spark.sql.DataFrame||2019-06-18 12:32:02.41 |
scala
&
浏览 1
提问于2019-06-18
得票数 2
1
回答
使用Json4s
将
case类转
换为
Json时获得异常
json
、
scala
、
reflection
、
json4s
我试图使用Json4s
将
一个case类转
换为
Json字符串。[Long]转
换为
Option[
BigInt
],它可以正常工作。同样的问题也发生在Option[
Double
]上。"org.
scala
-lang" % "
scala
-reflect" % &quo
浏览 2
提问于2015-09-29
得票数 0
1
回答
如何在数据帧中指定缺少的值
csv
、
apache-spark
、
apache-zeppelin
、
spark-dataframe
我正在尝试使用Apache Zeppelin笔记本使用spark-csv 1
将
CSV文件加载到Spark数据框中,当加载一个没有值的数值字段时,该行的解析器失败,并且该行被跳过。(
Double
.java:538)现在我想要添加一个额外的
列
,比如年龄,并且我总是在该字段中有数据。我曾尝试
将
模式设置为全部为St
浏览 4
提问于2015-07-21
得票数 6
5
回答
如何
将
dataframe的
所有
列
转
换为
字符串
apache-spark
、
pyspark
、
apache-spark-sql
一些
列
是int、
bigint
、
double
,而其他
列
是string。总共有32
列
。在pyspark中有什么方法可以
将
数据框中的
所有
列
转
换为
字符串类型吗?
浏览 149
提问于2017-02-07
得票数 12
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python实现MaxCompute UDF/UDAF/UDTF
Apache Spark 2.4 内置的 Avro 数据源实战
MySQL数据库应用总结(六)—MySQL数据库的数据类型和运算符(上)
成功从 Hadoop 迁移到 Lakehouse 架构的 5 个关键步骤
MySQL高性能表设计规范
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券