腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
为什么使用sparklyr将R lubridate::duration
数据类型
转换
为
spark
中
的
字符?
r
、
apache-spark
、
lubridate
、
duration
、
sparklyr
我正在
转换
我
的
原始R代码,使其适用于使用sparklyr包
的
火花。我使用lubridate包来计算两个日期之间
的
持续时间。在R
中
,这将导致duration
数据类型
,然后可以将其
转换
为numeric
数据类型
,如下面的示例所示。dataframe上执行完全相同
的
转换
将生成错误,因为持续时间
数据类型
会自动
转换
为字符串
数据类型
。请忽略从本地R
转换
到<em
浏览 23
提问于2021-02-17
得票数 1
1
回答
从ORC文件创建外部配置单元表
的
方法
apache-spark
、
hive
、
orc
、
hive-serde
用于创建表
的
查询: create external table fact_scanv_dly_stg (geo_region_cd char(2),op_cmpny_cd string)location 'hdfs:///my/location/scanv_data/'; ORC文件
的
模式详细信息(摘自DataFrame
Spark
-SQL)
浏览 28
提问于2020-04-30
得票数 0
1
回答
如何根据
数据类型
识别列,并将其
转换
为火花放电?
python
、
python-3.x
、
pyspark
、
pyspark-sql
、
pyspark-dataframes
())) 我有一个列
数据类型
的
dataframe,如上面所示( a)包含名称
中
的
术语date、time并将其
数据类型
从Timestamp/Datetime
转换
为stri
浏览 1
提问于2019-10-29
得票数 3
1
回答
Parquet分区
中
同一列
中
不同类型
的
数据
scala
、
apache-spark
、
amazon-s3
、
parquet
、
databricks
我从S3读取拼图文件时出错,原因是"final_height“列在同一个分区
中
获得字符串和双类型。有关信息,在拼花文件中有超过20列。/part1.gz.parquet": Failed to merge fields 'final_heightColumn: [final_height], Expected: DoubleType, Found: BINARY ERROR 5: org.apache.
浏览 8
提问于2020-04-02
得票数 6
2
回答
使用
spark
检查列
的
数据类型
scala
、
apache-spark
、
pyspark
需要一些帮助来检查
spark
中
的
数据类型
, 我需要在
spark
中
转换
这个pyspark功能 if dict(df.dtypes)['test_col'] == 'String': ...
浏览 67
提问于2020-12-01
得票数 0
回答已采纳
1
回答
Spark
Streaming 2.3.1类型
转换
:将字符串
转换
为时间戳
apache-spark
、
casting
、
pyspark
、
spark-streaming
我使用
的
是apsche
spark
streaming 2.3.1,其中我接收到一个流,其中包含"HH:mm:ss.xxxxxxxxx“格式
的
时间戳值(13:09:05.761237147)作为字符串。我需要将此字符串
转换
为timestamp
数据类型
。
spark
= SparkSession \ .appName("abc") \
浏览 0
提问于2018-09-04
得票数 2
1
回答
使用
Spark
Scala将SqlServer
数据类型
转换
为Hive
数据类型
scala
、
apache-spark
、
mssql-jdbc
Spark
用于从SQL server DB
中
获取表
的
模式。由于
数据类型
不匹配,我在使用此模式创建配置单元表时遇到问题。如何在
Spark
Scala中将SQL Server
数据类型
转换
为Hive
数据类型
。
浏览 48
提问于2019-07-19
得票数 1
2
回答
MongoDB火花冲突
数据类型
mongodb
、
apache-spark
、
pyspark
如何在将Mongodb集合映射到
Spark
dataframe时避免冲突
的
数据类型
。我们不能将冲突
的
数据类型
转换
为字符串。并在执行select操作时出错。我使用
的
是Mongodb-
Spark
-connector v2.10:1.0.0
浏览 4
提问于2016-07-21
得票数 0
2
回答
Spark
read.json在python
中
不考虑布尔值。
json
、
apache-spark
、
pyspark
、
rdd
我一直在尝试遵循官方文档,在
spark
中
完成一个将JSON字符串
转换
为dataframe
的
例子。|-- state: boolean (nullable = true)但是当我尝试传递布尔值True (在python
中
适用我正在使用python
中
的
请求库调用REST api来获取JSON数据。然后在响应上调用.json()得到json字符串。这给了我一个json字符串,其中布尔值是大写
的<
浏览 31
提问于2018-06-27
得票数 3
1
回答
如何将对象从S3桶加载到RStudio
中
的
星火中?
r
、
apache-spark
、
amazon-s3
、
sparklyr
、
s3-bucket
S3桶
中
的
对象大小为5.3GB。为了将对象
转换
为数据,我使用了get_object("link to bucket path")。但这会导致记忆问题。因此,我在RStudio
中
安装了
Spark
2.3.0,并试图将该对象直接加载到
Spark
中
,但是直接将对象加载到
Spark
中
的
命令不为人所知。library(sparklyr) library(dplyr) sc <-
spark</e
浏览 2
提问于2018-07-30
得票数 0
回答已采纳
2
回答
从
Spark
Python到Pandas
的
时间戳往返
python
、
pandas
、
apache-spark
、
timestamp
如何实现时间戳数据从
Spark
Python到Pandas
的
往返
转换
?我从
Spark
中
的
Hive表
中
读取数据,希望在Pandas中进行一些计算,然后将结果写回Hive。只有最后一部分失败了,将Pandas时间戳
转换
回
Spark
DataFrame时间戳。DataFrame
的
date列
的
数据类型
为long。在Pyspark
中
,这可以很容易地
转换
回d
浏览 14
提问于2017-03-04
得票数 7
1
回答
pyspark将数据帧写入hbase,整数值以字节形式加载
pyspark
、
hbase
当通过pyspark将数据帧写入hbase时,默认情况下,当将数据帧写入hbase表中将整数值
转换
为字节类型时,我们是否有任何选项将整数值
转换
为整数?cat2=json.dumps(catalog2) df.write.option("catalog",cat2).option("newtable","5").format("org.apache.
spark
.sql.execution.datasources.hbase
浏览 2
提问于2018-06-21
得票数 0
1
回答
如何将
spark
dataframe
中
的
String类型列
转换
为Pandas dataframe
中
的
String类型列
pandas
、
apache-spark
、
pyspark
我有一个从熊猫数据帧创建
的
样本
spark
数据帧-from(pdf) # this is
spark
dfdf.printSchema() |-- input1: long (nullable = true)如果我将这个
spark
数据帧
转换
浏览 3
提问于2020-09-09
得票数 0
1
回答
将字符串"decimal“
转换
为DecimalType
scala
、
apache-spark
由于过程过于复杂,我需要将表示
数据类型
的
字符串
转换
为实际
的
org.apache.
spark
.sql.types
数据类型
。我有一个简单
的
函数,几乎可以工作了。case "decimal" => DecimalType} 两个版本
的
浏览 18
提问于2020-10-09
得票数 3
回答已采纳
1
回答
TypeError:字段值: FloatType不能接受类型为<class‘numpy.Float 64’>
的
对象-0.016354798954796402
apache-spark
、
pyspark
我正在尝试将一个电火花列表
转换
为火花放电数据帧。我用
的
是电火花3.0.1。0.0163548 , 0.01245932, -0.16051448, -0.00959805, 0.54802954,我正在使用下面的语句来
转换
它,在coeff=
spark
.createDataFrame(trained_model.coefficients.values,FloatType()
中
,但是我得到了错误消息 TypeError: field
浏览 13
提问于2021-02-15
得票数 0
回答已采纳
1
回答
蜂巢自动浇铸拼花
apache-spark
、
types
、
hive
我有一个场景,
spark
从输入文件
中
推断模式,并使用Integer
数据类型
编写parquet文件。 但是我们在单元格中有表,其中字段被定义为BigInt。现在没有从int到Long
的
转换
,而hive抛出了它不能将Integer
转换
为long
的
错误。我不能编辑Hive到Integer
数据类型
,因为业务需要拥有这些字段。我已经查找了一个选项,可以在完成saving.This之前对
数据类型
进行强制
转换
,但我有数百列,显式强
浏览 3
提问于2017-05-11
得票数 0
回答已采纳
1
回答
尝试在pyspark dataframe中将字符串
转换
为unix_timestamp
数据类型
时出现SparkUpgrade异常
apache-spark
、
pyspark
、
casting
我正在使用
spark
3.1.1,并尝试使用以下代码将字符串
数据类型
转换
为unix_timestamp
数据类型
。PFB快照和帮助 org.apache.
spark
.SparkUpgradeException:由于升级了
Spark
3.0,您可能会得到不同
的
结果:无法识别DateTimeFormatter
中
的
'yyyy1)您可以将
spark
.sql.legacy.timeParserPolicy设置为传统,以恢
浏览 1
提问于2021-11-16
得票数 1
1
回答
将clojure向量
转换
为flambo sql行
sql
、
clojure
、
apache-spark
、
apache-spark-sql
、
flambo
我正在开发一个函数,将向量
转换
为sql行,以进一步将其
转换
为数据帧,并使用Apache
中
的
SQLcontext将其保存到表
中
。我正在克洛尔开发,一路上迷路了。因此,我想实施这个解决方案: 我正在
浏览 3
提问于2015-07-30
得票数 1
回答已采纳
1
回答
Databricks Version7.0与版本6.3不同:不能将类java.lang.Long
转换
为java.lang.Integer类
azure-databricks
、
azure-sql-data-warehouse
、
azure-synapse
我有一个工作笔记本在蔚蓝数据库6.3版-火花2.4.4当我将笔记本升级到7.0-
Spark
3.0.0版本时,该过程开始失败,出现以下错误java.lang.Integer类(java.lang.Long和java.lang.Integer位于加载程序‘java.lang.Long’
的
模块java.base
中
) ErrorCode = 106000这是Synapse分析
中
的
表模式: CREATE TABLE [dbo].W
浏览 2
提问于2020-06-20
得票数 3
1
回答
Spark
从oracle导入时将oracle日期
数据类型
转换
为时间戳(java.sql)不正确
oracle
、
date
、
jdbc
、
timestamp
、
apache-spark-sql
我正在使用
Spark
从Oracle导入数据,如下所示-var info : java.util.Propertiesnew java.util.Properties() info.put("password", password) val jdbcDF =
spark
.read.jdbc(jdbcURL, tableFullName, inf
浏览 1
提问于2017-11-28
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
java中基本数据类型的转换
JS中的数据类型转换:String转换成Number的3种方法
java数据类型转换的方式
基础08:数据类型的转换
萌新对数据类型和转换的接触
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券