腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2387)
视频
沙龙
1
回答
在
Apache
Spark
Databricks
上
的
Scala
笔记本
中
,
如何
正确地
将
数组
转
换为
decimal
(
30,0
)
类型
?
scala
、
apache-spark
、
apache-spark-sql
、
databricks
、
aws-databricks
我尝试
将
一个
数组
转
换为
Decimal
(
30,0
),以便在select
中
动态转
换为
: WHERE array_contains(myArrayUDF(), someTable.someColumn) 但是,
在
使用以下选项进行造型时: val arrIds = someData.select("id").withColumn("id", col("id") .cas
浏览 84
提问于2020-11-02
得票数 0
回答已采纳
1
回答
使用java.lang.OutOfMemoryError()和
databricks
连接时运行到‘toPandas:Java堆空间’
python
、
pandas
、
pyspark
、
databricks
、
databricks-connect
我正在尝试
将
一个大小为2734984行x11列
的
pyspark转
换为
一个名为toPandas()
的
熊猫数据。我认为这个错误
在
databricks
-connect
中
的
某个地方,因为我不能使用
笔记本
复制它。 有什么暗示吗这里发生了什么?at org.
apache
.
spark
.scheduler.DAGScheduler.submitJob(DAGScheduler.
scala
:864)
浏览 20
提问于2020-12-09
得票数 7
回答已采纳
2
回答
如何
在
Spark
(2.4) SQL -
Scala
2.11
中
避免ArrayType
的
自动转换
scala
、
apache-spark
、
casting
、
apache-spark-sql
给定
Spark
2.4和
scala
2.11
中
的
代码 val df =
spark
.sql("""select array(45, "something", 45)""") 如果我使用df.printSchema()打印模式,我会看到
spark
自动转
换为
字符串CAST(45 AS STRING)。array (nullable = false) | |-- element: stri
浏览 30
提问于2020-01-21
得票数 3
1
回答
火花红移保存到s3
中
作为Parquet
amazon-s3
、
apache-spark
、
amazon-redshift
、
apache-spark-sql
将
红移表保存到s3
中
作为拼花文件.这是从日期字段传来
的
。现在,我
将
尝试
将
列转
换为
long,并将其存储为unix时间戳。$ofRef.map(ArrayOps.
scala
:108)compile 'org.<
浏览 5
提问于2015-11-05
得票数 1
回答已采纳
2
回答
火花使用dbutils.fs.ls().toDF
在
.jar文件
中
scala
、
apache-spark
、
databricks
、
dbutils
我正试图
将
基于代码
的
jar打包到
databricks
笔记本
中
。下面一行
在
databricks
中
工作,但在
scala
代码
中
抛出了一个错误:有人知道
如何
在
Scala
.jar中使用dbutils.fs.ls().to
浏览 7
提问于2021-10-26
得票数 2
1
回答
从文件系统
中
填充Properties对象
scala
、
dataframe
、
apache-spark
、
apache-spark-sql
、
databricks
TL:DR或者,是否有一种方法可以
将
星火数据帧行转
换为
一组文本键/值对(
Scala
会理解)?全面问题: 属性文件不是本地
的
,它位于
Databricks
集群
上
。尝试从"dbfs:/“或"/dbfs”读取文件时,
在
使用
scala
.io.Source库时找不到文件。不过,我能够将该文件读
浏览 4
提问于2020-12-29
得票数 1
回答已采纳
1
回答
创建一个新
的
列,方法是读取json字符串
中
的
不一致模式。
json
、
pyspark
、
apache-spark-sql
、
databricks
我有一个pyspark dataframe,其中重要信息作为json字符串存储
在
列
中
,这些字符串具有类似但不一致
的
模式。我
的
问题提出了三个问题,如下所述: 这种情况既发生在
databrick
浏览 6
提问于2022-02-03
得票数 0
1
回答
数据库连接与外部图书馆
scala
、
apache-spark
、
databricks
、
azure-databricks
我正在使用Azure
上
的
databricks
,我
的
部分流程包括使用TwoSigma
的
。我
将
库上传到
databricks
库,并且能够
在
databricks
工作区
上
的
笔记本
中
运行下面的示例代码。(MapPartitionsRDD.
scala
:60) at org.
apache
.
spark
.rdd.R
浏览 1
提问于2019-11-17
得票数 2
1
回答
在
Spark
中
更改数据
类型
时
的
ParseException
python
、
python-3.x
、
apache-spark
、
databricks
、
azure-databricks
在
我
的
Databricks
笔记本
中
,当
将
字符串转
换为
日期数据
类型
时,我将在下面代码
的
最后一行获得ParseException。csv文件
中
的
列确实
正确地
具有日期格式
的
hiring_date。问题:我在这里可能做错了什么,我们
如何
纠正错误? 备注:我使用
的
是python而不是
scala
。我不认识斯卡拉。from
浏览 8
提问于2022-05-10
得票数 0
回答已采纳
3
回答
我可以使用木星实验室使用
Scala
与
databricks
星体进行交互吗?
scala
、
apache-spark
、
jupyter
、
jupyter-lab
、
databricks-connect
我可以使用木星实验室连接到远程托管
的
databricks
that集群吗? 虽然这篇知识库文章涵盖了许多场景,但它并没有解释
如何
使用朱庇特
笔记本
来使用
Scala
编程语言与
databricks
集群进行交互。我熟悉
scala
编程,但不熟悉Python。
浏览 1
提问于2020-09-04
得票数 2
1
回答
如何
在数据帧中指定缺少
的
值
csv
、
apache-spark
、
apache-zeppelin
、
spark-dataframe
我正在尝试使用
Apache
Zeppelin
笔记本
使用
spark
-csv 1
将
CSV文件加载到
Spark
数据框
中
,当加载一个没有值
的
数值字段时,该行
的
解析器失败,并且该行被跳过。我原本希望行被加载,数据帧
中
的
值加载行,并将值设置为NULL,这样聚合就会忽略该值。你是对
的
;) 现在我想要添加一个额外
的
列,比如年龄,并且我总是
在
该字段中有数据。我曾尝试
将</e
浏览 4
提问于2015-07-21
得票数 6
1
回答
数据库
中
csv格式到Redis散列格式
的
数据传输
scala
、
apache-spark
、
redis
、
databricks
、
azure-databricks
,我需要做一些处理-确切地说是
将
csv文件转
换为
Redis散列格式。 Azure Redis缓存,我应该把转换
的
数据放在哪里。
在
databricks
文件系统
中
安装存储后,需要处理一些数据。
如何
将
位于
databricks
文件系统
中
的
csv数据转
换为
redisHash格式,并
正确地
将其转
换为
Redis?具体来说,我不知道
如何
通过
浏览 11
提问于2020-11-09
得票数 1
回答已采纳
2
回答
如何
在dbfs之外使用Python文件创建
Databricks
作业?
python
、
git
、
azure-databricks
我对
Databricks
还是个新手,所以请原谅我在这里缺乏知识。我正在使用Azure
中
的
Databricks
资源。我现在主要使用UI,但我知道一些功能只能使用
databricks
-cli,我已经设置了它,但还没有使用它。是否可以使用
D
浏览 47
提问于2021-11-24
得票数 1
1
回答
PySpark -使用df.select(*column_list)后错误"IndexOutOfBoundsException: No group 2“
python
、
apache-spark
、
pyspark
我有一个函数,它本质上将列(根据它们
的
名称和数据
类型
)排序为我
的
公司
在
将
DataFrames保存到SQL之前所需
的
特定顺序。我知道这个功能起作用。但是,
在
一个特定
的
项目中,当我试图通过以下方法
将
排序应用于数据访问时:...I得到了以下错误: org.
apache
.
spark
.SparkException它是嵌套
的
还是flat?Y
浏览 11
提问于2022-04-13
得票数 0
2
回答
数据库
Spark
连接抛出异常: com.datastax.driver.core.exceptions.NoHostAvailableException
apache-spark
、
cassandra
、
apache-spark-sql
、
azure-databricks
、
spark-cassandra-connector
我已经
在
Azure虚拟机
中
安装了Cassandra DB,并希望通过Azure数据库执行读/写操作。我正在通过
Databricks
的
非正式,这对我
的
配置没有帮助。
在
应用
spark
中
的
所有配置之后,我试图从该表
中
检索位于Cassandra
中
的
记录,这将引发异常。val df = sqlContext .format("org.
apach
浏览 0
提问于2020-01-09
得票数 1
回答已采纳
1
回答
星火
scala
广播变量不能工作:任务不可串行化
scala
、
apache-spark
、
notserializableexception
")val goodValue = Array(231, 266)val containGood会很感激你
的
帮助。 编辑:实际
上
,上面的代码通常都可以正常工作,而且这里没有必要使用广播变量。有些人提到“
Scala
类
中
的
一个值不是可序列化
的
”,我同意这应该是问题所在,但是,我不知道
如何
解决它。
在</
浏览 1
提问于2017-06-25
得票数 1
1
回答
星星之火-xml在读取处理指令时崩溃。
xml
、
apache-spark
、
pyspark
、
databricks
、
apache-spark-xml
我正在尝试使用
Databricks
Spark
包
将
XML文件读入到一个。但是,当遇到处理指令时,
Spark
会引发一个错误,声称发生了意外事件。我正在尝试
将
XML文件导入数据文件,然后可以将其操作为平面文件,以便写入CSV。数据集足够大,我们需要某种处理程序,比如
Spark
。我已经翻阅了
spark
文档,没有发现任何关于处理指令
的
内容。我实际
上
不需要从指令
中
得到
的
任何信息,所以如果可以选择的话,我很乐意
浏览 0
提问于2019-08-20
得票数 0
回答已采纳
1
回答
使用
Databricks
作业输出Hadoop HFile
scala
、
apache-spark
、
hbase
、
databricks
、
azure-databricks
在
本地火花测试实例
中
,它工作得很好,但是
在
Databricks
作业
中
,它失败了:NoClassDefFoundError: Could not initialize class org.
apache
.hadoop.hbase.io.hfile.HFile详谈我
的
测试
笔记本
有以下步骤:import java.sql.Timestamp import java.nio.ByteBuff
浏览 18
提问于2021-08-06
得票数 1
回答已采纳
1
回答
如何
避免火花NumberFormatException: null
scala
、
apache-spark
、
apache-spark-sql
、
spark-csv
我有一个一般性
的
问题来自我遇到
的
具体例外。val imps = sqlCont
浏览 0
提问于2016-03-17
得票数 3
1
回答
带有
databricks
的
SparkSQL:“格式错误
的
行”/对有效xml
的
UnboundPrefix
xml
、
apache-spark
、
pyspark
、
pyspark-sql
、
javax.xml
假设我
在
OracleJDK1.8(Build1.8.0_65-B17)
上
运行
Spark
1.6.0,
在
ipython
笔记本
会话
中
从下面的行开始:dmoz = '/Users/user/dummy.xml' v=sqlContext.read.format('com.
databricks
.<e
浏览 6
提问于2016-01-26
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark 2.4重磅发布:优化深度学习框架集成,提供更灵活的流式接收器
Apache Spark 2.4 内置的 Avro 数据源实战
成功从 Hadoop 迁移到 Lakehouse 架构的 5 个关键步骤
Spark 3.0 新特性抢先看
如何从Pandas迁移到Spark?这8个问答解决你所有疑问
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券