我正在尝试使用sql将databricks中的列类型从字符串更改为decimal，并尝试了几种组合，但都不起作用。%sql Alter Table Alter Column Decimal(12,2)； 这是我收到的错误。我尝试在表名前面添加数据库名。我试过“十进制。没什么用的。SQL语句中出错: ParseException:不匹配的输入'Decimal‘应为{，’；‘}(第2行，位置8)
浏览 39提问于2021-06-25得票数 0
我用列数据类型- [Comments] [varchar](2000) NULL创建了Synapse表df.write \
.format("com.databricks.spark.sqldw")
浏览 13提问于2022-07-18得票数 0
回答已采纳
" % "2.0.0"libraryDependenciesimport scala.xml._import org.apache.spark.sql.SQLContext
import org.apache.<
浏览 6提问于2017-09-22得票数 0
回答已采纳
我有一个在Azure Databricks上运行的Spark群集。我有一个要在Azure Databricks Spark集群上运行的python/pyspark脚本。在这个脚本中，我想要将一些数据写入到AWS Redshift集群中，我计划使用psycopg2库来实现这一点。我在哪里可以找到Azure Databricks Spark群集的IP地址，以
浏览 0提问于2020-12-29得票数 1
我使用createdataframe在databricks中创建了一个spark dataframe，并得到了错误：我知道我可以指定模式，但如果我每次都使用来自API的源数据创建数据帧，而他们决定对其进行重构，那么这并没有什么帮助。相反，我想告诉spark对任何无法推断数据类型的列使用'string‘。
这个是可能<e
浏览 2提问于2021-10-20得票数 0
2回答
我通过Databricks工作区UI通过乔布斯、笔记本和火花提交提交火花作业。作业正在成功提交，Databricks正在生成新的集群或使用现有的集群。但是，默认情况下，在executor节点上运行作业的用户是根。是否有可能更改在Azure Databricks上运行作业的用户(这本质上不允许SSH访问)？通常，当我在具有Shell访问权限的集群上使用星火提交CLI时，我使用sudo
浏览 0提问于2019-09-17得票数 2
回答已采纳
1回答
我想在Databricks的spark上下文中注册自定义SparkListener。
与基本火花，我可以使用"spark.jars“和"spark.extraListeners”吐露在火花-提交。对于databricks安装程序，我已经在集群中安装了包含监听器的jar。当我将配置"spark.extraListeners“放在集群的”高级“配置选项卡中时，集群无
浏览 14提问于2022-02-03得票数 2
如何在Databricks中重命名列？不支持将列'old_name‘与类型'IntegerType >(nullable = true)’改为'new_name‘类型为'IntegerType (nullable =true)’时不支持ALTER更改列；
如果有差异的话，这个表使用的是Delta，它不是由这个"old_name“列进行分区或z排序的。
浏览 6提问于2019-12-26得票数 12
回答已采纳
1回答
我遵循在我的databricks集群上安装了栅格框架。from pyspark.sql.functions import lit 有人能解释一下出了什么问题吗？如何解决这个错误？= create_rf_spark_session()
浏览 15提问于2022-07-27得票数 1
call last): NameError: name 'dbutils' is not defined
那么，有没有办法通过包含databricks包来在pyspark中运行它，就像导入一样？感谢您的帮助
浏览 13提问于2018-08-17得票数 7
1回答
在Databricks SQL编辑器中，我试图得到表的几个'Bigint‘和'Double’数据类型列的之和。但是越来越少了。如何从Databricks SQL编辑器中设置ansi_mode？我在下面的SQL编辑器中尝试过降至误差以下
Error running query: org.apache.spark.sql.Anal
浏览 22提问于2022-09-23得票数 1
1回答
我正在尝试在Azure Databricks上实现DevOps。
我已经完成了databricks、notebooks和dbfs文件的devops实现。我确实有许多databricks作业在我的集群上按计划运行。其中一些作业指向notebook文件，少数作业指向dbfs位置中的jar文件。有没有办法在azure databricks作业上实现devops过程，以便DEV中的
浏览 3提问于2020-11-27得票数 2
我的本地机器安装了R 3.2.2，spark-1.6.1-bin-hadoop2.6和java，但没有安装maven，scala等，我不知道为了调用spark-csv我是否错过了什么？我应该安装这个包(.jar文件)并放在某个文件夹中吗？下面是我的脚本：Sys.setenv(SPARK_HOME = 'C:/Users/***/spark-1.6.1-bin-hadoop2.6')
.l
浏览 2提问于2016-04-22得票数 1
1回答
我已经注意到，关于在创建集群时从azure 2.0获得奇怪的响应有。有新的API吗？或者是里面的一些bug？实际上，我使用了中的一个例子，我不得不更改几个东西，但我使用了 "min_workers": 2, }
我认为这个奇怪的错误可能与它有关，所以我设置了n
浏览 2提问于2020-01-14得票数 2
回答已采纳
原始的Spark distributive支持几个集群管理器，如YARN，Mesos，Spark Standalone，K8s。我找不到Databricks Spark中的内幕，它使用的是哪个集群管理器，是否可以更改？<code>B0</code>什么是Databricks Spark架构？
谢谢。
浏览 8提问于2021-03-15得票数 0
1回答
我的流作业现在失败了，错误如下，流作业几乎工作了2个月，而且它是完全无状态的转换，只需要将新行追加到目标增量表中。在流式传输之前，我手动提供了csv文件的模式，甚至验证了流式作业模式和下游表模式都与数据类型完全匹配。
不确定，为什么即使在无状态转换中，我也会得到下面的错误。任何帮助都将不胜感激。File "/databricks/spark/python/lib/py4j-0.10.9-src
浏览 2提问于2021-06-11得票数 1
1回答
我正在使用Zeppelin-Sandbox 0.5.6和Spark 1.6.1在Amazon EMR上。我正在读取位于csv上的s3文件。问题是，有时我在读取文件时出错。我的代码中没有任何变化。我无法恢复它，也无法判断它何时发生。我的代码如下：%depz.addRepo("Spark Packages Repo").url("http:/
浏览 1提问于2016-06-21得票数 0
2回答
使用databricks spark，能够使用connector(spark-snowflake_2.11-2.3.0.jar，spark雪花-JDBC2.8.1.jar将数据写入雪花中，而不是使用JDBC但是如果没有databricks，当我试图在安装了火花的本地机器上应用相同的代码时，我无法使用火花-雪花连接器写入雪花。我面临的错误是classNotFoundExceptoion for snowflake.De
浏览 1提问于2018-10-13得票数 1
1回答
我正在尝试从我的Mac(Mojave)建立到Databricks的连接。我做了一个pip install -U databricks-connect==5.5.*原因: com.databricks.service.SparkServiceConnectionException: spark.conf.get("spark</e
浏览 30提问于2020-03-04得票数 3
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
