如何在Databricks中重命名列？IntegerType >(nullable = true)’改为'new_name‘类型为'IntegerType (nullable =true)’时不支持ALTER更改列；
如果有差异的话，这个表使用的是Delta，它不是由这个"old_name“列进行分区或z排序的。
浏览 6提问于2019-12-26得票数 12
回答已采纳
我想在spark中读取avro文件，但不幸的是，我的公司中的集群没有com.databricks.spark.avro。所以我试着这就产生了未解决的依赖关系。import com.databricks.spark.avro._
浏览 1提问于2018-03-28得票数 3
回答已采纳
我想使用spark在Delta表中添加一些列，但它显示的错误如下：
ALTER ADD COLUMNS does not support datasource table with type org.apache.spark.sql.delta.sources.DeltaDataSource有什么办法改变我在三角湖的桌子吗？
浏览 3提问于2022-03-14得票数 3
1回答
我们的组织运行着Azure上的数据库，数据科学家和分析人员主要用于笔记本，以便进行特别的分析和探索。
我们还为不需要火花的ETL工作流运行Kubernetes集群。我们希望使用达美湖作为我们的存储层，其中数据库和库伯奈特都可以读写作为头等舱公民。目前，我们的Kubernetes作业直接将parquets写到blob存储，另外还有一个作业可以将databricks集群中的数据加载到Databrick的表格式中<
浏览 3提问于2021-08-12得票数 2
回答已采纳
1回答
我正在尝试运行在上提供的简单示例，但是代码不会运行：val df = sqlContext.read .option("rowTag", "book").load("books.xml")
(从自述文件复制
浏览 2提问于2017-07-24得票数 0
我实际上是和spark和scala一起开发齐柏林飞艇的。我想导入包含：import com.databricks.spark.xml的库。我试过了，但我仍然在齐柏林飞艇错误中犯了同样的错误：<console>:25: error: object databricks is not a member of package com。我用齐柏林飞艇创建了一个注释，代码是：%dep z.load
浏览 1提问于2019-03-20得票数 0
2回答
我从两个来源看到，现在你不能以任何有意义的方式与Spark的HIVE事务表进行交互。
我看到Databricks发布了一个名为的事务性功能。现在可以使用此功能读取配置单元事务性表吗？
浏览 0提问于2018-12-13得票数 2
我正在尝试使用数据复制活动从azure databricks delta湖提取信息，但我注意到它并不直接将信息从增量湖传递给我需要的SQL服务器，而是必须将其传递给蔚蓝blob存储，运行它时，它会引发以下错误ErrorCode=AzureDatabricksCommandError,Hit an error when running the command in Azure Databricks.fs.azure.account.key Caused by: Invalid configuration value detected for
浏览 48提问于2022-11-28得票数 0
回答已采纳
1回答
我正在尝试从Databricks连接到azure表存储。我似乎找不到任何不转到blob容器的资源，但我已经尝试为表修改它。spark.conf.set( "accountkey")
blobDirectPath= "wasbs://accountname.table.core.windows.
浏览 39提问于2019-09-17得票数 0
回答已采纳
我有一个Azure blob存储安装在我的Databricks hdfs上。有办法在databricks中获取blob的最后修改日期吗？我就是这样阅读blob内容的： .option("header", "false")
.option("inferSchema", "false")
浏览 0提问于2018-12-02得票数 1
回答已采纳
call last): NameError: name 'dbutils' is not defined
那么，有没有办法通过包含databricks包来在pyspark中运行它，就像导入一样？感谢您的帮助
浏览 13提问于2018-08-17得票数 7
1回答
我是否能以某种方式运行在Databricks上执行的火花-shell？比如：我查看了与Databricks相关的可用工具(databricks connect，但似乎没有这样的功能。
浏览 6提问于2022-06-11得票数 3
回答已采纳
2回答
从dbfs:/FileStore/shared_uploads/prasanth/Company.csv中选择*
我试图在蔚蓝数据砖中从文件夹中选择记录，但我面临以下错误：SQL语句: AnalysisException
浏览 3提问于2022-10-21得票数 0
我有一个表，它每天通过合并获取新数据。我目前正试图从ORC迁移到Delta文件格式，在处理以下简单的Merge操作时遇到了一个问题： .forPath(sparkSession, deltaTablePathdedupConditionUpdate).updateAll() .execute()
完成合并后，每个受影响的分区都有数百个新文件由于每天有一个新的摄入
浏览 7提问于2022-06-16得票数 0
回答已采纳
1回答
在使用databricks-connect在Databricks上运行一些Python代码时，我遇到了一些问题，这取决于com.microsoft.azure:azure-eventhubs-spark_2.11:2.3.17安装的扩展(在本例中，com.microsoft.azure:azure-eventhubs-spark_2.11:2.3.17是在上找到的)
关于与databrick
浏览 11提问于2020-09-29得票数 3
回答已采纳
1回答
试图理解如何在spark中使用注释(@ udf )注册udf，但没有得到任何结果，但如果我使用spark.udf.register，它会工作。from pyspark.sql.types import *from pyspark.sql import *
str="02190925"
print(to
浏览 2提问于2021-12-03得票数 0
回答已采纳
我需要从在Azure Databricks上运行的Spark向SQL表中插入一行，并想知道是否有办法将从SQL Server (@@ identity )生成的主键的标识值返回到Databricks
浏览 9提问于2018-08-24得票数 2
" % "2.0.0"libraryDependenciesimport scala.xml._import org.apache.spark.sql.SQLContext
import org.apache.<
浏览 6提问于2017-09-22得票数 0
回答已采纳
2回答
我在一些VM上运行了一个Databricks集群。我的组织有一个Hadoop集群，其中有一些我想要的数据。我没有访问Hadoop集群的权限，只有一个JDBC (我的所有权限都已经整理好了，它们只给了我一个URL)。
我可以在本地机器(Dbeaver)上打开数据库管理工具，并成功地查询Hive表。但是，我很难使用Databricks和PySpark查询Hive表。似乎要为HiveCo
浏览 2提问于2020-04-16得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
