腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1275)
视频
沙龙
1
回答
Databricks
/
Spark
data
write
to
SQL
DW
正在
删除
表
并重
新创建
它
apache-spark
、
apache-spark-sql
、
databricks
、
azure-sqldw
、
azure-databricks
在Azure
SQL
DW
中,我有一个空
表
(比如表T1)。假设T1有4列C1、C2、C3和C4 (C4不为null)我在数据库中有一个数据帧(比如df1),其中包含C1、C2和C3的数据 我使用如下代码片段对dataframe执行写操作 df1.
write
.format("com.
databricks
.
spark
.sqldw") .option("dbtable"
浏览 19
提问于2019-03-09
得票数 0
1
回答
将数据写入Azure专用
SQL
池中的特定分区
apache-spark
、
azure-sql-database
、
azure-databricks
、
azure-synapse
、
azure-sqldw
目前,我们
正在
使用下面文章中的步骤从我们的
spark
数据源(增量湖
表
)中完全加载数据,并将它们写入到
SQL
DW
上的
表
中。https://docs.microsoft.com/en-us/azure/
databricks
/
data
/
data
-sources/azure/synapse-analytics具体地说,使用以下命令执行写入, df.<e
浏览 27
提问于2021-09-21
得票数 0
2
回答
将PySpark数据存储在
SQL
数据库中的Synapse中会出现错误"IllegalArgumentException: KrbException:无法找到默认领域“
python
、
azure
、
pyspark
、
azure-synapse
我试图在Synapse中的
SQL
数据库中保存一个PySpark数据:test.
write
\ .option("url", "jdbc:sqlserver://XXXX.
sq
浏览 12
提问于2022-06-21
得票数 1
回答已采纳
1
回答
数据库Azure数据库仓库保存
表
databricks
、
azure-sqldw
我使用以下代码编写Azure仓库
表
df_execution_config_remain.
write
.option"dbTable", execution_config) .mode("Overwrite") 但是,覆盖将
删除
表
<
浏览 3
提问于2019-06-27
得票数 1
2
回答
如何更改Delta
表
的添加列?
delta-lake
我想使用
spark
在Delta
表
中添加一些列,但它显示的错误如下: ALTER ADD COLUMNS does not support datasource table with type org.apache.
spark
.
sql
.delta.sources.DeltaDataSource
浏览 3
提问于2022-03-14
得票数 3
1
回答
如何使用Azure Synapse在数据库中
删除
表
或行?
azure
、
pyspark
、
databricks
、
azure-databricks
、
azure-synapse
我想使用DROP TABLE
删除
我的
表
,但是我在我的
Databricks
上得到了一个错误JDBC,但是如果我使用SELECT,它不会出现任何错误,我有两个不同的函数可以read_from_synapse) ) return dfdef
write
_to_synapse(df, table,
write
_mode, url
浏览 5
提问于2021-06-04
得票数 1
1
回答
如何将Azure Synapse Dataframe转换为JSON on
Databricks
?
azure
、
pyspark
、
databricks
、
azure-databricks
、
azure-synapse
因为当我尝试的时候,
它
得到了一个错误。com.
databricks
.
spark
.sqldw") # Commented at 20200121
Sql
dw
connetion exception (email keyword:
Databricks
cannot access the
DW
) .option("table
浏览 19
提问于2021-05-31
得票数 0
回答已采纳
1
回答
小数点(10,0)到十进制(38,18)转换无效的
Databricks
Delta
表
Alter列
spark-streaming
、
databricks
、
azure-databricks
、
delta-lake
在
Databricks
中,
表
是使用模式json定义创建的。([], tbl_schema) # create table.我使用的是
Spark
结构化流写流,
它
使用foreachBatch(),UPSERT (合并为)。问题: 每当我运行时,
表
都不会与数据一起插入。也没有调试日志消息。我认为这个问题可能是由于
浏览 0
提问于2021-10-17
得票数 0
回答已采纳
2
回答
从星火看saveAsTable
apache-spark
、
hive
、
pyspark
我们试图从
SPARK
中写入一个蜂箱
表
,并且使用saveAsTable函数。我想知道saveAsTable是否每次掉落
并重
新创建
蜂巢
表
?如果
它
这样做了,那么是否还有其他可能的火花函数实际上只会截断和加载一个
表
,而不是拖放和重
新创建
。
浏览 0
提问于2018-07-17
得票数 2
回答已采纳
6
回答
Azure
Databricks
-无法创建关联位置已经存在的托管
表
apache-spark
、
hive
、
azure-data-lake
、
databricks
、
azure-databricks
有时,当我试图将DataFrame保存为托管
表
时:我得到以下错误: 目前,我能想到的唯一解决办法是使用不同的
表
名。当我跑步时:SELECT * FROM So
浏览 4
提问于2019-03-27
得票数 23
1
回答
数据库中的Delta湖-为现有存储创建一个
表
apache-spark
、
databricks
、
delta-lake
我目前在
databricks
中有一个附加
表
(
spark
3,
databricks
7.5) .select("somefield", "anotherField",(如上面所示) 现在,我希望能够使用
SQL
逻辑来查询
它
,而不必每次都经过createOrReplaceTempView。是否可以在不
删除
表
的情况下将
表
添加到当前数据中?我需要什么改变来支持这一点?
浏览 2
提问于2021-01-10
得票数 2
回答已采纳
1
回答
用数据库实现火花放电循环的误差
pyspark
我
正在
尝试执行此代码,它将列出
Databricks
SQL
中已经存在的所有
表
,如果它不存在,则应该创建该
表
。但我搞错了,不知道在哪里:tables =
spark
.
sql
('show tables') else:
浏览 3
提问于2022-05-26
得票数 0
1
回答
AnalysisException:在
删除
条件下不支持谓词中的多列
sql
、
databricks
、
databricks-sql
我
正在
我的
databricks
代码中执行以下操作。代码试图在seam简单的条件下从我的
表
中
删除
一些行。yesterday.strftime('%Y/%m/%d') query = f"""DELETE FROM table_name a WHERE AWB_ID IN (SELECT * FROM a WHERE a.
DW
_CRT_RUN_DT>= '{yesterday_str}' or a.
d
浏览 4
提问于2022-10-22
得票数 0
3
回答
如何从
Databricks
Delta
表
中
删除
列?
sql
、
apache-spark
、
apache-spark-sql
、
databricks
、
delta-lake
我最近开始发现
Databricks
,并面临需要
删除
增量表的某一列的情况。当我使用PostgreSQL时,它就像DROP COLUMN metric_1; 我
正在
查看
删除
时的数据库,但它只覆盖了DELETE the我也找到了关于DROP database,DROP function和DROP table的文档,但完全没有关于如何从增量表中
删除
列的文档。这里我漏掉了什么?是否有从增量表中
删除
列的标准方法?
浏览 4
提问于2019-01-31
得票数 12
回答已采纳
2
回答
Spark
2.0 CSV错误
csv
、
apache-spark
、
apache-spark-2.0
、
databricks
我
正在
从1.6升级到
spark
2,在读取CSV文件时遇到问题。在
spark
1.6中,我会在CSV文件中读取类似这样的内容。val df = sqlContext.read.format("com.
databricks
.
spark
.csv").load(fileName)in thread "main" java.lang.RuntimeException: Multip
浏览 73
提问于2017-01-19
得票数 0
2
回答
数据库上的截断
表
apache-spark
、
pyspark
、
azure-sql-database
、
databricks
、
azure-databricks
我
正在
使用Azure中的两个环境:
Databricks
和
SQL
数据库。我
正在
处理一个函数,该函数生成一个dataframe,它将用于覆盖存储在
SQL
数据库中的
表
。我有很多问题,因为df.
write
.jdbc(mode = 'overwrite')只
删除
了
表
,而且,我猜,我的用户没有再次创建的权限(我已经看到了DML和DDL权限,我需要这样做)。在简历中,我的函数只
删除
表
,而不重
浏览 1
提问于2021-03-02
得票数 2
回答已采纳
1
回答
在追加模式下写入pyspark中的红移
pyspark
、
amazon-redshift
我
正在
尝试使用pyspark将一个数据帧追加到redshift
表
中。 我做错了什么? 该
表
已经存在,并且已经包含一些数据。myDf.
write
\.option("url", JDBC_REDSHIFT) \ .option('forward_
spark
_s3/python/lib/pyspark.zip
浏览 22
提问于2019-01-16
得票数 3
1
回答
无法使用
Databricks
将数据插入到分区
表
中
databricks
、
azure-databricks
我刚接触
Databricks
,我
正在
尝试使用
Databricks
将数据插入到分区
表
中,语法如下。但没那么走运。Location STRING,USING csvPARTITIONED BY (CallType) LOCATION '/mnt/
Databricks
/employee/Fire_Department_Calls_for_Service.csv&
浏览 36
提问于2020-08-04
得票数 0
回答已采纳
1
回答
将配置单元
表
卸载到。使用
Spark
或pyspark或python的dat文件
python
、
pyspark
、
apache-spark-sql
、
hiveql
我目前
正在
使用hql将数据从配置单元
表
卸载到文本文件中。因为
它
花费了太多的时间。我想去
spark
或pyspark.I。我是
spark
/ please的新手。你能帮我解决这个问题吗?我
正在
使用下面的查询来卸载 beeline --outputformat=dsv --silent=true - e 'select * from <tablename>' > /dir/samplefile.txt
浏览 11
提问于2019-10-04
得票数 0
1
回答
spark
scala数据帧编写器insertInto覆盖
scala
、
apache-spark
、
hive
、
apache-spark-sql
我
正在
尝试将数据帧的内容写入现有的分区托管Hive
表
,如下所示:目标
表
是ORC,我希望保留
它
使用saveAsTable将
删除
并重
新创建
作为parquet的
表
(请参阅此处:)。 问题是对于我的一些
表
,我需要覆盖整个
表
数据(类似于截断),而不仅仅是特定的分区。Spark
浏览 8
提问于2021-02-20
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
成功从 Hadoop 迁移到 Lakehouse 架构的 5 个关键步骤
深入思考Schema管理的几个基本问题
深度对比Delta、Iceberg和Hudi三大开源数据湖方案
Apache Spark 3.0 预览版正式发布,多项重大功能发布
深度对比Apache CarbonData、Hudi和Open Delta三大开源数据湖方案
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券