腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1041)
视频
沙龙
1
回答
Spark
(
Databricks
)
来自
SQL
的
非
托管
表
不
处理
标
头
sql
、
apache-spark
、
databricks
正在尝试使用
SQL
API从CSV文件在
Spark
(
Databricks
)中创建
非
托管
表
。但是第一行没有被用作标题。 图2显示了使用Dataframe API创建
非
托管
表
时第一行是正确
的
。该Dataframe是从同一csv文件加载
的
。 但是,图1显示,从
SQL
中
的
CSV文件数据源创建
非
托管
表
时,不会将第一行作
浏览 26
提问于2021-07-15
得票数 1
回答已采纳
4
回答
Databricks
删除增量表?
databricks
、
delta-lake
如何在
Databricks
中删除增量表?我在文档里找不到任何信息...也许唯一
的
解决方案是使用魔术命令或dbutils删除文件夹‘delta`中
的
文件: %fs rm -r delta/mytable?编辑: 为了清楚起见,我在这里举了一个非常基本
的
例子。,StructField("number", IntegerType())]) df =
spark
浏览 93
提问于2019-11-22
得票数 8
回答已采纳
1
回答
将最新数据从ADLS2 blob存储获取到装载在Azure
DataBricks
中
的
表
azure-blob-storage
、
azure-databricks
、
azure-data-lake-gen2
我已经使用挂载路径在Azure
DataBricks
中创建了一个
非
托管
表
,如下所示:挂载路径来源为ADLS Gen2中存储
的
拼图文件。我看到如果底层数据在ADLS Ge
浏览 18
提问于2020-05-22
得票数 0
2
回答
如何删除非
托管
增量湖
表
databricks
、
azure-databricks
、
delta-lake
我正在尝试删除使用writestream创建
的
增量湖
表
。我尝试删除
表
,但失败了df.writestream().outputmode("append").format("delta").start("/mnt/mytable")
spark
.
sql
("drop table '/mnt/mytable
浏览 2
提问于2019-08-22
得票数 2
2
回答
Hive
托管
表
拖放不会删除HDFS上
的
文件。有什么解决办法吗?
hadoop
、
hive
、
hdfs
、
azure-databricks
当从单元中删除
托管
表
时,hdfs中
的
相关文件不会被删除(在azure-
databricks
上)。我得到了以下错误: SimbaSparkJDBCDriver错误
处理
查询/语句。错误代码: 0,
SQL
状态: org.apache.
spark
.
sql
.AnalysisException:无法创建
托管
表
(‘schema.XXXXX’)。关联
的
location('dbfs:/
浏览 0
提问于2019-03-18
得票数 3
1
回答
保存模式(‘覆盖’)设置
的
星火DataFrame时,“关联位置已经存在”
apache-spark
、
apache-spark-sql
mode('overwrite')操作期间设置saveAsTable(): '
spark
_no_bucket_table1') table('`
spa
浏览 35
提问于2022-11-15
得票数 2
回答已采纳
2
回答
火花上
的
Scala数据分析
scala
、
csv
、
apache-spark
、
dataframe
、
rdd
我是Scala新手,我必须使用Scala和
Spark
的
SQL
、Mllib和GraphX来对巨大
的
数据集进行一些分析。我想做
的
分析是: 我
浏览 2
提问于2016-09-25
得票数 3
4
回答
单元管理
表
与外部
表
:位置目录
hadoop
、
hive
其中一本书- Hadoop在实践中说 创建外部(
非
托管
)
表
时,Hive将位置关键字指定
的
目录中
的
数据保持不变。但是,如果要执行相同
的
CREATE命令并删除外部关键字,
表
将是一个
托管
表
,而Hive将将位置目录
的
内容移动到/user/hive/仓库/stock中,这可能不是您所期望
的
行为。我创建了一个带有LOCATION关键字
的
托管</
浏览 3
提问于2015-07-09
得票数 6
2
回答
Databricks
中
的
错误:您似乎试图从广播变量、操作或转换引用SparkContext
pyspark
、
azure-databricks
、
multiprocess
我试图在
databricks
std集群中运行以下代码。(
sql
_script): return 0它给了我错误:我希望将多个
sql
脚本提交给transform函数,它只是在脚本上执行
spark
.
sql
()。想法是拥有
来自<
浏览 10
提问于2022-06-05
得票数 0
3
回答
在Azure Synapse专用/无服务器
SQL
池中使用增量表
sql
、
azure
、
pyspark
、
azure-synapse
、
delta-lake
我目前是一名初级数据开发人员,最近看到一篇文章说Azure Synapse现在可以从Delta
表
创建
SQL
表
。我尝试从Delta lake Storage V2中
的
delta
表
创建一个
SQL
表
,但是当使用'PARQUET‘作为文件格式并使用通配符读取文件时,该
表
被填充了额外
的
冗余数据(
来自
文件夹中所有快照
的
所有数据我尝试为我
的
表
创建一个外部文件格式,但是
浏览 3
提问于2021-02-26
得票数 3
1
回答
Spark
Scala -将数据帧保存为带有标题
的
文本文件
scala
、
apache-spark
DataFrameWriter csv方法生成带有
标
头
的
csv部件文件.option("header","true").option("delimiter", "\t")Databrick
的
spark
-csv也可以
处理
带有头文件
的
csv文件,但
浏览 2
提问于2018-10-06
得票数 0
2
回答
如何在蔚蓝数据库中重命名数据库?
apache-spark-sql
、
databricks
、
azure-databricks
我试图在中重命名一个数据库,但是我得到了以下错误: %
sql
ALTER DATABASEinventory MODIFY NAME = new_inventory; 请解释这个错误是什么意思“输入‘alternative没有可行
的
选择”,我如何解决它?
浏览 4
提问于2021-03-05
得票数 4
1
回答
用于Azure存储
的
PowerBI中
的
查询筛选
azure
、
apache-spark-sql
、
powerbi
、
powerbi-desktop
我一直在尝试寻找我们是否在PowerBI中为Azure Storage提供了Direct Query
的
选项?我
的
PowerBI确实显示了在Import和Direct Query之间进行选择
的
选项,但它没有提供编写任何查询
的
选项。我做了一些搜索&发现了一个旧
的
帖子,它没有yet.This
的
想法也在上制定,但似乎还没有任何更新。 我在别处找不到这个是否可用。有没有人有什么最新
的
想法?我想编写
Spark
SQL
,基本上是为了从Azu
浏览 8
提问于2020-05-13
得票数 0
2
回答
将熊猫数据附加到数据库中现有的
表
中
python
、
pandas
、
apache-spark
、
pyspark
、
databricks
我想在
databricks
中
的
现有
表
(12列)中添加一个熊猫数据(8列),并填充其他4列无法与None值匹配
的
列。我已经试过了:
spark
_df.write.mode("append").insertInto("my_table") ParseException:“\n
不
匹配
的
输入”:‘期望(第1行,po
浏览 3
提问于2019-11-18
得票数 1
4
回答
将数据从blob存储复制到sqlDatabase (到多个
表
中)
azure
、
azure-data-factory
我正在尝试使用Azure DataFactory将blob存储中
的
数据读入
SQL
数据库。我让这个过程可以使用copy活动很好地工作,现在我尝试将数据插入到多个相互关联
的
表
中(privateKey,foreignKey)。例如,要更新Table,我需要知道
表
所有者中是否存在所有者。我无法找到一个详细
的
解释,如何去做!有谁有经验给我指点?谢谢
浏览 1
提问于2019-10-22
得票数 1
1
回答
如何在Azure Delta湖上创建外部
表
(类似于Hive)
azure-databricks
、
azure-data-lake
、
delta-lake
如何在Azure数据湖存储上创建外部Delta
表
?我目前正在从事一个迁移项目(从Pyspark/Hadoop到Azure)。我找不到很多关于在Azure中创建
非
托管
表
的
文档。下面是它
的
样子->>> df1 =
spa
浏览 3
提问于2022-03-30
得票数 0
6
回答
未能为数据源加载类: com.
databricks
.
spark
.csv
apache-spark
我
的
build.sbt文件有以下内容:libraryDependencies += "com.
databricks
" % "
spark
-csv_2.10" % "1.1.0" 我在独立集群模式下运行
Spark
,我
的
SparkConf是SparkConf().setMaster("
spark
://ec2-[ip].compute-
浏览 5
提问于2015-07-23
得票数 6
1
回答
Schema文件定义
java
、
apache-spark
、
schema
、
parquet
我有一个简单
的
火花应用程序,目的是读取分隔文本文件,并将它们保存为拼花格式。到目前为止,我已经看过
的
示例要么是从标题行推断模式,要么是在代码本身中定义模式。如何才能做到这一点?import org.apache.
spark
.SparkConf; import org.apache.
spark
.Spar
浏览 5
提问于2017-04-13
得票数 0
1
回答
是否有一个等同于“优化”
的
方法,允许从中
的
非
托管
表
中删除副本
sql
、
apache-spark
、
databricks
我想从一个
非
托管
表
中删除重复
的
行。,我知道有一些命令,比如,df.dropduplicates(),,可以
处理
dataframes,但是有一个命令可以对底层数据执行同样
的
操作吗?因此,例如,优化工作如下:
spark
.
sql
("OPTIMIZE <TABLE>") 是否有类似于:
spark
.
sql
("DELETE DUPLICATES <TABLE>")之
浏览 3
提问于2021-07-08
得票数 0
回答已采纳
3
回答
是否有可能插入临时
表
的
火花?
apache-spark
、
temporary
我使用ApacheSpark2.4使用
Databricks
测试了下面的查询:create temporary view temp_view_t不可能插入
spark
中
的
临时
表
吗?如何在
spark
sql
中创建临时数
浏览 2
提问于2020-03-30
得票数 4
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark 3.0重磅发布!开发近两年,流、Python、SQL重大更新全面解读
成功从 Hadoop 迁移到 Lakehouse 架构的 5 个关键步骤
基于Azure 数据湖分析与U-SQL实现大数据查询处理
Spark诞生头十年:Hadoop由盛转衰,统一数据分析大行其道
Spark 2.3重磅发布:欲与Flink争高下,引入持续流处理
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券