腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如
何在
databricks
notebook
中
的
变量
中
存储
spark
数据
帧
模式
?
apache-spark
、
azure-databricks
使用
spark
scala azure
databricks
。 我有一个包含100+列
的
数据
帧
(Df1)。我需要创建另一个
数据
帧
(Df2),并希望它也有相同
的
模式
。如何将df1
的
模式
存储
到
变量
中
并应用于df2 val inputDF = Seq(("00163E0F765C1ED79593228BF70CEE41" ,&quo
浏览 18
提问于2019-10-11
得票数 0
1
回答
用于Azure
数据
库
的
DevOps作业
azure
、
azure-devops
、
azure-databricks
我正在尝试在Azure
Databricks
上实现DevOps。 我已经完成了
databricks
、notebooks和dbfs文件
的
devops实现。我确实有许多
databricks
作业在我
的
集群上按计划运行。其中一些作业指向
notebook
文件,少数作业指向dbfs位置
中
的
jar文件。有没有办法在azure
databricks
作业上实现devops过程,以便DEV
中
的
任何作业
中</em
浏览 3
提问于2020-11-27
得票数 2
2
回答
什么是Apache
Spark
(SQL)
中
的
Catalyst Optimizer?
pyspark
、
pyspark-sql
我想知道更多关于在Apache ( PySpark )中使用Catalyst Optimizer
的
信息,在pyspark
数据
帧
中使用Catalyst Optimizer是可能
的
。
浏览 23
提问于2019-05-18
得票数 1
1
回答
如
何在
Databricks
中
读取/加载本地文件?
apache-spark
、
apache-spark-sql
、
databricks
、
azure-databricks
、
pyspark-dataframes
除了导航到
Databricks
上
的
“Data”>“Add Data”之外,是否还可以读取位于本地计算机
中
的
文件。在我过去使用Databrick
的
经验
中
,当使用s3
存储
桶时,我能够通过如下方式指定路径来读取和加载
数据
帧
: df =
spark
.read.format('delta').load('<path>')有没有办法使用
databricks</em
浏览 132
提问于2020-10-30
得票数 2
1
回答
将HDFS上文件夹
中
的
多个逗号分隔文件加载到pyspark dataframe第一个文件有标题
pyspark
该文件夹
的
内容包括: _SUCCESSpart-00001part-00048 这些文件为csv格式。第一个文件part-00000具有头文件。其余
的
文件则不需要。当我读取文件时,我使用以下命令:
spark
.read.load( format='com.
databricks
.
spark
.csv',读取除第一个文件之外
的
所有文件时出现此错误,因为第一个文件包含标头 完全错误
浏览 59
提问于2021-04-25
得票数 0
回答已采纳
2
回答
在
Databricks
中导入笔记本
python
、
python-import
、
databricks
、
databricks-connect
我想使用
databricks
-connect直接从VS code
中
编码和运行/测试所有东西,以避免与
Databricks
web IDE打交道。对于基本
的
笔记本,它工作得很好,但我想对多个笔记本做同样
的
事情,并使用导入(例如,在另一个笔记本中使用import config-
notebook
)。然而,在VS代码
中
,import another-
notebook
工作得很好,但在
数据
库
中
却不起作用。据我所知,<
浏览 45
提问于2021-10-19
得票数 1
4
回答
如
何在
pyspark中加载
databricks
包dbutils
pyspark
、
databricks
call last): NameError: name 'dbutils' is not defined 那么,有没有办法通过包含
databricks
包来在pyspark
中
运行它,就像导入一样?感谢您
的
帮助
浏览 13
提问于2018-08-17
得票数 7
3
回答
无法在jupyter笔记本中导入sparkdl
apache-spark
、
pyspark
、
deep-learning
、
jupyter-notebook
我正在尝试使用jupyter
notebook
中
的
spark
deep learning library()。当我尝试在jupyter
notebook
中
“导入sparkdl”时,我得到了错误“找不到模块”。当我在cli
中
运行以下命令时我可以在
spark
浏览 0
提问于2019-03-27
得票数 2
1
回答
将
数据
从Azure Synapse
中
的
Apache
Spark
写入SQL DW
azure-databricks
、
azure-synapse
当我从
Databricks
向Azure
中
的
SQL DW写入
数据
时,我使用以下代码:这不适用于Synapse
Notebook
中</
浏览 30
提问于2021-06-10
得票数 1
回答已采纳
3
回答
不将
Spark
Dataframe转换为Pandas
的
方法
python
、
pandas
、
pyspark
、
databricks
有没有办法在不将
数据
帧
转换为pandas
的
情况下绘制
Spark
dataframe
中
的
信息?# df = some
Spark
data frame df.plot()
浏览 17
提问于2019-07-30
得票数 8
1
回答
Delta Lake表元
数据
delta-lake
Delta Lake在哪里
存储
表元
数据
信息。我在我
的
独立机器上使用
的
是
spark
2.6(不是
Databricks
)。我
的
假设是,如果我重启
spark
,在delta
中
创建
的
表将被删除(尝试使用Jupyter
notebook
)。但事实并非如此。
浏览 31
提问于2020-07-21
得票数 1
回答已采纳
2
回答
如
何在
Databricks
笔记本中使用气流
变量
?
pyspark
、
airflow
、
databricks
、
azure-databricks
我有一个从Airflow DAG调用
的
Databricks
PySpark笔记本。我通过转到Admin - Variables在Airflow
中
创建了一个
变量
,并添加了一个键-值对。我找不到在
Databricks
中使用该气流
变量
的
方法。 编辑以添加我
的
代码示例。"token": token} 和这里定义
的
运算符 opr_submit_run = DatabricksSubmitRunOperator(
浏览 42
提问于2021-07-13
得票数 2
回答已采纳
2
回答
将一个
Databricks
笔记本导入到另一个错误
python
、
pandas
、
jupyter-notebook
、
databricks
、
azure-databricks
我正尝试在
Databricks
中
运行另一个Jupyter
Notebook
。NotebookB
中
的
第一行代码如下(所有标记都显示在
数据
库
中
,没有任何问题):我在我
的
Jupyter
Notebook
浏览 2
提问于2019-09-12
得票数 1
4
回答
Spark
sql
中
的
变量
apache-spark
、
apache-spark-sql
、
databricks
因为在SQL Server
中
,我们可以像declare @sparksql='<any query/value/string>'一样声明
变量
,但是在
spark
sql
中
可以使用什么替代方法。
浏览 541
提问于2020-11-26
得票数 3
2
回答
Databricks
Delta和Hive事务表
apache-spark
、
hive
、
databricks
、
delta-lake
我从两个来源看到,现在你不能以任何有意义
的
方式与
Spark
的
HIVE事务表进行交互。 我看到
Databricks
发布了一个名为
的
事务性功能。现在可以使用此功能读取配置单元事务性表吗?
浏览 0
提问于2018-12-13
得票数 2
2
回答
Databricks
:如
何在
%SQL查询
中
获取当前用户
sql
、
get
、
identity
、
databricks
、
delta-lake
在
DATABRICKS
DELTA
数据
库
中
,由于用户组
的
更改,在相同
的
表中有关于不同用户组
的
信息。我
的
意思是,所有组
中
的
所有用户都使用同一个表。%sql CREATE VI
浏览 3
提问于2020-04-01
得票数 3
1
回答
数据
库+ ADF + ADLS2 + Hive = Azure Synapse
azure
、
apache-spark
、
azure-sql-database
、
azure-databricks
、
azure-synapse
我没有使用Azure Synapse
的
经验,但我
的
理解是,这与SQL
中
的
Databricks
、ADF、ADLS2和Hive是相同
的
,它们都位于一个不同名称
的
工作区
中
。 我说错了吗?
浏览 2
提问于2021-11-12
得票数 1
回答已采纳
2
回答
通过Python
中
的
Databricks
api读取
Databricks
表?
python-3.x
、
pyspark
、
databricks
使用Python-3,我试图将Excel (xlsx)表与
Databricks
中
相同
的
星火表进行比较。我希望避免在
Databricks
中进行比较。因此,我正在寻找一种通过
Databricks
api读取星火表
的
方法。这个是可能
的
吗?我怎样才能继续读一张桌子: DB.TableName?
浏览 8
提问于2021-03-19
得票数 1
回答已采纳
2
回答
在
spark
中
,如何从没有列名
的
CSV文件创建带
模式
的
dataframe?
csv
、
apache-spark
、
dataframe
、
schema
我有一个只有
数据
但没有列名
的
CSV文件,现在我想用这个CSV文件
的
数据
在
Spark
中
创建一个
数据
帧
,并为它创建
模式
(列名和
数据
类型)。我
的
代码如下: import org.apache.
spark
.sql.SQLContext val employee = sqlContext.read.format(&q
浏览 52
提问于2019-02-26
得票数 0
2
回答
从
Databricks
连接到Sybase
azure
、
sybase
、
azure-databricks
、
sap-iq
从
Databricks
连接到Sybase
的
最佳方法是什么?> %sql> CREATE TABLE sybase_table> OPTIONS
浏览 5
提问于2019-12-21
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark 2.4重磅发布:优化深度学习框架集成,提供更灵活的流式接收器
如何从Pandas迁移到Spark?这8个问答解决你所有疑问
成功从 Hadoop 迁移到 Lakehouse 架构的 5 个关键步骤
Jupyter在美团民宿的应用实践
加米谷大数据:比拼生态和未来,Spark和Flink哪家强?
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券