假设我们有几个人在以协作的方式处理Databricks集群。Spark Context和Spark Session在后台发生。 默认情况下，它们是否共享相同的Spark会话？
浏览 29提问于2021-11-15得票数 1
回答已采纳
简而言之，我正在尝试探索从Databricks工作区向C#/.NET应用程序提供数据以进行用户交互和即席查询的可能性。我花了一些时间来设置Databricks-Connect，就我可以从本地机器运行Databricks集群上的Python Spark作业而言，它似乎是有效的。我还尝试遍历设置并执行来自.NET for Apache Spark的示例 我的问题是，我很难找到任何涉及这两者<e
浏览 32提问于2021-05-07得票数 1
回答已采纳
原始的Spark distributive支持几个集群管理器，如YARN，Mesos，Spark Standalone，K8s。我找不到Databricks Spark中的内幕，它使用的是哪个集群管理器，是否可以更改？<code>B0</code>什么是Databricks Spark架构？
谢谢。
浏览 8提问于2021-03-15得票数 0
1回答
在创建Azure Databricks并配置其cluster时，我选择了Spark的默认语言为python,sql。但是现在我也想添加Scala。在运行Scala脚本时，我得到了以下错误。因此，我的在线搜索带我看了一篇文章，文章描述了您可以通过转到集群设置页面的Advanced options部分并单击那里的Spark选项卡来更改集群配置(如下图所示)。但我发现那里的星火区已经灰暗(残废)：
问题：如何启用集
浏览 8提问于2022-04-30得票数 2
回答已采纳
2回答
我在一些VM上运行了一个Databricks集群。我的组织有一个Hadoop集群，其中有一些我想要的数据。我没有访问Hadoop集群的权限，只有一个JDBC (我的所有权限都已经整理好了，它们只给了我一个URL)。
我可以在本地机器(Dbeaver)上打开数据库管理工具，并成功地查询Hive表。但是，我很难使用Databricks和PySpark查询Hive表。似乎要为HiveContext设置连接字符串，我通常会将
浏览 2提问于2020-04-16得票数 2
我想在databricks工作区中创建集群，并为某些用户提供“可以管理”权限。我如何使用REST API或其他脚本来做到这一点？这就是我在python中创建集群的方法(可以用cURL做同样的事情)： 'https://%s/api/2.0/clusters/create)},
json={
浏览 0提问于2019-07-23得票数 0
我试图理解Databricks存储文件的方式，我不太确定dbfs:/和文件:/之间的区别(见下图)。%fs ls "file:/databricks/driver"
但是，什么是文件:/，为了记录在案，我使用的是社区免费版<
浏览 2提问于2020-08-31得票数 2
回答已采纳
我想要在一个正在运行的Spark作业中获取集群链接(或手动组成链接的集群ID )。 这将用于打印警报消息中的链接，使工程师更容易访问日志。在Databricks中运行的Spark作业有可能实现这一点吗？
浏览 35提问于2021-06-30得票数 3
回答已采纳
我想在spark中读取avro文件，但不幸的是，我的公司中的集群没有com.databricks.spark.avro。所以我试着这就产生了未解决的依赖关系。import com.databricks.spark</e
浏览 1提问于2018-03-28得票数 3
回答已采纳
1回答
我试图在我的PySpark3 Jyupter笔记本中读取一个XML文件(运行在Azure中)。我有这样的代码：然而，我总是得到错误的java.io.IOException: Couldnot read footer for file
An error occurred while calling o61
浏览 0提问于2019-07-05得票数 0
回答已采纳
在Databricks中使用什么集群管理器？如何更改Databricks集群中的执行者数量？
浏览 0提问于2019-07-15得票数 6
回答已采纳
是否有人尝试将Azure data bricks用作CDAP作业处理的spark群集。CDAP文档详细介绍了如何将其添加到Azure HDInsight中，但只是想知道是否有一种方法可以将CDAP配置为指向data bricks spark集群，这是否可能？或者这种集成需要特定的数据块客户端连接器jar？如果任何人有任何见解，这将是有帮助的。
浏览 14提问于2019-01-10得票数 0
Spot实例可以以较低的价格在云中使用免费资源，但是如果云需求增加，那么资源将被释放。这是非常有用的非关键工作负载，只要你可以放松一些工作所做的。更多信息 可以在Azure Spot实例上运行Databricks集群吗？
浏览 15提问于2021-03-04得票数 3
回答已采纳
2回答
我正在尝试设置流以开始处理传入的文件。看起来Databricks无法保存检查点。我尝试在ADLS、Gen2和DBFS中定位，结果相同。Databricks用一些scructure创建所需的文件夹，但不能写入它。检查站的位置有什么特殊要求吗？Databricks Community，运行时版本:9.1LTS(包括ApacheSpark3.1.2，Scala2.12).format("cloudFiles&qu
浏览 9提问于2021-12-13得票数 3
1回答
我正在使用，并试图与Databricks集群建立连接。到目前为止，一切看起来都很好，但有一个问题是，在星火的配置下，我们必须为ADLS 2存储帐户放置SAS密钥。这样做的原因是，当Informatica试图写入Databricks时，它首先必须将该数据写入ADLS 2中的一个文件夹中，然后Databricks实质上接受该文件并将其写入一个Delta表。现在，一个问题是，我们放置Spark的字段包含完
浏览 11提问于2022-05-03得票数 1
1回答
我遵循在我的databricks集群上安装了栅格框架。我使用的是星火3.2.1的集群。我还安装了1.8.0_341，但这并没有什么区别。
/databricks/python/lib/python3.8/site-packages/pyrasterfr
浏览 15提问于2022-07-27得票数 1
4回答
我在用Spark连接到snowflake但我无法访问snowflake。看起来databricks中的内部JDBC驱动程序有问题。我尝试了许多版本的雪花看起来我能配上
浏览 2提问于2018-05-10得票数 6
我正在处理Azure databricks。我的驱动节点和工作节点规格是: 14.0 GB内存，4核，0.75dBU Standard_DS3_v2。我的pyspark笔记本失败，出现Java堆空间错误。我在网上查看了一下，其中一个建议是增加驱动程序的内存。我尝试在notebook中使用以下conf参数来获取驱动程序的内存。但是我的notebook cel
浏览 14提问于2020-02-18得票数 0
回答已采纳
1回答
我想在Databricks的spark上下文中注册自定义SparkListener。
与基本火花，我可以使用"spark.jars“和"spark.extraListeners”吐露在火花-提交。对于databricks安装程序，我已经在集群中安装了包含监听器的jar。当我将配置"spark.extraListeners“放在集群的”高级“配置选项卡<
浏览 14提问于2022-02-03得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
