我正在尝试使用databrick connect在IDE中运行我的databricks笔记本中的一些代码。我似乎想不出如何创建一个简单的数据帧。使用： import spark.implicits._
var Table_Count = Seq((cdpos_df.count(),I_count,D_count,U_count)).toDF(尝试从头开始创建数据帧</em
浏览 69提问于2021-09-14得票数 0
我已经阅读了配置databricks-connect的文档，但是在运行databricks-connect test时仍然会遇到下面的错误java.lang.NoSuchMethodErrorcorrect result
<e
浏览 0提问于2019-07-22得票数 4
我正在使用Azure (6.5运行时)，并试图将其连接到IDE。但是，为了在集群中启用AAD凭据传递，我们需要将以下属性设置为truespark.databricks.pyspark.enableProcessIsolationtrue
但这会导致databricks-connect测试因错误而失败。
浏览 3提问于2020-10-12得票数 0
我正在从本地机器设置databricks，而在所有配置之后，我收到了databricks-connect test的错误
追溯(最近一次调用)：文件"c:\programdata\anaconda3\lib\runpy.py"，第193行，在_run_module_as_main "main“中，mod_spec)文件"c:\programdata\anaconda3\lib\runpy.py"，第85行，在_run_code exec(代码，run_globals)文件第
浏览 2提问于2020-01-24得票数 2
我正在尝试将一个大小为2734984行x11列的pyspark转换为一个名为toPandas()的熊猫数据。使用时，它完全可以正常工作(11秒)，但当我使用databricks-connect运行完全相同的代码(db-connect版本和Databricks运行时版本匹配，两者都是7.1)时，我会遇到java.lang.OutOfMemoryError我认为这个错误在databricks-connect中的某个地方，因为我不能使用笔记本复制它。
有什么
浏览 20提问于2020-12-09得票数 7
回答已采纳
简而言之，我正在尝试探索从Databricks工作区向C#/.NET应用程序提供数据以进行用户交互和即席查询的可能性。我花了一些时间来设置Databricks-Connect，就我可以从本地机器运行Databricks集群上的Python Spark作业而言，它似乎是有效的。我还尝试遍历设置并执行来自.NET for Apache Spark的示例 我的问题是，我很难找到任何涉及这两者协同工作的文档、示例或演示。有没有可能在.NET中建立一个spark会话，允许针对databr
浏览 32提问于2021-05-07得票数 1
回答已采纳
是否可以使用databricks-connect来切换工作区？我目前正在尝试切换：spark.conf.set('spark.driver.host', cluster_config['host'])
但这会返回以下错误：AnalysisException: Cannotmodify the value of a Spark config: spark.driver.host
浏览 17提问于2022-03-23得票数 1
回答已采纳
我已经在我的PC上设置了一个miniconda python环境，在那里我安装了databricks-connect包，并使用databricks-connect configure配置了该工具，以连接到我想在美国开发代码时使用的我需要连接到另一个不同的databricks实例，以便在欧盟开发代码，我想我可以通过设置一个不同的miniconda环境，在该环境中安装databricks-connect，并将该环境中的配置设置为指向新的当
浏览 19提问于2021-03-13得票数 1
2回答
我正在使用databricks-connect和VS Code为Databricks开发一些python代码。我想使用databricks-connect直接从VS code中编码和运行/测试所有东西，以避免与Databricks web IDE打交道。对于基本的笔记本，它工作得很好，但我想对多个笔记本做同样的事情，并使用导入(例如，在另一个笔记本中使用import config-notebook )。然而，在</e
浏览 45提问于2021-10-19得票数 1
我尝试将Databricks Connect设置为能够使用已在Azure上的Workspace上运行的远程Databricks Cluster。当我尝试运行命令'databricks-connect test‘时，它永远不会结束。 我关注官方documentation。 我在3.7版本中安装了最新的Anaconda。我已经创建了本地环境: conda create --name dbconnect python=3.5 我已经在5.1版本中安装了'
浏览 68提问于2019-05-31得票数 4
我正在尝试为DataBricks设置一个开发环境，这样我的开发人员就可以使用VSCODE (或其他一些IDE)编写代码，并在DataBricks集群上执行代码。因此，我查看了的文档，并按照文档中的建议进行了设置。发布我能够在Azure DataBricks集群上执行python代码的设置，但不能使用Scala代码在运行安装程序时，我发现它说的是跳过上的scala命令测试，我不确定这里是否缺少一些配置
浏览 2提问于2020-08-26得票数 1
是否有方法在本地使用执行火花代码？
原因是我希望执行一些测试，作为CI/CD管道的一部分，而不需要启动和运行集群。
浏览 0提问于2019-07-24得票数 6
回答已采纳
1回答
Sparklyr未连接到数据库
、、、、
我正在尝试使用sparklyr或SparkR连接到数据库。install.packages("sparklyr")
sprk <-spark_connect(master = "local") # this code works perfectly and it conn
浏览 0提问于2018-11-27得票数 1
File "<stdin>", line 1, in <module>那么，有没有办法通过包含databricks包来在pyspark中运行它，就像导入一样？
浏览 13提问于2018-08-17得票数 7
与数据库的连接工作正常，与DataFrames的工作也很顺利(连接、过滤等操作)。当我在数据帧上调用cache时，问题出现了。at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1857)我根据需要使用在python-jvm桥接层上，这看起来像是一个本地问题，但java版本(8)和python (3.7)是必需的。切换到java13会产生完全相同的消息。版本databricks-
浏览 0提问于2020-02-04得票数 1
在加载之前，我需要删除三角洲湖表中的某些数据。如果存在数据，我可以从delta表中删除数据，但当该表不存在时，它会失败。数据库下面的scala代码val del_ID = "Check_ID =" + "123"
val deltaTable
浏览 2提问于2020-10-06得票数 5
回答已采纳
1回答
我做了一个pip install -U databricks-connect==5.5.*原因: com.databricks.service.SparkServiceConnectionExceptionhttps://docs.databricks.com/api/latest/authentication.html#generate-a-token
- Ge
浏览 30提问于2020-03-04得票数 3
我想使用IntelliJ IDEA直接在集群中运行我的Spark进程，所以我将按照下一个文档
配置完所有这些之后，我运行databricks-connect test，但是没有像文档所说的那样获得Scala
浏览 2提问于2019-05-02得票数 4
回答已采纳
3回答
我设置了映射
我创建了一个conda环境，方法是在vm中启动一个终端，然后下载并连接到databricks-connect。我在终端上测试它，它运行良好。我在py魅力配置上设置了控制台。但是，当我尝试运行spark会话(spark = SparkSession.builder.getOrCreate())时，databricks-connect搜索.databricks-连接文件中的错误文件夹Please
浏览 1提问于2020-07-10得票数 2
2回答
我定义了一些函数，并在其他笔记本中调用它，我想创建一个笔记本，它在ADF中对所有这些功能进行单元测试，还需要进行单元测试，比如源文件和数据帧之间的计数匹配。
如何做到这一点？
浏览 5提问于2022-07-18得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
