腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
数据库连接到线程"main“java.lang.NoSuchMethodError中的IntelliJ + python错误异常:
、
、
我尝试将databricks与IDE连接起来import loggingfrom
pyspark
SparkSubmit.scala:1016) at org.apache.spark.deploy.SparkSubmit.main(
浏览 29
提问于2021-03-30
得票数 2
1
回答
为什么Databricks连接测试不能在Mac上工作?
、
、
我已经阅读了配置
databricks-connect
的文档,但是在运行
databricks-connect
test
时
仍然会遇到下面的错误java.lang.NoSuchMethodErrorspark spark.range(100).reduce(_ + _)用于建立数据库的步骤连接 将火花控制设置为spar
浏览 0
提问于2019-07-22
得票数 4
1
回答
使用
databricks-connect
安装
时
在
本地
使用
Pyspark
、
、
、
我
安装
了
databricks-connect
6.6.0,其Spark版本为2.4.6。到目前为止,我一直
在
使用
databricks集群,但我正在尝试切换到
使用
本地
spark会话进行单元测试。但是,每次我运行它
时
,它仍然显示
在
集群Spark UI上以及xxxxxx:4040上的
本地
Spark UI上。我也尝试过
使用
spark-submit从控制台和终端运行它。这是我尝试过的一段示例代码: from
pyspa
浏览 43
提问于2020-11-07
得票数 1
回答已采纳
1
回答
数据库连接与
本地
火花环境之间的切换
、
、
、
我希望
使用
Databricks连接来开发火花放电管道。DBConnect非常棒,因为我能够
在
实际数据所在的集群上运行我的代码,所以它非常适合集成测试,但我也希望能够
在
开发和单元测试期间(pytest和pytest-spark)简单地
使用
本地
Spark环境。是否有任何方法配置DBConnect,因此对于一个用例,我只
使用
本地
Spark环境,而对于另一个用例,它
使用
DBConnect?
浏览 1
提问于2020-05-11
得票数 8
1
回答
数据库火花壳
、
笔记本很不错,但REPL有时更有用。我是否能以某种方式运行在Databricks上执行的火花-shell?比如:我查看了与Databricks相关的可用工具(databricks connect,dbx,.),但似乎没有这样的功能。
浏览 6
提问于2022-06-11
得票数 3
回答已采纳
1
回答
升级集群数据库运行时后的
PySpark
调试错误
、
、
、
现在,当我
在
VSCode中进行调试
时
,会发现一个错误。> pip install -U
databricks-connect
==7.3.*>
databricks-connect
testdbutils = DBUtils(spark.sparkContext) 异常发生: AttributeError
浏览 2
提问于2021-03-18
得票数 0
回答已采纳
1
回答
Dockerfile无法复制指定的
本地
目录和文件
、
、
、
、
databricks-connect
文件和库中的jars 这些基本上是
在
配置databricks之后生成的文件--
使用
命令
databricks-connect
在
本地
system.Since上连接--这是一个交互过程,我们不能在码头容器上模拟这个过程,所以我想复制到我的配置中,就像准备好在对接器中
使用
一样。snowflake-graphdb", "python", "/app/src/main/
浏览 1
提问于2020-10-16
得票数 3
1
回答
如何在数据库连接开发中
使用
pyspark
.dbutils?
我们已经开发了
使用
databricks连接并
使用
pyspark
.dbutils导入DBUtils的代码,当将代码打包到数据库文件中
时
,它失败了,没有一个模块找到了
pyspark
.dbutils。不存在pip
安装
pyspark
.dbutils。 怎么解决这个问题?
浏览 2
提问于2019-07-25
得票数 1
1
回答
Databricks Connect:自动接受许可提示
、
、
、
、
因此,我需要通过Docker RUN命令来设置和
安装
Databricks Connect。configure\#14 1.345 Do you accept the above agreement?in <module>
浏览 38
提问于2021-11-09
得票数 2
回答已采纳
2
回答
Databricks Connect:无法连接到azure上的远程群集,命令:'
databricks-connect
test‘停止
、
、
、
、
我尝试将Databricks Connect设置为能够
使用
已在Azure上的Workspace上运行的远程Databricks Cluster。当我尝试运行命令'
databricks-connect
test‘
时
,它永远不会结束。 我关注官方documentation。 我
在
3.7版本中
安装
了最新的Anaconda。我已经创建了
本地
环境: conda create --name dbconnect python=3.5 我已经
在
5.1版本中
安装</em
浏览 68
提问于2019-05-31
得票数 4
1
回答
DBUtils下载文件但文件不在
本地
、
、
、
、
我试图
在
databricks之外
使用
来自DBUtils的
pyspark
.dbutils,它显示
在
本地
复制文件
时
没有警告或错误,但是文件不在目标文件夹中。我的
pyspark
会话配置了
databricks-connect
,我可以用它来执行SQL。我是这样配置
databricks-connect
以连接到集群的: DATABRICKS_ADDRESS="https://xxxxxxxxxxxxxxx.azured
浏览 14
提问于2022-09-12
得票数 2
1
回答
Databrick-
使用
错误的Java版本连接
、
、
我
在
windows 10上
安装
和配置了databricks--
在
conda env中连接。其中一个先决条件是Java <8才能工作。我试图从这里
安装
Java 8,甚至是Java 7:之后,我将系统环境更改为新的Java8bin文件夹。然而,
在
conda环境中,当我运行java --version或
databricks-connect
test
时
,我看到一个更新版本的Java仍然
在
使用
。如果我运行databricks-连接测试:
浏览 16
提问于2022-11-14
得票数 0
回答已采纳
2
回答
Databricks连接测试无限期挂在“系统找不到指定的路径”上。
、
、
、
我按照本页的说明
安装
了databricks --
在
Windows 10上连接,Python3.8,Databricks版本9.1,以连接到Azure Databricks集群:
databricks-connect
test*
PySpark
is installed at C:\Users\brend\miniconda3\envs\try-databricks-7.3\lib\site-packages\
pyspark
* Checking SPAR
浏览 2
提问于2021-12-01
得票数 2
2
回答
配置databricks-
使用
python OS模块进行连接
、
、
、
、
我想在
安装
databricks之后通过python模块配置
databricks-connect
configure -通过os.system("pip install
databricks-connect
==6.5")连接host= "https://<location>.azuredatabricks.net", portconfigure,它将开
浏览 3
提问于2020-07-25
得票数 1
回答已采纳
1
回答
在
databricks-connect
中可以有多个连接吗?
、
、
我已经
在
我的PC上设置了一个miniconda python环境,在那里我
安装
了
databricks-connect
包,并
使用
databricks-connect
configure配置了该工具,以连接到我想在美国开发代码
时
使用
的我需要连接到另一个不同的databricks实例,以便在欧盟开发代码,我想我可以通过设置一个不同的miniconda环境,
在
该环境中
安装
databricks-connect
,并将该环境中的配
浏览 19
提问于2021-03-13
得票数 1
1
回答
无法
在
Azure DataBricks集群上执行scala代码
、
、
、
、
我正在尝试为DataBricks设置一个开发环境,这样我的开发人员就可以
使用
VSCODE (或其他一些IDE)编写代码,并在DataBricks集群上执行代码。发布我能够
在
Azure DataBricks集群上执行python代码的设置,但不能
使用
Scala代码在运行
安装
程序时,我发现它说的是跳过上的scala命令测试,我不确定这里是否缺少一些配置
浏览 2
提问于2020-08-26
得票数 1
2
回答
数据库-连接测试: TypeError:预期的str、字节或os.PathLike对象,而不是NoneType
、
我正在从
本地
机器设置databricks,而在所有配置之后,我收到了
databricks-connect
test的错误 追溯(最近一次调用):文件"c:\programdata\anaconda3\lib\runpy.py",第193行,
在
_run_module_as_main "main“中,mod_spec)文件"c:\programdata\anaconda3\lib\runpy.py",第85行,
在
_run_code exec(代码,run_globals)文件第
浏览 2
提问于2020-01-24
得票数 2
3
回答
数据库连接& PyCharm &远程SSH连接
、
、
、
我设置了映射 F
浏览 1
提问于2020-07-10
得票数 2
1
回答
Sparklyr未连接到数据库
、
、
、
、
我正在尝试
使用
sparklyr或SparkR连接到数据库。install.packages("sparklyr") Failed to start sparklyr backend: there is no package called ‘SparkR’ 当我
使用
浏览 0
提问于2018-11-27
得票数 1
1
回答
在
azure devops管道中找不到Databricks命令
、
、
、
下面是我正在
使用
的yml文件的一个片段: stages: displayName: "My Build" - job: BuildwhlAndRunPytestdisplayName: 'Configure DBConnect' databricks fs cp test-proj/
pyspark
-lib/configs/config.ini dbfs:/con
浏览 41
提问于2021-05-11
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
本地Blast的安装与使用
本地BLAST安装与使用说明
Windows 10现在使用机器学习来停止在使用PC时的安装更新
Windows系统下本地Blast+安装与使用图文教程
Superset 在Windows下的安装使用
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券