腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如
何在
Databricks
pyspark
notebook
中
包含
额外
的
库
/
包
?
、
我们经常需要在
pyspark
中导入一些
额外
的
库
,
Databricks
为练习
pyspark
提供了一个很好
的
环境,但是,在那里安装所需
的
库
是可能
的
吗?如果是,如何?或者,是否有使用非内置
库
/
包
的
变通方法? 谢谢。
浏览 21
提问于2020-02-01
得票数 0
回答已采纳
4
回答
如
何在
pyspark
中加载
databricks
包
dbutils
、
我试着用
pyspark
运行下面的代码。call last): NameError: name 'dbutils' is not defined 那么,有没有办法通过
包含
databricks
包
来在
pyspark
中
运行它,就像导入一样?感谢您
的
帮助
浏览 13
提问于2018-08-17
得票数 7
2
回答
如
何在
IPython笔记本中加载jar依赖项
、
、
、
鼓励我尝试使用spark-csv来读取
PySpark
中
的
.csv文件。我发现有几篇文章描述了如何使用,比如ipython
notebook
--profile=
pyspark
ipython
notebook
--profile=
pyspark
--packages c
浏览 1
提问于2015-11-25
得票数 8
2
回答
在
Databricks
中导入笔记本
、
、
、
我想使用
databricks
-connect直接从VS code
中
编码和运行/测试所有东西,以避免与
Databricks
web IDE打交道。对于基本
的
笔记本,它工作得很好,但我想对多个笔记本做同样
的
事情,并使用导入(例如,在另一个笔记本中使用import config-
notebook
)。然而,在VS代码
中
,import another-
notebook
工作得很好,但在数据
库
中
却不起作用。据我所知,<
浏览 45
提问于2021-10-19
得票数 1
3
回答
无法在jupyter笔记本中导入sparkdl
、
、
、
我正在尝试使用jupyter
notebook
中
的
spark deep learning library()。当我尝试在jupyter
notebook
中
“导入sparkdl”时,我得到了错误“找不到模块”。当我在cli
中
运行以下命令时我可以在spark shell如
何在
jupyter <e
浏览 0
提问于2019-03-27
得票数 2
1
回答
如
何在
数据
库
中
执行Legacy Scala代码
库
、
、
我有许多遗留scala
包
/代码
库
,需要迁移到
Databricks
。 目前,这些scala包被转换为jar文件,这些jar文件从shell脚本
中
调用。我可以在
Databricks
中
运行scala,但是如
何在
pyspark
中
调用
包
文件/ scala代码
库
呢?这有可能吗?如果是的话,我该怎么做?
浏览 4
提问于2022-09-22
得票数 1
1
回答
访问导入到
databricks
notebook
的
自定义python
包
中
的
databricks
密钥
、
、
我们有一个托管在私有bitbucket存储
库
上
的
自定义python
包
,它可以通过%pip install git+https//...安装在任何
databricks
笔记本电脑上。当函数在本地运行时,这是通过配置文件处理
的
,但如果函数在
databricks
上运行,我们希望将这些凭据存储在
databricks
secret (作用域)
中
。然而,尝试做一些像这样
的
事情 from
pyspark
.cont
浏览 22
提问于2021-04-14
得票数 0
2
回答
如何与
PySpark
、SparkSQL和Cassandra合作?
、
、
、
我有点困惑于不同
的
演员在这个故事:
PySpark
,SparkSQL,卡桑德拉和火星雨-卡桑德拉连接器。显然,没有SparkSQL是绝对没有理由工作
的
,特别是如果连接到卡桑德拉。.cc.setKeyspace("mykeyspace") val dataframe = cc.sql("SELECT count(*) FROM
浏览 7
提问于2016-02-28
得票数 1
1
回答
数据
库
从存储
库
中
的
python
库
导入/复制数据
、
、
、
、
在尝试使用
databricks
的
新repo功能实现解决方案时,我面临着一个小小
的
挑战。我在一个需要能够使用python和
pyspark
代码
的
interdisziplinairy项目中工作。python团队已经构建了一些
库
,这些
库
现在也希望被
pyspark
团队使用(例如预处理等)。我们认为使用新
的
repo功能将是一个很好
的
折衷方案,可以轻松地进行协作。因此,我们将python源代码添加到所有
库
文件<e
浏览 0
提问于2021-04-30
得票数 2
1
回答
使用
databricks
-连接调试运行其他笔记本
的
笔记本
、
、
、
我能够使用visual studio代码从我
的
Linux Centos VM连接到Azure
Databricks
集群。下面的代码甚至可以毫无问题地运行 from
pyspark
.sql import SparkSession print因为%run字符串是注释
的
,所以# python没有执行它。因此,我尝试
包含
dbutils.
notebook
.run('pathofnotebook
浏览 34
提问于2021-10-07
得票数 3
回答已采纳
3
回答
在
Pyspark
中
添加python外部
库
、
我使用
的
是
pyspark
(1.6),我想使用
databricks
:spark-csv
库
。为此,我尝试了不同
的
方法,但都没有成功
pyspark
--jars THE_NAME_OF_THE_JAR df = sqlContext.read.formatorg.apache.spark.sql.execution.datasources.ResolvedDataSource$.lookupDataSource(ResolvedDa
浏览 1
提问于2017-05-19
得票数 2
1
回答
加载程序集时出现
的
U- SQL问题
、
、
我正在尝试对Json
的
文件执行一些操作,为此在简单
的
Json上运行一个测试。我得到了错误,不能理解是什么问题。 // A."endOffset": 644 ] } I already register the assemblies to my account 这是Json文件
的
简单内容
浏览 14
提问于2021-08-12
得票数 0
1
回答
如何使用Mobius在数据
库
中
调用
notebook
或从C#运行作业?
、
、
、
我是
Databricks
.Is新手,有没有可能从C#发送通过API (
如
Mobius)
的
代码来在数据
库
中
运行作业? 你能给我一些代码示例吗?例如,如果我想在
notebook
中
运行一些
包含
NoSql代码
的
作业。 谢谢。
浏览 16
提问于2019-03-13
得票数 1
1
回答
数据
库
访问本地笔记本
我在
Databricks
上创建了一些笔记本,我想访问它们。
浏览 6
提问于2021-04-13
得票数 1
回答已采纳
1
回答
Pytest在
Databricks
repo
中
运行时不输出junitxml
、
、
我们有一个数据
库
平台,其中
的
repos和文件在repos中被启用。因此,我们可以在repos
中
包含
.py文件,这些文件可以由
Databricks
笔记本调用。我们目前正在测试在
Databricks
集群上运行单元测试
的
可行性,而不是在Git / CI环境中使用(
PySpark
)映像。
Databricks
中
的
回购看起来像| - mycode.py |
浏览 1
提问于2022-06-29
得票数 0
1
回答
Spark
Databricks
本地文件API
、
、
、
、
我正在尝试构建在spark
DataBricks
中
完成
的
处理
的
摘要/报告。我遇到了下面的一段代码,它允许将数据写入dbfs和ADLS(通过挂载点),但当我将代码打包到jar
中
并尝试将其作为
DataBricks
作业执行时,问题出现了,我得到了文件未找到异常,现在想知道如
何在
不使用notebooks
的
情况下将数据写入存储。writer.close() 我偶然发现了来自
DataBricks
的
DButils,但还没
浏览 0
提问于2019-11-27
得票数 0
1
回答
使用Airflow使用
PySpark
代码执行
Databricks
笔记本
、
、
、
我使用
的
是气流、数据
库
和
PySpark
。我想知道,当我想通过气流执行
Databricks
笔记本时,是否可以添加更多
的
参数。if __name__== "__main__":我想要定义运行有更多params
的
Databricks
笔记本
的
其他任务参数,我想添加方法
的
名称和这些方法
的
参数例如,当我想在气流
中
的
DAG中注册
浏览 0
提问于2019-06-25
得票数 2
回答已采纳
2
回答
如何使用
pyspark
将blob字符串转换为文件
、
、
、
、
我有一个
pyspark
笔记本,我正在阅读azure event-hub消息,其中一个字段是一个字符串,它是oracle数据
库
中
的
blob字段和文件。我正在尝试将字符串转换为文件、二进制文件,然后写入azure
中
的
blob存储,但我不能这样做。如何将字符串转换为文件?
浏览 0
提问于2019-08-26
得票数 0
1
回答
如
何在
数据
库
运行时更新
库
?
、
、
、
我有一些代码片段需要使用比
Databricks
运行时版本
中
当前提供
的
版本更高
的
库
版本来运行。我有一个由mlflow记录
的
外部文件,其中
包含
运行某些代码所需
的
Python
库
和版本
的
集合,我需要确保在运行
Databricks
笔记本
中
的
单元之前正确安装这些
库
。我知道,只需在单元格
中
执行%pip install就可以升级到所需
的
浏览 2
提问于2022-05-25
得票数 1
1
回答
用
Pyspark
内核读取Jupyter
notebook
中
的
Spark Avro文件
、
、
当我转到我
的
目录并执行以下操作时但是,我不想在每次打开
pyspark
笔记本时都给包下命令。例如,如果我必须使用Spark-csv
包
,我就会这样做在终端
中
,它打开了一个jupyter笔记本电脑与火花-csv封装。我不需要特别为spark-csv给出包命令。我已经在配
浏览 10
提问于2017-02-07
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Jupyter在美团民宿的应用实践
如何从Pandas迁移到Spark?这8个问答解决你所有疑问
Spark 3.0重磅发布!开发近两年,流、Python、SQL重大更新全面解读
Databricks统一分析平台提供AutoML Toolkit
pyspark 安装
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券