可以使用dbutils在notebooks中访问Databricks密钥，但是，由于dbutils在notebooks之外不可用，因此如何在pyspark/python作业中访问密钥，特别是当它们使用我已经试过How to load databricks package dbutils in pyspark了 它不适用于远程作业
浏览 12提问于2020-06-09得票数 0
1回答
我正在工具/服务的Azure生态系统中寻找一个文件共享解决方案。当前的需求是能够从运行在Databricks中的脚本编写数千个文件(每周3-4 000个)，到允许其他几个非技术用户访问的存储解决方案。生成报告的脚本是Python，而不是PySpark，尽管它确实在databricks中运行(在它之前有许多PySpark作业)。存储解决方案必须允许：
1)用Python编写
浏览 0提问于2020-05-21得票数 0
回答已采纳
我在databricks中安排了几个作业，其中我感兴趣的是读取两个特定作业的统计数据。我需要编写一个databricks notebook代码来将作业统计数据(jobName、startTime、endTime和status)写入雪花表。
浏览 37提问于2021-10-20得票数 1
1回答
我的流作业现在失败了，错误如下，流作业几乎工作了2个月，而且它是完全无状态的转换，只需要将新行追加到目标增量表中。在流式传输之前，我手动提供了csv文件的模式，甚至验证了流式作业模式和下游表模式都与数据类型完全匹配。File "/databrick
浏览 2提问于2021-06-11得票数 1
目前，我正在通过databricks-connect与本地VS代码连接数据库。但是我的子任务都有模块未找到的错误，这意味着其他python文件中的代码没有找到。我的python部件代码似乎是在本地python env中执行的，只有与代码直接相关的星星之火才在集群中执行，但是集群并没有加载我所有的python文件。然后引发错误。此外，当我打印某些sys信息的python版本时，似乎python
浏览 2提问于2020-07-10得票数 1
有方法可以将Databricks池附加到Databricks作业集群吗？我问这个问题的原因是，我已经测试了一个Databricks作业集群，它被配置为一个新的链接服务，每当ADF管道触发作业时，我都会看到一个新的作业集群在流水线内的每一个活动上都得到了加速，每次当一个新的作业集群被激活时在高并发性集群中，这根本不是一个问题，只有初始(非常第一个)管道才会占用时间，随后的管道将通过使用来自高并发集群的
浏览 2提问于2022-01-25得票数 1
我希望将我的python脚本从本地迁移到云上，特别是在Azure Databricks上创建的集群上。纯python脚本可以并行运行(同时使用集群中的多个节点)，而不必转换为pyspark吗？
是否可以检查作业是否并行运行？
浏览 3提问于2018-11-28得票数 1
我正在处理Azure Databricks。目前我的Pyspark项目在'dbfs‘上。我配置了一个spark-submit作业来执行我的Pyspark代码(.py文件)。然而，根据Databricks文档，spark-submit作业只能在新的自动化集群上运行(可能是设计出来的)。
有没有办法在现有的交互式集群上运行我的Pyspark代码？我还尝试在%sh单元格中的notebook<em
浏览 4提问于2020-05-22得票数 0
我能够建立到我的数据库filestore DBFS的连接并访问文件。用Pyspark读取、写入和转换数据是可能的，但是当我尝试使用本地Python (如pathlib或OS模块)时，我无法通过DBFS文件系统的第一级。但是，如果我执行os.listdir('\dbfs\mnt\my_fs\')，它将['mount.err']作为返回值返回我正在使用Python在Databricks</em
浏览 3提问于2019-11-22得票数 7
回答已采纳
2回答
我有一个pyspark笔记本，我正在阅读azure event-hub消息，其中一个字段是一个字符串，它是oracle数据库中的blob字段和文件。我正在尝试将字符串转换为文件、二进制文件，然后写入azure中的blob存储，但我不能这样做。如何将字符串转换为文件？
浏览 0提问于2019-08-26得票数 0
我在解密的时候发现了错误，这是mycode中的加密列。顺便说一下，我正在用Azure databricks编写下面的代码。"/databricks/spark/python/pyspark/serializers.py", line 469, in loads File "/databrick
浏览 27提问于2022-01-12得票数 0
在中，我尝试在笔记本中创建一个kafka流，并使用它来创建一个火花作业。Databricks在KafkaUtils.createDirectStream()行抛出错误。在下面附加了相应的代码。()])
File "/databricks/spark/python/pyspark/streaming/kafka.py", line 141
浏览 8提问于2019-11-21得票数 2
回答已采纳
我必须在databricks中使用python或pyspark或scala获取作业运行结果日志，并将这些日志详细信息写入文件。我拿不到这些logs.Can有人能帮帮我吗？
浏览 1提问于2019-04-01得票数 0
我正在尝试使用textblob来运行情感分析，但在databricks上的python/pyspark环境中尝试运行分析时，我得到了一个"module not found“错误。: Traceback (most recent call last):
File "/databricks/spark/python/pyspark/worker.py", line 480, in(
浏览 43提问于2020-06-26得票数 0
我希望有一个监控和警报系统(使用Datadog这样的工具)，它可以从我在Databricks中的Spark应用程序中获取度量和日志。为了从Datadog中的Databricks和Spark获取度量标准，我尝试了以下方法：
设置一个集
浏览 2提问于2021-11-23得票数 1
回答已采纳
="--master local[2] --packages com.databricks:spark-csv_2.11:1.5.0,com.databricks:spark-avro_2.11:4.0.0"
当我在docker中运行我的spark作业时，它起作用了。] /spark-2.3.0-bin-hadoop2.7/python/pyspark/context.py:331: in getOrCreat
浏览 0提问于2018-06-21得票数 3
我在databricks云中运行一个pyspark作业。作为此作业的一部分，我需要将一些csv文件写入databricks文件系统(dbfs)，还需要使用一些dbutils本机命令，例如，NameError: name 'dbutils' is not defined
我应该导入任何包来
浏览 14提问于2018-06-12得票数 10
我是在本地机器上使用Python的新手。到目前为止，我可以在Azure Databricks中编写代码。我想创建和部署连接到confluent kafka的库，并将数据保存到增量表。我弄糊涂了- 1]我是否需要通过如下设置从本地计算机连接到Databricks Delta，使用python将流存储到增量或将流存储到本地增量(我可以创建增量表
spark = pyspark.sql.SparkSession.builder.appName中</e
浏览 0提问于2021-01-08得票数 1
1回答
目前我们在Azure HDInsight集群中使用ML pyspark作业(版本:HDI3.6)。有没有可能在Azure Databricks中使用相同的pyspark作业而不做太多更改？
浏览 0提问于2019-02-22得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
