我使用下面的代码来读取xml val df = spark.read .option("rowTag"，“.xml”)路径( xmlpath )xmlpath是一个.option:// mycontainer@ .blob.core.windows.net /，但是它有以下错误: shaded.databricks.org.apache.hadoop.fs.azure.AzureException: shaded.databricks.org.apache.hadoop.f
浏览 36提问于2019-05-29得票数 1
我能够使用下面的代码从Databricks读取blob存储帐户。但是，我无法使用SAS令牌来完成它。请有人告诉我，如何修改下面的代码来使用SAS令牌读取存储帐户？container= 'testcontainer' spark.conf.set(f"fs.azure.account.key.{storage_account}.blob.core
浏览 3提问于2022-08-12得票数 0
下面是我的代码：spark.sparkContext.hadoopConfiguration.set<storage-account>.blob.core.windows.net", <account_key>)
val baseDir = "wasb://<cont
浏览 0提问于2018-07-20得票数 0
我有一个pyspark脚本，在其中我启动了一个spark会话，但是我无法使用spark.read.format('json').load("my_blob_path")从blob商店读取。下面是我的会话初始化。请帮助我在环境中设置我的blob凭证。
浏览 0提问于2020-02-26得票数 2
回答已采纳
我正在尝试将数据从Azure存储容器加载到Azure Databricks中的Pyspark数据框架。当我读取txt或CSV文件时，它正在工作。但是，当我试图读取.xlsx文件时，我会得到以下问题。ApacheSpark3.2.0，Scala2.12spark.conf.set("fs.azure.account.key.teststorage.blob.core.windows.net/
浏览 11提问于2022-05-12得票数 0
我正在尝试从blob中加载一些数据，其中我有一个带有SaS键的AzCopy。sv=mykey&sp=rl"我的代码:
azcopy cp "https...blob.core.windows.net/90138/DBxxx/file.csv?sv=mykey&sp=rl" "my&
浏览 3提问于2021-03-24得票数 1
回答已采纳
我试图在databricks上的python代码中抓取一个blob存储文件，如果它存在的话。如何通过pyspark检查是否存在？
浏览 0提问于2019-04-02得票数 0
在Microsoft 中，我在一个区域中有一个源存储帐户，在三个不同区域中有3个目标存储帐户。我希望将blob数据从源存储帐户复制到所有3个目标存储帐户。目前，我正在使用bash脚本中的azcopy (version 6)命令来执行此操作。首先，它对一个区域完成，然后对另一个区域开始。由于各地区之间的地理距离，每天几乎要花一个小时。(还请提出其他缩短时间的建议:)
在bash脚本中使用azcopy命
浏览 0提问于2019-07-29得票数 1
我正在尝试将Azure Blob存储容器安装到DBFS。执行情况如下。低于以下错误。不知道为什么我会收到一个错误，，当我试图连接到蔚蓝blob存储时，您是否删除了挂载点的键。代码实现 source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net<storage
浏览 7提问于2021-08-24得票数 0
我想访问/读取/存储文件从链接(外部) blob存储帐户-而不是从主数据湖存储帐户。我在Azure中添加了一个新的数据源(外部blob)。 wasb://<BlobContainerName>@<StorageAccount
浏览 2提问于2017-02-28得票数 0
回答已采纳
试图从Databricks中的blob存储中读取文件时，如果名称中有重音，那么使用pyspark就会失败。样本代码：storage_account = ""
wasb_file = f"wasbs://{container}@{storage_account}.blob.co
浏览 13提问于2022-12-01得票数 0
我正在使用由星火集群支持的Databricks笔记本。无法连接到Azure blob存储器。我使用了这个，并直接尝试了部分Access Azure -设置一个帐户访问密钥。<your-storage-account-name>.blob.core.windows.net",但是，当我尝试在目录上执行'ls‘时，会收到错误：
dbutils.fs.ls("
浏览 0提问于2018-09-13得票数 3
我尝试将pyspark中的机器学习模型保存到azure blob。但这给出了错误。也试过了，但无法在堆栈跟踪中识别用户身份。我只使用Databricks和Azure blob存储
浏览 0提问于2018-10-08得票数 3
我正在尝试使用user delegation key和Azure SDK for Python生成SAS URLs来读取blobs。= "XYZ_blob_container"data = json.loads(blo
浏览 32提问于2021-06-23得票数 1
回答已采纳
Blob由函数在每次请求时创建，并将SAS令牌返回给客户端。Blob和SAS生成工作，当在浏览器中打开带有SAS的Blob Url时，我可以下载它。现在，当我尝试使用BLOB SAS (而不是存储帐户SAS或连接字符串)连接到存储帐户时，不起作用。下面的代码在从整个存储帐户与SAS一起使用时有效，但我不想授予太多权限。function
// const url
浏览 143提问于2021-06-30得票数 2
回答已采纳
当我试图使用azcopy复制我的容器时，它说我没有权限。
azcopy cp "https://[srcaccount].blob.core.windows.net?SAS时，我用容器检查允许的资源，然后它就可以工作了。第一个是用于:存储帐户=> 'storageaccount1‘和容器=>’/ container 1‘。azcopy cp "https://<storag
浏览 9提问于2022-02-17得票数 0
我使用blob存储(一般用途的v1)作为主要存储来旋转Kafka集群。没有附加其他存储器。但是，kafka节点无法访问同一存储空间中的blob文件。Spark/R集群可以访问同一个blob上的文件。我为每个集群提供了不同的容器名称。命令：hdfs dfs -ls wasb://elckafka2@demostoragepoc.blob.core.windows.net/
ls: org.apache.h
浏览 0提问于2018-07-02得票数 1
回答已采纳
1回答
我正在尝试访问存储在Azure blob存储中的文件，并遵循以下链接的文档：
现在，当我尝试使用以下方法访问任何文件时：
spark.read.load("abfss://<container-nam
浏览 9提问于2022-10-26得票数 0
回答已采纳
我正在尝试访问Azure的blob。我可以使用blobClient.DownloadToAsync调用访问它，如下面的GetAsync方法所示。确保授权头的值是正确的，包括签名。)ErrorCode: AuthenticationFailed附加信息: AuthenticationErrorDetail:仅支持身份验证方案
如何正确获取客户端浏览器可以直接用于读取该文件的blob文件的URI？blob文件是一个html，它<em
浏览 17提问于2022-08-05得票数 0
1回答
我有以下格式的数据。容器/文件夹/年份/月份/日期/file2.csv。。.and等。我使用以下查询创建了一个具有分区的外部表CREATE EXTERNAL TABLE partition (id string, event timestampINT, day INT)
ROW FORMAT SERDE 'org.openx.data.js
浏览 2提问于2014-05-05得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
