从ADLS存储中读取Excel文件为
提问于 2022-10-11 08:43:32
我们尝试以下列方式读取excel文件：
- spark.read.format("com.databricks.spark.excel")
- spark.read.format("com.crealytics.spark.excel")
- spark.read.format("excel")
收到一个错误声明：未能初始化fs.azure.account.key检测到的configurationInvalid配置值
注意：
- 在尝试从同一个ADLS读取csv文件时，蔚蓝凭据工作正常。
- 我们已经在Databricks集群中安装了所需的库: com.crealytics:spark-excel_2.12:3.1.2_0.16.5-pre0 & openpyxl
回答 2
Stack Overflow用户
回答已采纳
发布于 2022-10-12 07:28:47
尝试这个访问您的ADLS
configs = {"fs.azure.account.auth.type": "OAuth",
"fs.azure.account.oauth.provider.type": "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider",
"fs.azure.account.oauth2.client.id": f"{client_id}",
"fs.azure.account.oauth2.client.secret": f"{client_secret}",
"fs.azure.account.oauth2.client.endpoint": f"https://login.microsoftonline.com/{tenant_id}/oauth2/token"}def mount_adls(container_name2):
dbutils.fs.mount(
source = f"abfss://{container_name2}@{storage_account_name}.dfs.core.windows.net/",
mount_point = f"/mnt/{storage_account_name}/{container_name2}",
extra_configs = configs)Stack Overflow用户
发布于 2022-10-11 11:13:57
您可以使用熊猫读取.xlsx文件，然后将其转换为触发数据格式。
from pyspark.sql import SparkSession
import pandas
spark = SparkSession.builder.appName("Test").getOrCreate()
pdf = pandas.read_excel('excelfile.xlsx', sheet_name='sheetname', inferSchema='true')
df = spark.createDataFrame(pdf)
df.show()页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/74031467
复制相关文章
腾讯云开发者
