使用adf中的复制活动(polybase)将ADLS gen2中的拼花文件复制到Azure synapse表时出错
我的来源是ADLS gen2中的拼花文件。所有的拼花文件都是10-14 MB大小的部分文件.总尺寸应在80 GB左右。
水槽是Azuresynapse表。
复制方法是多碱基的。在执行5秒内获得以下错误，如下所示：
在将数据加载到'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException，数据仓库时，出现了ErrorCode=PolybaseOperationFailed、Message=Error。操作：‘创建外部表’，Source=Microsoft.DataTransfer.ClientLibrary，‘Type=System.Data.SqlClient.qlException，Message=External文件访问由于内部错误而失败：’在访问HdfsBridge_IsDirExist时发生错误:调用HdfsBridge_IsDirExist时引发的HdfsBridge_IsDirExist异常。Java消息: HdfsBridge::isDirExist --在检查目录是否存在时遇到意外错误: AbfsRestOperationException:操作失败：“此请求未被授权执行此操作。”，403，HEAD，URL'，Source=.Net SqlClient数据提供程序，SqlErrorNumber=105019，Class=16，ErrorCode=-2146232060，State=1，Errors=[{Class=16，Number=105019，State=1，Message=External文件访问由于内部错误而失败：‘访问HDFS: Java异常时发生的错误:调用HdfsBridge_IsDirExist时引发的异常。Java消息: HdfsBridge::isDirExist --遇到意外错误，检查目录是否存在: AbfsRestOperationException:操作失败：“此请求未被授权执行此操作。”，403，HEAD，
回答 1
Stack Overflow用户
发布于 2022-04-08 20:36:05
由于身份验证失败，我看到了这个错误，请检查授权头和/或签名是否错误。例如，使用ADLS Gen2存储帐户访问键创建范围凭据：
CREATE DATABASE SCOPED CREDENTIAL [MyADLSGen2Cred] WITH
IDENTITY='user',
SECRET='zge . . . 8V/rw=='外部数据源的创建如下：
CREATE EXTERNAL DATA SOURCE [MyADLSGen2] WITH (
TYPE=HADOOP,
LOCATION='abfs://myblob@pabechevb.dfs.core.windows.net',
CREDENTIAL=[MyADLSGen2Cred])您可以指定wasb而不是abfs，如果使用SSL，则将其指定为abfss。然后按以下方式创建外部表：
CREATE EXTERNAL TABLE [dbo].[ADLSGen2] (
[Content] varchar(128))
WITH (
LOCATION='/',
DATA_SOURCE=[MyADLSGen2],
FILE_FORMAT=[TextFileFormat])您可以在我的“使用Polybase的手工数据虚拟化”一书中找到其他信息。
https://stackoverflow.com/questions/71801159
复制
相似问题
使用ADF将azure blob文件复制到azure synapse
将数据从ADLS Gen2加载到Azure Synapse时出错
无法使用ADF将数据从ADLS gen2复制到SQL Server。
复制活动(从Cosmos SQL到ADLS gen2)在Synapse中失败
将拼花文件复制到雪花表时出错
领取专属 10元无门槛券
AI混元助手 在线答疑
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
