我正在使用以下内容作为研讨会https://www.youtube.com/watch?v=IAqJ6nCDtGc
我在Azure SQL数据库(而不是本地数据库)中有一些销售数据
我有一个数据湖Gen Storage 1,我已经成功地设置了连接器和数据集。每个接头的测试结果均为ok
创建Azure数据湖创建应用程序注册以获取主体ID和主体密钥所需的信息
根据上面的视频,我已经创建了具有复制活动的管道
当我运行它时,我得到以下结果
{ "errorCode":"2200","message":“'Sink‘端出现故障。ErrorCode=UserErrorFailedFileOperation,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,请求’未知‘失败,状态码为'BadRequest',请求id为'’。\r\nBad ErrorCode=UserErrorFailedFileOperation\r\n\r\n
错误的请求-无效的URL
\r\n
HTTP错误400。请求URL无效。
\r\n\r\n,Source=Microsoft.DataTransfer.ClientLibrary,‘’类型=System.Net.WebException,Message=The remote服务器返回错误:(400)错误请求。,Source=System,'","failureType":"UserError","target":“将销售数据复制到数据湖”}
我已经检查了数据湖连接器中的URL,这似乎没有问题
"dataLakeStoreUri":"https://.azuredatalakestore.net/webhdfs/v1",
我唯一能想到的其他URL是在注册应用程序登录URL时设置的URL
如果有人能帮上忙,我将不胜感激。
黛比
发布于 2018-12-20 03:39:40
有几个想法。
您是否可以检查是否已将帐户uri设置为"https://<your ADL endpoint name>.azuredatalakestore.net/webhdfs/v1"?上面你有".azuredatalakestore.net/webhdfs/v1“,但请理解,出于隐私考虑,你可能在本文中删除了端点。
关于ADL权限,您是否在ADL中通过数据资源管理器分配了权限?我认为服务主体需要拥有对根文件夹和所需路径中的所有文件夹的执行权限,以及对要写入的任何子文件夹的读/写权限。例如,如果我正在向\foo\bar.txt写信
\ permissions needed = x
foo permissions needed = x
bar.txt permissions needed = rw
详情请参见here。
最后,文件夹是区分大小写的,因此请检查它们是否被正确引用。
希望这能有所帮助。马克。
发布于 2019-01-04 18:26:37
已找到问题所在。
我为data Lake设置了一个动态文件路径,这样文件就会被放到Year/Month/Day文件夹中,但这导致了上面的问题。一旦我删除了这条路径,并将其放入数据湖中,它就起作用了。
我使用的文件路径来自于这个u形管如何指导
uhttps://www.youtube.com/watch?v=IAqJ6nCDtGc
我仍然需要弄清楚如何执行上述操作,但至少我可以将我的文件放入数据湖中
https://stackoverflow.com/questions/53762492
复制相似问题