腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
通过
数据库
从
ADLS
gen2
存储
中
读取
多个
文件夹
中
的
文件
,
并
创建
单个
目标
文件
、
、
我已经建立了一个与
ADLS
的
gen2
存储
连接,
并
创建
了一个安装点,现在该容器包含
多个
文件夹
的
年份和月份,并有拼图
文件
为每个月内
的
月份
文件夹
。我必须
读取
所有这些
文件
,
并
创建
一个包含完整月份数据
的
目标
文件
。我该如何实现这一点呢?
浏览 43
提问于2021-11-03
得票数 1
1
回答
具有
单个
ADLS
gen2
存储
的
多个
HDInsight群集
我正在尝试在
单个
ADLS
gen2
存储
上
创建
多个
HDInsight集群。找到 "Use multiple HDInsight clusters with an Azure Data Lake Storage account",在
文件
系统上
创建
了
文件夹
,但无法在
文件
系统文本框中指定
文件夹
路径我应该如何为集群指定
文件夹
路径? UPDATE1:具体地说,我正在尝试<e
浏览 7
提问于2021-09-13
得票数 0
2
回答
如何利用“天蓝色
存储
”包在Azure数据湖
存储
Gen2
中
创建
容器内
的
文件夹
、
、
我使用Azure数据湖
Gen2
作为我
的
存储
空间。在上传
文件
到相关
文件夹
之前,我需要
创建
不同
的
文件夹
结构。下面是连接到容器
的
代码。我能够连接到容器并将
文件
上传到容器本身。
浏览 4
提问于2019-11-13
得票数 0
回答已采纳
1
回答
使用服务主体
从
ADLS
gen2
读取
拼图
文件
、
、
、
、
我使用天蓝色
存储
文件
数据包与
ADLS
gen2
连接。
gen2
文件夹
结构
中
,我必须
从
其中
读取
拼花
文件
,如下所示。在
ADLS
gen2
的
容器
中
,我们folder_a,其中包含有拼花
文件
的
folder_b。folder_a parquet_file1
从
gen1
浏览 5
提问于2020-12-31
得票数 1
回答已采纳
1
回答
ADF:
adls
的
数据流接收器活动
文件
格式
、
、
我想将
多个
表数据
从
Azure SQL
数据库
复制到
ADLS
gen2
。我
创建
了一个以表名作为动态输入值
的
管道。后来我使用了dataflow activity,它将数据复制到
adls
。现在,我
的
表数据很少被正确地复制到snappy.parquet格式
的
adls
中
,但很少出现错误,因为列名对于增量格式是无效
的
。 我们如何处理此错误并从所有表
中
复制数据?
浏览 8
提问于2021-01-04
得票数 0
1
回答
如何获取
存储
在
ADLS
Gen2
中
的
文件
的
MD5?
我
通过
sFTP接收每日
文件
到
ADLS
2
存储
帐户。我需要
通过
检查
存储
在
ADLS
gen2
中
的
文件
的
MD5来验证该
文件
。 我尝试使用BLOB,目前它不支持
ADLS
gen2
。如果
文件
存储
在blob
存储
中
,我就能够
从
Blob属性
中</e
浏览 1
提问于2019-04-11
得票数 2
1
回答
在写入Sink Azure Data“指定路径不存在”之前清除
文件夹
我有一个Azure数据湖
存储
Gen2
,它已经聚合到parquets
中
:当我选择接收器
中
的
清除
文件夹
时,我将获得‘刷新
浏览 5
提问于2022-09-26
得票数 0
1
回答
如何确定Azure StorageV2 (带有分层命名空间
的
数据湖
存储
) BlobItem是否为虚拟目录
、
、
in container.GetBlobsAsync()) {}**编辑以求澄清。我正在使用Azure
存储
帐户blob容器。过去也有类似的文章,答案表明在ABS
中
不支持目录。但是Azure
的
移动速度相当快。
浏览 4
提问于2022-07-19
得票数 0
回答已采纳
1
回答
Azure
ADLS
Gen2
API删除
文件
、
、
、
、
我正试图
通过
Talend
从
Azure
ADLS
存储
中
删除一个
文件
。在我
的
检查,我找不到任何选项连接到
ADLS
从
Talend和删除一个
文件
或
文件夹
。作为另一种选择,我尝试使用
ADLS
从
Talend运行一个cURL命令来删除。
ADLS
Gen2
API参考我已经
从
存储
帐户
浏览 1
提问于2020-05-28
得票数 0
回答已采纳
1
回答
是否可以
从
Databricks用私有Ednpoint连接Azure
存储
帐户?
、
、
、
、
我正在尝试连接到Azure DataLake 2/Storage,该帐户使用我
的
Databricks
中
的
私有端点启用,但是出现了错误: Caused by: StorageException: This我尝试在防火墙IP列表
中
添加Databricks IP地址(在带有Databricks
的
Network / VNET中找到,但不确定这是否就是其中一个),以同时处理one
的
请求。但犯了同样
的
错误。是否有方法建立与这种配置
的
连接?
浏览 3
提问于2021-08-26
得票数 2
回答已采纳
3
回答
有没有一种方法可以使用逻辑应用程序将数据加载到Azure数据湖
存储
gen 2?
、
我已经使用逻辑应用程序将数据加载到azure datalake
存储
gen2
。我尝试使用连接器azure
文件
存储
,但在that.Can
中
无法获得任何
文件
系统
文件夹
。有人在此问题上帮助我吗?
浏览 0
提问于2019-05-16
得票数 1
1
回答
Azure数据湖
Gen2
与
存储
帐户
、
、
、
我需要处理一些大数据,
并
计划部署Databricks集群&一种
存储
技术。目前评估数据湖
Gen2
,它既支持对象和
文件
存储
。
存储
帐户(blob、
文件
、表、队列)也具有类似的功能,可以处理基于
文件
和基于对象
的
存储
需求。由于这些相似之处,我对选择一个方案感到有点困惑。有人能澄清以下问题吗?除了HDFS支持之外,我还应该对
存储
帐户使用Data
Gen2
吗? 具有分层命名空间<em
浏览 1
提问于2020-06-03
得票数 1
回答已采纳
1
回答
如何将
ADLS
Gen-2
的
主体作为流传递
、
、
、
我使用
ADLS
Gen2
路径更新API
从
已经
创建
的
ADLS
更新
文件
。作为一个身体,我可以很容易地传递字符串,这是很好
的
工作,但同样
的
流不起作用。我正在
读取
本地
文件
数据,
并
试图将其
存储
到流
中
并作为一个主体传递,但是获得Http请求头错误是无效
的
浏览 0
提问于2019-07-23
得票数 0
回答已采纳
1
回答
如何使用Azure Synapse
中
的
Pyspark
从
ADLS
Gen2
中
的
文件夹
读取
多个
文件
并用于处理?
、
、
、
我正在寻找一种解决方案,其中我希望将
文件夹
名
中
的
所有
文件
读取
为** 'YEAR',其中包含另一个
文件夹
'DETAILS'.,该
文件夹
位于
ADLS
GEN2
名称
的
容器
中
。。我正在寻找一种方法,
通过
这种方法,我可以
从
文件夹
中
读取
所有
文件
,并且只使用转换所需<
浏览 6
提问于2022-11-24
得票数 0
回答已采纳
2
回答
使用Azure数据工厂不分阶段地将数据
从
Azure数据湖复制到SnowFlake
、
、
、
Azure Data将数据
从
2复制到SnowFlake
的
所有示例都使用一个
存储
帐户作为平台。如果没有配置这个阶段(如图所示),即使我
的
源是Azure数据湖
中
的
csv
文件
,我也会在dataset
中
得到此错误--“只有当源数据集为DelimitedText、Parquet、JSON以及AzureBlob
存储
或S3 S3链接服务时,才支持将数据直接复制到雪花片,对于其他数据集或链接服务,请启用暂存”。 同时,SnowFlake文档表示外
浏览 5
提问于2021-07-27
得票数 0
回答已采纳
2
回答
如何
通过
订阅事件网格将
ADLS
中
的
数据摄取到Azure数据资源管理器
中
、
、
我试图
通过
事件网格
从
ADLS
gen2
摄取数据到Azure数据资源管理器。我可以找到一些MSFT文档来解释如何
通过
事件网格而不是
ADLS
将小块摄入到ADX
中
。
ADLS
存储
帐户
的
文件
路径是abfss://container@p01lakesstor.dfs.core.windows.net/UserData/Overground/UsersF
浏览 15
提问于2022-07-20
得票数 2
回答已采纳
1
回答
如何保存Azure数据工厂-在
ADLS
Gen2
中
将数据输出复制到
文件
中
、
先谢谢,亲切
的
问候
浏览 1
提问于2022-08-29
得票数 0
1
回答
Azure数据湖
存储
和数据工厂-临时GUID
文件夹
和
文件
、
、
我正在使用Azure (
ADLS
),它是Azure Data (ADF)管道
的
目标
,该管道
从
Blob
存储
读取
并
写入
ADLS
。在执行期间,我注意到在输出
ADLS
中
创建
了一个在源数据
中
不存在
的
文件夹
。该
文件夹
有一个GUID作为名称和许多
文件
,也是GUID。
文件夹
是临时
的
,大约
浏览 3
提问于2017-06-28
得票数 1
回答已采纳
1
回答
面向即将到来
的
用户
的
ADLS
Gen2
中
的
文件夹
级访问控制
、
、
、
、
我有一个
Gen2
存储
帐户,
并
创建
了一个容器。->Files 1....m这可以
通过
实现,
并
允许访问安全服务原则。但是这种方法
的
局限性是用户只能在ACL建立后才能访问加载到目录
中
的
文件
,因此不能访问目录
中
已经存在
的
文件
。由于这个限制
浏览 0
提问于2020-07-05
得票数 0
回答已采纳
1
回答
为什么在Azure
存储
容器
中
创建
一个名为“
文件夹
”
的
空
文件
?
、
、
我正在
通过
HD点播集群运行一个Hive QL,它执行以下操作 但是,当运行hive时,有一个名为abcd
的
空
文件
正在abcd
文件夹
之外<em
浏览 0
提问于2018-10-18
得票数 4
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
0487-CDH6.1的新功能
Python 文件与目录操作方法总结
Python文件处理
大数据之Hadoop框架之HDFS(二)
全局配置中心架构设计与实现
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券