0回答
有没有办法使用Azure ADLS java SDK通过安全通道复制数据？ADLFileOutputStream可用于将数据流式传输到ADLS。我想知道是否有安全的API来做这件事。
浏览 9提问于2017-11-28得票数 0
1回答
我正在构建一个spark库，开发人员在编写spark作业以访问Azure data Lake上的数据时将使用该库。但身份验证将取决于他们所要求的数据集。我需要从spark job中调用rest API来获取凭据并进行身份验证，以便从ADLS读取数据。这有可能吗？我是spark的新手。
浏览 1提问于2017-08-19得票数 1
我有以下代码：var container = client.GetBlobContainerClient("my-container"); // do something about the item if it is a file我发现无法确定该项目是虚拟目录还是文件。我也尝试过client.GetBlobsByHierarc
浏览 4提问于2022-07-19得票数 0
回答已采纳
如何将这些文件上载到我的ADLS gen2存储帐户。我通常使用azcopy来复制，但是如何在android手机上完成呢？
是否有用于ADLS、gen2或任何其他SDK的上载文件rest？
浏览 2提问于2020-01-02得票数 0
回答已采纳
2回答
我知道，在ETL中，我们转换数据并在数据仓库中加载。除了上述两行外，它们究竟有何不同？
一个比另一个有什么优势？在我的用例中，我在源ADLS (源层)中有源数据，当它使用azure Databricks时，我再次将数据摄取到我的ADLS (原始层)中，然后获取原始层数据并使用azure databricks转换数据，然后再存储在ADLS (最
浏览 4提问于2022-10-10得票数 3
action=append&position=<N>参数将数据追加到文件中
有一种方法可以告诉服务器，如果数据没有刷新(写)，它应该使用多长时间。因为您需要先创建一个文件才能将数据写入其中，所以可能会出现这样的情况，即不会发生刷新，而且数据湖中会有一个空文件。任何信息都将不胜感激。
浏览 1提问于2020-02-13得票数 1
回答已采纳
2回答
我正在尝试将数据从Azure数据湖加载到我的数据科学VM中的木星笔记本。请注意，我是数据池存储的所有者，具有读取、写入和执行权限。带有木星的数据科学VM运行在相同的订阅下，属于同一资源组。PySpark
hvacText = sc.textFile("adl://name.azuredatalakestore.net/file_to_read.csv$200(FileSystem.java<
浏览 4提问于2018-05-17得票数 1
回答已采纳
1回答
我正在使用数据工厂复制收集从蒙戈阿特拉斯到ADLS第二代。默认情况下，数据工厂将创建一个json文件每个集合。但这给我留下了一个巨大的json文件。我检查了数据流和转换，但是它们在ADLS中已经存在的文件上工作。我是否可以在数据进入ADLS时将其拆分，而不是首先获得一个巨大的文件，然后再对其进行后处理并将其拆分为较小的文件？如果集合大小为5GB，那么数据工厂是否有可能在副本运行时将它们分割成100 as的块？
浏览 6提问于2022-02-18得票数 0
我使用Azure数据湖Gen2作为我的存储空间。在上传文件到相关文件夹之前，我需要创建不同的文件夹结构。
我使用的是"Azure-Storage“javascript库。
浏览 4提问于2019-11-13得票数 0
回答已采纳
我是Python新手，需要数据库方面的帮助。使用spark.conf.set，我为Blob和ADLS设置了访问密钥。我使用dbutils.fs.cp复制文件。
它执行时没有任何错误，但文件实际上并没有被复制到ADLS。
浏览 0提问于2019-11-19得票数 1
我正在致力于角应用程序，它使用来自蔚蓝数据湖(gen2)的数据，并将其绑定到UI。
我不想下载整个blob文件，然后用C#进行处理。是否有可能将过滤器/查询传递给gen2 blob存储，并在存储它自身的情况下过滤数据？
浏览 2提问于2019-12-07得票数 0
回答已采纳
在本例中，我采用ADLS帐户名和帐户密钥credentails。Azure Java SDK没有为此提供API，我正在手动执行以下操作
def testConnection(account: String, accountKey: String): Boolean它们是否是检查用户ADLS凭据是否有效的其他更快的选项？
浏览 3提问于2020-09-23得票数 0
回答已采纳
假设organisation A有一个Azure数据湖实例DL1。DL1实例中有两个容器，即container1和container2。使用Azure或Java的任何示例代码引用都会很棒。谢谢。
浏览 3提问于2020-11-27得票数 0
回答已采纳
我在挂载数据集(从azure数据湖数据存储创建)时遇到了问题。我按名称下载数据集，并尝试将其作为输入传递给Tensorflow估计器。
浏览 27提问于2019-10-25得票数 0
我们希望使用NiFi连接ADLS (使用PutHDFS和FetchHDFS)，而不必安装HDInsight。
浏览 0提问于2018-09-10得票数 2
有没有办法使用Java SDK将文件从本地上传到ADLS？我尝试使用以下代码上传，但代码没有编译，因为它显示构造函数不可见。
浏览 9提问于2018-02-14得票数 0
2回答
我让ADF管道将数据从Azure SQL db导出(通过复制活动)到data Lake (ADLS2)，然后从那里导出到另一个Azure SQL db。在一些角色出现之前，它一直运行得很好。这是罪魁祸首记录在第一个Azure SQL数据库中的外观："Gasunie\
下面是导出文件在notepad++ (以竖线分隔的文件)中的样子
浏览 6提问于2020-05-04得票数 1
你能建议我可以将Usql与Azure Data Lake Store .net SDK一起使用吗？实际上，我需要上传一些文件到数据湖存储，所以我需要使用Azure data lake store SDK，我还需要在Azure sql server数据库中添加一些记录。
浏览 0提问于2017-05-08得票数 1
1回答
我们的目标是将下载的文件存储在AZURE数据湖存储区，比如说/sample/ImageIPCam1/Image2.jpg/Output/CustImage/Image3.jpg
与上面的结果一样，清除了Image2.jpg在暂存文件夹中的副本。**到目前为止实现**我们使用.net
浏览 1提问于2017-05-12得票数 1
设置：
我的数据在Azure Gen2上。我想使用great_expectations包来测试我的数据质量。我正在使用InferredAssetAzureDataConnector data_connector来创建我的数据源(这很有效，我可以在创建过程中看到我在ADLS上的文件)。我正在尝试创建一个测试套件，用自动分析器来检查数据。该过程失败，因为我需要将org.apache.hadoop:hadoop-azure:3.3.1 jar添加到星火会话中，以便spark作业能够访问和分析ADLS</
浏览 6提问于2022-07-05得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号