我在Azure blob存储中每小时大约有65000个小xml文件(每个文件大约1到3 kb )。它的遥测数据,每小时都会出现在那里。我想将它们组合在一起,创建大的xml文件(每小时一个文件左右),并将其转换为大的csv file.Then,我想将其复制到azure data lake store中,这样我就可以使用U-SQL脚本对其进行进一步的分析现在我们正在使用azure批处理服务,它通过将所有文件名保存在Azure表存储中来做到这一点,批处理服务中的每个任务都会从
碰巧我正在使用Azure Databricks操作一些数据。这样的数据在Azure data Lake Storage Gen1中。我将数据挂载到DBFS中,但现在,在转换数据后,我想将其写回我的数据湖中。为了挂载数据,我使用了以下命令:
configs = {"dfs.adls.oauth2.access.token.provider.type": "ClientCredential",<em