腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
是否可以
从
flink作业触发spark作业并从中获取
数据
?
apache-spark
、
apache-flink
、
azure-data-lake
我正在使用flink
从
Azure
数据
湖
中
读取
数据
。但flink无法找到Azure
数据
湖
文件系统。我已经实现了spark来
读取
Azure Data Lake文件系统文件。因此,我尝试
从
flink
中
触发火花,
从
Azure
数据
湖
中
读取
数据
,并执行一些逻辑操作,然后将列表返回给flink。所以flin
浏览 2
提问于2017-07-11
得票数 0
2
回答
Azure
数据
湖
- HDInsight vs
数据
仓库
azure
、
azure-data-lake
、
u-sql
、
sql-data-warehouse
我所处的位置是,我们使用Azure
数据
仓库
中
的外部表
从
Azure
数据
湖
中
读取
数据
。在性能方面,我看不到太大的区别。我假设Data Warehouse正在后台运行某种形式的分布式查询,正在转换
浏览 1
提问于2018-01-18
得票数 3
2
回答
(Azure)
数据
湖
的元
数据
管理
azure
、
metadata
、
azure-data-lake
、
database-metadata
、
data-lake
据我所知,
数据
湖
解决方案用于存储
从
原始格式的原始
数据
到经过处理的
数据
。不过,我还不能理解(Azure)
数据
湖
中
的元
数据
管理的概念。在
数据
湖
中
处理元
数据
的最佳实践是什么?是否有任何自动
读取
元
数据
的机制(例如,从头文件
中
读取
),如果有,是否有任何方法来查看和编辑此元
数据
(可能是编
浏览 4
提问于2017-03-27
得票数 3
2
回答
从
湖
中
读取
数据
azure
、
azure-sql-database
、
azure-cosmosdb
、
azure-data-factory
、
azure-data-lake
我需要从azure
数据
湖
中
读取
azure
数据
,并在sql
中
应用一些连接,并在Web UI
中
显示。
数据
大约是300 gb,
从
azure
数据
工厂到azure sql
数据
库的迁移正在以4 4Mbps的速度进行。我也试过使用sql server 2019,它支持polybase,但复制
数据
也需要12-13个小时。我也尝试过cosmos db来存储
湖
中
的<
浏览 27
提问于2019-10-17
得票数 0
2
回答
从
数据
湖
中
检索
数据
到分析系统
hadoop
、
bigdata
、
analytical
我们在Hadoop文件系统
中
创建了一个新的
数据
湖
。
数据
以ORC的形式存储。目前分析系统直接连接到
数据
湖
来
读取
这些ORC文件。 有没有办法在
数据
湖
和分析系统之间创建一个中间层来服务
数据
?
浏览 16
提问于2018-10-04
得票数 0
1
回答
如何配置flink以理解Azure Data Lake文件系统?
apache-flink
、
azure-data-lake
我正在使用flink
从
Azure data
读取
数据
,lake.But flink无法找到Azure
数据
湖
文件系统。如何配置flink来理解Azure
数据
湖
文件system.Could ?
浏览 8
提问于2017-07-11
得票数 0
回答已采纳
1
回答
如何使用用户分配的标识
从
数据
库访问ADLS容器
azure
、
azure-databricks
、
azure-managed-identity
、
azure-data-lake-gen2
我已经成功地在Databricks
中
挂载了带有服务主体的ADLS,并且能够对
数据
进行必要的转换。请提出一个工作解决方案或任何有益的论坛为同样。 谢谢。
浏览 6
提问于2022-03-08
得票数 0
1
回答
从
Azure
数据
湖
提取
数据
到Server的最佳方法
azure
、
azure-data-lake
、
data-extraction
我正在寻找一种最佳的编程方法
从
Azure
数据
湖
提取
数据
到MSSQL
数据
库,MSSQL
数据
库安装在Azure
中
的VM上。目前,我正考虑下列方案: 还有其他我错过的好方法吗?
浏览 3
提问于2017-12-21
得票数 0
1
回答
来自.Net SDK的
数据
湖
分析调用(用户不授权)
azure
、
authorization
、
azure-data-lake
目前,我正在尝试
从
我的web应用程序
中
的
数据
湖
分析
中
调用我的U作业。为此,我使用了正式的.net sdk。我授权由另一个网页应用程序,被放置在蔚蓝活跃目录,并有权访问
数据
湖
文件(这在我的应用程序也很完美),并有
读取
权利的
数据
湖
分析资源组。我只是在尝试一些来自互联网的选项(在这两个服务上打开防火墙,检查我是否在
数据
湖
分析中有
数据
湖
存储的az
浏览 3
提问于2017-07-10
得票数 0
回答已采纳
1
回答
如何将
数据
追加到现有的Azure
数据
湖
文件
中
?
azure
、
azure-data-lake
、
azure-cli
我正在尝试将文件附加到现有的
数据
湖
存储文件
中
。使用azure CLI命令,我成功地将
数据
添加到file.But
中
,将
数据
添加到该文件的单行only.Because
中
,该文件的结构发生了变化。首先,我
从
azure data lake
读取
test1.txt并将输出存储到一个变量
中
。,并将其附加到
数据
湖上现有的测试文件
中
。data) { az dls fs append --acc
浏览 23
提问于2019-09-04
得票数 2
回答已采纳
2
回答
如何使用Azure作为Azure ML的输入
数据
集?
azure-machine-learning-studio
、
azure-data-lake
我正在移动
数据
到Azure
数据
湖
存储和处理它使用Azure
数据
湖
分析。
数据
是XML格式的,我正在通过
读取
它。现在,我想从Azure
中
访问这些
数据
,看起来Azure
数据
湖
存储目前还不受直接支持。
浏览 2
提问于2016-03-21
得票数 0
回答已采纳
5
回答
将Azure事件中心与Data Lake Store连接起来
azure
、
azure-eventhub
、
azure-data-lake
将
数据
从
活动中心发送到data Lake Store的最佳方式是什么?
浏览 2
提问于2015-12-30
得票数 4
1
回答
用于将输出发送到不同目标的Azure流分析查询
azure-stream-analytics
、
azure-data-lake
、
azure-iot-hub
我们正在使用Azure流分析
从
IOT集线器
读取
消息,并将其写入Azure
数据
湖
存储。流分析作业的输入是JSON格式,输出应该是CSV Azure流分析,我们已经创建了多个输出
数据
接收器,这些
数据
接收器指向format.In
数据
湖
存储
中
的不同目录。根据输入JSON字符串
中
的一个字段,我们必须将输入转换为CSV并写入相应的输出
数据
接收器。我们如何在流分析查询
中
实现这一点?
浏览 2
提问于2017-03-21
得票数 1
1
回答
无法在使用Azure Synapse链接导入
数据
库的
数据
集中
读取
数据
中标头
azure-databricks
、
azure-data-lake
、
powerapps
我已经使用PowerApps
从
Dynamic365导入了Dataverse表到Azure
数据
湖
。我做错什么了吗?
浏览 8
提问于2022-06-20
得票数 0
回答已采纳
1
回答
将文件从一个区域复制到其他区域- Azure
数据
湖
Gen2
azure-data-factory
、
azure-data-lake
我想复制一个文件与给定的路径从一个区域的Azure
数据
湖
到另一个区域的
数据
湖
。示例:目的地:/StdZone/增量/2020/05/01/file.parquet 是否应使用复制活动将源作为
数据
集
读取
并写入目标或者在Azure Data
中
是否有一种方法可以将文件
从<
浏览 1
提问于2020-05-29
得票数 0
回答已采纳
2
回答
当同时使用Azure
数据
湖泊和R服务器时的readLines等效
r
、
azure
、
azure-data-lake
、
microsoft-r
使用read,我只想从一个readLines Azure
数据
湖
中
读取
原始文本(比如底部的)。当你运行这样的程序时:然后
从
数据
湖
中
检索
数据
。但是,它总是被读入并被视为一个分隔文件。使用一些类似的readLines来获取
数据
,但是用“raw”
读取
数据
,这样我就可以进行自己的
数据
质量检查了。 这个功能存在吗
浏览 6
提问于2017-02-14
得票数 1
回答已采纳
1
回答
拼花模式管理
hadoop
、
version-control
、
parquet
、
data-migration
我最近开始了一个新的项目,在那里我们使用火花来以Parquet格式写/读
数据
。该项目正在迅速变化,这里和那里,我们确实需要定期改变拼花文件的模式。目前,我正在与版本控制
数据
和代码进行斗争。我们使用版本控制系统作为代码库,但是很难(至少在我看来)对
数据
本身这样做。我还提供了迁移脚本,用于将
数据
从
旧模式迁移到新模式,但在运行迁移之前,我会松散了解parquet文件的模式。所以我的问题是 在运行迁
浏览 0
提问于2018-10-19
得票数 3
1
回答
使用Azure Data Factory捕获元
数据
并将其存储在SQL
数据
库
中
?
azure
、
azure-sql-database
、
azure-data-factory
、
azure-data-lake
、
azure-data-factory-2
我正在寻找的元
数据
类型包括文件大小、行数、文件名、文件是否已被处理等,我希望捕获
从
源到目标的
数据
流,包括
从
Azure
数据
湖
和SQL DB捕获
数据
。我还希望将这些元
数据
作为控制表存储到SQL表
中
,并测试文件/表/
数据
在整个ETL/ELT过程
中
的变化情况。我能想到的唯一方法是使用ADF
中
的存储过程来收集每个部分的元
数据
并存储在SQL表<e
浏览 13
提问于2019-03-15
得票数 0
1
回答
电源BI
数据
流访问资源是禁止错误的。
powerbi
、
azure-data-lake
我在Power
中
创建了一个新的工作区,它有
数据
流,由Azure
数据
湖
Gen2存储支持。我已经创建了其中几个,并且可以在Power桌面中使用它们而不存在任何问题。我已经给了另一个人对工作区的权限(目前他们拥有Admin角色),我甚至给了他们对Gen2
数据
湖
的权限(此时同样是所有者)。但是,每当该人试图使用Power来获取该
数据
流时,他们就会得到以下错误消息请有人告诉我需要什么样的权限才能让人们
从</e
浏览 0
提问于2019-05-16
得票数 0
回答已采纳
1
回答
从
_commit_timestamp
读取
数据
时,将“DeltaTable”列追加到最新的
数据
版本
scala
、
azure-databricks
、
delta-lake
我在delta
湖
中有
数据
,每一行上都没有时间戳来确定什么时候添加/修改了该行,但我只需要在指定的日期/时间之后创建/修改行。我想要三角洲
湖
数据
的最新版本,但希望将变更
数据
提要
中
的"_commit_timestamp“附加到
从
增量
湖
读取
的
数据
文件
中
,这样我就可以只选择在指定日期/时间之后写入的
数据
,而不是整个
数据
集。
浏览 4
提问于2022-03-31
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Pandas从MySQL中读取和保存数据
数据湖中的数据格式?
ArcMap中无法读取NetCDF数据
unity中的数据储存读取
有了它,以后再也不怕从PDF中读取数据表格了!
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券