Azure权限数据谱系与数据库
Azure权限数据谱系与数据库
提问于 2022-05-11 09:54:02
我使用Azure权限进行数据治理和数据沿袭。我们在数据体系结构中使用Databricks，但是不存在任何本机支持来捕获Databricks的数据沿袭。
我找到了以下链接，这些链接将允许您在Azure权限中创建自定义进程。
有人能让我知道最近是否有任何方法在Azure权限范围内使用Databricks实现数据沿袭？
回答 1
Stack Overflow用户
发布于 2022-05-17 11:30:17
数据集成和ETL工具可以在执行时将血统推入Microsoft的权限。数据工厂、数据共享、Synapse、Azure Databricks等工具属于这类数据处理系统。数据处理系统引用数据集作为来自不同数据库和存储解决方案的源，以创建目标数据集。下表列出了当前与Microsoft的血统权限集成的数据处理系统列表。
参考- https://learn.microsoft.com/en-us/azure/purview/catalog-lineage-user-guide#data-processing-systems
编辑：2022年7月--自从这个问题被回答后，微软权限小组发布了一个开源解决方案加速器，从数据库中提取血统并将其吞并到微软权限中：将Azure数据库连接到Microsoft权限中 (github.com)
此解决方案加速器与OpenLineage项目一起提供了一个连接器，它将从Azure Databricks中的Spark操作中的沿袭元数据传输到Microsoft权限，从而使您能够看到表级的沿袭图。它支持Delta、Azure SQL、Data 2等。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/72198976
复制相关文章
相似问题
腾讯云开发者
