问数据池中的事务性数据
EN

Stack Overflow用户

提问于 2018-06-27 16:30:58

回答 1查看 920关注 0票数 0

我们有多个源系统发送数据。理想情况下，我们应该捕获来自源的原始数据，并将其保存在数据湖中。然后，我们必须将原始数据处理为结构化格式。现在，用户可以通过前端应用程序更新这些数据。

我正在考虑在处理过的数据之上放置一个rdbms，然后将审计跟踪从rdbms拉到data，并合并处理过的数据和审计跟踪，以创建报告的最终视图。或者rdbms也可以用于分析。

或者，我们可以将所有的数据原装在rdbms中，运行rdbms中的更改，并将数据从rdbms中提取到数据湖中。但是，引入数据湖并没有多大意义。

请给我建议。

谢谢,

回答已采纳

发布于 2018-07-03 16:35:40

ADLA不是面向消费者的，这意味着您不会将前端系统连接到它。如果问题是“我们应该做什么”，我不确定有人能为你回答这个问题，但听起来你是在正确的轨道上。

我能做的就是告诉你我们做什么：

原始数据(CSV或TXT文件)进入Blob存储
U脚本提取该数据并将其存储在表中。在这一点上可以删除Blobs。
我们根据需要将处理过的数据输出到诸如RDBMS这样的“可消费”源。有几种方法可以做到这一点，但目前我们输出到blob存储中以管道分隔的文本文件，并使用Polybase导入到Server。YMMV

首先将数据拖到data中，然后再将RDBMS放到数据湖中，这对我来说是有意义的。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/51067567

复制

相似问题

问数据池中的事务性数据EN