首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >数据分离与关系完整性

数据分离与关系完整性
EN

Database Administration用户
提问于 2019-08-27 04:14:23
回答 1查看 40关注 0票数 1

我事先表示歉意,因为这个问题可能更多的是在理论方面,(希望)一个公平的讨论。

这就是场景:我们有Salesforce和多个本地供应系统(历史很短-多家公司被合并)。作为标准化工作的一部分,我们设置了一个ETL,它从所有本地系统中提取数据,对其进行转换并将其上传到Salesforce。目前,我们主要使用Salesforce作为票务系统,并且没有对本地供应系统进行回写。数据在Salesforce中每2小时刷新一次。

Salesforce中的数据提供的功能是,当客户电话或电子邮件进来时,它们与联系信息(从本地供应系统中提取)进行匹配。

我们的营销团队目前想要实现Salesforce营销云,它从Contact表中提取数据。

现在你有了背景--以下是问题所在:

由于我们有大量的“重复”数据--最常见的两种情况是:

人A有一个与品牌X和品牌Y帐户。ETL看到两个独特的联系对象,分配给两个不同的品牌,两个不同的帐户与两个不同的产品和进口作为两个单独的联系人,即使相关的细节(姓名,电子邮件,电话号码)是相同的。

人A在一个品牌中有多个帐户。有时,这可能是由于有多个企业,或者他们是一个转卖商,但没有使用经销商登录或其他任何东西--在这种情况下,ETL会看到多个唯一的联系人(就像在供应系统中一样,联系人有一个唯一和不同的主键)--如上所述,ETL看到这是多个唯一的联系人,它们属于不同的帐户,拥有不同的产品集。

这会导致案例生成的匹配率出现问题,也可能导致我们希望使用的营销工具出现问题--特别是一个拥有多个帐户的个人可能会收到多份营销材料副本。

营销团队只想对联系数据进行简化,然而,我有一些关于如何做到这一点的理论,这要么是:

1:在本地系统和Salesforce之间失去关系--这里可能会产生一些附属问题,因为产品必须有联系信息,并且当创建一个案例时,相关的产品将呈现给Agent。

2:创建某种形式的关系映射,试图保存一些东西-这可能会变得极其混乱,并可能最终跨越品牌/账户补贴,如果出了问题,海事组织可能会产生法律/隐私问题。更不用说它会产生一些不是从源供应系统中提取的东西。

目前,我设计这个过程的口号是,源系统中的内容必须复制到Salesforce,但是如果我被要求这样做,就会破坏这个过程。

因此,总结并提出一个问题:关于去重复和数据完整性,我是否应该知道或参考什么“规则”?您将如何设计这样的需求?有什么陷阱或“陷阱”或类似的我应该注意到的吗?我应该继续这样做吗?

编辑:

我更多的是寻找一些指导原则,而不是一个具体的答案--我理解它有点宽泛,尽管我现在需要的是广度,我应该能够在细节上工作,但现在我需要一些总体上的帮助。

首先,找出业务需要的答案是一个很好的答案--所以我将与营销团队和其他利益相关者坐下来,看看我们得到了什么。

请提供更多这样的信息和一般性原则/建议。

EN

回答 1

Database Administration用户

发布于 2019-08-27 11:49:22

在数据清理/去重复方面没有真正的硬规则,因为它通常取决于以下因素:

您的数据集的质量(S)

您没有提到质量是一个问题,所以我不会再多说这一点,但通常,匹配来自不同系统的数据可能是最大的障碍。大卫在一个系统中可能是在另一个系统中的戴夫。

业务需要什么

到目前为止,您已经有了一个需求列表,这对您具有指导意义。现在,您已经碰到了一些会影响输出质量的东西。有益的是与流程和数据所有者坐下来,告诉他们您对这两种方法的关注。这不仅仅是要解决的DBA/Developer问题,其他涉众也可以成为解决方案的一部分。它将有助于避免那些“你为什么要做那个TheDemonLord!这不是我们想要的”的指责,当你认为你做的是正确的事情,但其他人不同意!

然后,您可以一起定义有关dedupe工作的逻辑和规则,例如,如果一个人在Brands X&Y有一个帐户,那么我们将使用最近购买的详细信息等。

您可以投入多少精力来清理或转换数据

就像任何一项任务一样,有一个清晰的时间/质量等式需要处理。您可以很容易地陷入一个不断增长的手动修复列表中,以便有一个完美的dedupe /提取过程来捕获您需要它的所有内容。这是另一个需要解决的问题。找出每一个错误并解决每一个问题不是你的工作。定义一个用于突出显示和记录可能不符合提取模型的帐户的过程。然后决定谁修复它,何时何地。

正如您第一次说的,这是相当理论性的,这就是为什么您在构建过程中发现的问题应该由每个使用该系统的人来解决。

票数 1
EN
页面原文内容由Database Administration提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://dba.stackexchange.com/questions/246313

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档