首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

伴鱼数据质量中心的设计与实现

日常工作中,数据开发工程师开发上线完一个任务后并不是就可以高枕无忧了,时常会因为上游链路数据异常或者自身处理逻辑的 BUG 导致产出的数据结果不可信。而这个问题的发现可能会经历一个较长的周期(尤其是离线场景),往往是业务方通过上层数据报表发现数据异常后 push 数据方去定位问题(对于一个较冷的报表,这个周期可能会更长)。同时,由于数据加工链路较长需要借助数据的血缘关系逐个任务排查,也会导致问题的定位难度增大,严重影响开发人员的工作效率。更有甚者,如果数据问题没有被及时发现,可能导致业务方作出错误的决策。此类问题可统一归属为大数据领域数据质量的问题。本文将向大家介绍伴鱼基础架构数据团队在应对该类问题时推出的平台化产品 - 数据质量中心(Data Quality Center, DQC)的设计与实现。

03

这是我见过最有用的Mysql面试题,面试了无数公司总结的(内附答案)

1.什么是数据库? 数据库是组织形式的信息的集合,用于替换,更好地访问,存储和操纵。 也可以将其定义为表,架构,视图和其他数据库对象的集合。 2.什么是数据仓库? 数据仓库是指来自多个信息源的中央数据存储库。 这些数据经过整合,转换,可用于采矿和在线处理。 3.什么是数据库中的表? 表是一种数据库对象,用于以保留数据的列和行的形式将记录存储在并行中。 4.什么是数据库中的细分? 数据库表中的分区是分配用于在表中存储特定记录的空间。 5.什么是数据库中的记录? 记录(也称为数据行)是表中相关数据的有序集

02
领券