解析丨未来数据质量项目成功的三大支柱

我们现在处在一个新的时代:商业成功取决于比以前更快的从更多的系统和用户中获取可信任的数据。这个新时代的核心是大数据,它引进了新技术、新数据源、新数据类型,可以让你更了解顾客、竞争者的关联信息以及你从没想过的经营活动。

问题是这些信息常常充满了错误,那些即刻需要信息的人也不能马上获取它们。无论你负责技术策略还是信息策略,你都需要保证可以实时获取可靠的信息,这样你就可以比竞争者更快的做出准确的决策。否则,你就很容易被其他公司甩在后面。

数据质量曾经被认为仅仅是IT部门的责任,或者是在某一次数据迁移中才需要被考虑到。而现在,日常业务流程、你的组织里所有的系统和数据都需要考虑数据质量。很多组织仍然让一些不懂在商业中如何使用这些数据的工程师和建筑师们管理数据质量。因此,它们往往被有限的资源和技术所限制,无法扩大规模。更糟糕的是,许多组织还没有正式的或自动的数据质量解决方案。鉴于技术和内部数据复杂性的激增,这时候就需要采取新的策略。

要想在这个时代成功,你必须确保质量数据在更多的系统中传播流畅,是高度可伸缩的,并且由业务用户监控和管理。通过本文详细的讲解,你可以创建并启动一个可以支持你现有业务计划、还可以轻松扩展满足未来需求的数据质量策略。

解析数据竖井

业务部门技术购买的增加致使数据仓库比以前多了很多。例如,市场营销等业务部门现在有了更高的预算,可以购买他们自己的系统、平台和应用程序。对于个体群体来说,这是个好消息,这个购买趋势意味着整个组织的关键数据集和数据点无法访问(甚至在业务部门内部),从而免受企业数据质量的控制。

因此,你的数据质量解决方案需要足够灵活,可以很容易地与每天使用的数据系统集成,无论是在本地还是在云中,是大数据还是适度的数据量。采用云计算解决方案意味着数据质量不再需要对现有混合环境或数据库进行那些复杂、花费大的整合。云计算解决方案可以从大量数据系统和数据源中做出快速选择,成本和管理结构更适合资源稀缺的IT部门。

此外,正如开放API可以增加业务应用程序之间的互操作性,来简化客户或用户活动,使数据质量解决方案跨不同的数据库实时提供工作流成为可能。开放API可以在那些促进了你最重要的业务流程的应用程序间提供高质量数据,而不是在后台遗留系统运行。如果你的业务像大多数公司一样,那么优化客户体验就是营业部和IT部门的当务之急。为了准确掌握客户记录,你需要随时通过网络订单、售后服务需求以及营销形式来清理和丰富客户信息。

在复杂的环境中,灵活的数据质量策略可以通过确保实时的数据质量工作流是无缝接成的来解析数据竖井。

现在数据无处不在,格式不同、质量不同。凡是存在数据处理、存储、互动以及消费的地方,都需要数据质量服务。

攻克复杂数据

大数据管理的复杂性体现在很多地方,如:无法处理遗留系统的大量数据、无法验证外部数据源以及很难对全新的数据类型建立业务规则。每次任何数据点或数据集的结合都会导致新见解或新启示,因此你需要一个随着它们的发展和改变可以应对所有复杂性的数据质量解决方案。

如果你特别关注提升用户体验和个性化营销,那么你需要能够使用数据跨多个系统和数据源保持准确的客户记录和单一用户视图。同样重要的是,你要也要关注一些无足轻重的数据,如传感器数据、机器数据、其他物联网信息,并能够把这些数据和客户联系在一起。公用事业公司和制造商多年来一直致力于这个目标,家里的智能仪表和可穿戴设备已经打开了了解客户使用的大门。通过将产品数据和账户准确的结合,你可以获得关于客户使用、消费模式、目标产品开发、市场营销以及其他更有效地业务活动的宝贵见解。

此外,遗留数据仓库和其他存储系统不再支持移动或处理交易量较大的数据集,从而导致性能缓慢,会阻碍关键业务操作和决策。大数据技术如Hadoop和Spark,还在在采用早期的时候,可以迅速提高大容量,不同渠道的数据都是合算的、高度可伸缩的。随着组织对于商业智能和分析项目越来越频繁地利用Hadoop作为存储中心和处理机制,一旦这些数据应用到你的遗留系统并且根深蒂固,你也希望确保数据质量流程。

通过解决数据质量方面的困难,现在考虑到可拓展性,你可以确保你建立的可扩展解决方案可以容纳更多的数据发展。

授权业务

最后,也许最重要的是,你需要一个数据质量战略,它需要业务分析师、数据管理员和其他最理解企业数据和最需要执行他们日常角色的业务用户的积极参与。要真正准确的将数据嵌入日常业务流程的一部分,这些专业人士需要手边有直观的数据质量工具。

目前,38%的数据驱动的分析师花费超过30%的时间去手动修正这些数据——这是在浪费宝贵的技能,他们本来可以为你的业务发现革命性的见解。同时,你的IT组没有时间和资源去访问商业用户的数据集,也没有时间去修复企业的整个系统和数据库中关键数据错误。

在数据质量的新时代,为了加快业务活动、确保数据质量标准是真正符合业务计划,这些基本的数据质量管理工具对于业务用户来说必须是可用的,如数据准备、数据分析和业务规划管理。在分析项目、营销活动等主要任务之后,这些方面的专业人士最适合去建立数据质量标准,然后就可以不断监测和评估数据标准。随着金融和医疗保健等行业越来越规范,商业用户往往是管理跨职能项目来确保数据符合要求标准。他们独立剖析数据与商业规则的能力可以简化报告流程,加快时间去确定和纠正关键数据错误。

利用新技术和新数据尽早发现新的机遇和威胁,这种能力的高低将会决定组织收入增长、成本降低、风险降低的程度。如果你不能够克服数据竖井,不能把可信的数据给那些有需求的人,那么上述行为你都不能做到。大数据需要一个信息管理的新方法——可以将数据质量嵌入业务流程中,随时、随地,可以为任何人提供定制数据。作为一个高级技术或数据分析师,你必须确保建立的数据质量解决方案是灵活的、可伸缩的、可用的,它可以随着技术和数据基础设施的复杂性的发展而同步发展。

不要让数据抛弃你——从现在开始构建一个可以在未来支持你业务的数据质量解决方案。

@云途数据

原文发布于微信公众号 - 钱塘大数据(qtbigdata)

原文发表时间:2016-10-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

技术转产品经理:这是我对项目的一些思考

前言:产品是对综合能力要求很高的一个职位,只有不断的思考、不断的更新知识体系,对这个行业充满着未知的探索,才能保持一颗初心,打磨出一款出色的产品。 背景:毕业后...

46550
来自专栏软件测试经验与教训

软件质量浅谈

42550
来自专栏新智元

AI时代市场营销生存指南:8大应用方向,无限搜索与超级个性化

【新智元导读】AI 已经成为营销技术(MarTech)中最受关注和期待的部分。利用 AI 技术,营销人员将加快实现一对一营销活动的自动化,不仅使营销内容更有针对...

381130
来自专栏云计算D1net

三大云部署方式随时扩容应对互联网流量变化

计算已从一个新概念发展成为业界主流市场。业界对云计算未来的期望较高。供应商如何才能最好地保护云计算环境?攻击者倾向于遵循相似的模式,并使用在传统环境中相同方法。...

34450
来自专栏钱塘大数据

三大支柱,决定未来数据质量项目成功

导读:我们现在处在一个新的时代:商业成功取决于比以前更快的从更多的系统和用户中获取可信任的数据。要想在这个时代成功,你必须确保质量数据在更多的系统中传播流畅,...

36650
来自专栏WeTest质量开放平台团队的专栏

「深度兼容测试」服务 今日重磅发布!

原文链接:http://wetest.qq.com/lab/view/396.html

16240
来自专栏DevOps时代的专栏

顾宇:成功的微服务应该是什么样 — 组织篇

4 月在深圳的 GOPS 大会上我分享了“落地微服务的难点和如何高效落地微服务”,这是我 2017 年 4 月份开始做的项目总结,后来发表到了自己的博客和” T...

20320
来自专栏云计算D1net

企业采用混合云的好处

混合云可以帮助弥合不同数据源之间的差距,并允许企业更好地利用他们收集的信息。这些只是混合云具备的各种优点的其中两个。 ? 在分析当前趋势时,很明显,社交软件和...

37750
来自专栏携程技术中心

干货 | 敏捷开发的持续改进

作者简介 黎娟,去哪儿过程改进总监。15年软件项目管理及过程改进经验,曾先后就职于雅虎中国/阿里巴巴、腾讯、去哪儿网,擅长问题分析以及基于问题驱动的过程改进。 ...

42860
来自专栏WeTest质量开放平台团队的专栏

WeTest&TesterHome联合手游测试沙龙(第1期)精彩分享

12月3日, WeTest&TesterHome在上海腾讯大厦联合举办了第1期手游测试沙龙。本次联合沙龙,是由腾讯WeTest发起,与优质社区TesterHom...

8210

扫码关注云+社区

领取腾讯云代金券