专栏首页AI机器思维透过数据魔镜看人看物看世界

透过数据魔镜看人看物看世界

作者|Nature

出品|AI机器思维

万物皆数,透过数据的魔镜能够帮助人类照出万物的本质,看人看物看世界。正如实现心愿的如意——如意如意快快显灵,数据的如意如今已经成为评判人和物的标尺,给人给物画像。

世界万物皆被记载,人与物形成的过程数据都被记录、存储以及传输。文化的载体从纸媒到数媒,历史的轨迹从静态到动态运行状态皆有数据记载,形成了巨大的数据海洋。没有哪一个时代像现在这样这么容易的获得这么丰富的各类数据。便捷的数据收集带来了数据创新应用,促进了统计学、机器学习、数据分析与数据挖掘的发展,同时带来了新科技产品的智能化、智慧化实践应用。

人类的必需品是空气、阳光和食物,智能机器要想拥有人的思考与决策,实现智能化到智慧化的转变离不开数据,数据是智能机器的必需品。

数据从早期的简单数据存储已经迈入了复杂的数据生态系统中!

回顾下数据发展的历史,更能体会到数据的变化状态。早期的数据伴随计算机的产生就是比特信息的传输交流,形成了信息记录。随着科技发展,数据库的出现,运行状态的数据开始得到存储应用,如银行的静态的客户身份数据、交易数据、时点数据等等。基础科技的发展促进了数据复杂度生态。互联网、物联网、移动互联网、云计算以及大数据等基础科技的发展应用让数据更好的运行流动,从而形成了数据的海洋。数据的存储从传统的只是存储格式化数据(格式化数据是存储在关系数据库中的数据,可以用二维逻辑表达实现。)到存储非格式化数据(非格式化数据是不方便用数据库二维逻辑表达的数据,如图片、语音、图像、多媒体视频、网页、电子邮件等)。

人借助智能手机、计算机实现与机器和人互相交流通信;物借助物联网通过传感器实现互相交流通信;机器与机器之间借助网络实现机器与机器的交通通信,理解彼此,依靠机器语言传递交互信息,彼此学习。

随着人类社会的发展,人、物、机器等都通过网络链接形成了一个复杂的生态网络社会。在这个复杂的生态网络社会上产生了历史数据、行为数据、实时数据等等。基础数据的形成促进了产业经济的发展,从而进入数字经济时代。中国目前在消费数字经济领域可以说领先全球,但在产业基础数字经济领域还与世界有很大差距。

人借助智能手机、计算机产生了与交通、金融、医疗等交互的数据,从静态到运行状态,让数据具有了行为数据的收集。提前了解人的需求服务成为个性化服务的一个应用,更好的体验让人与生活变得更加美好。

数据越来越复杂,数据治理成为行业痛点,为什么要进行数据治理?

1.数据多头管理,无专门对数据进行监督和管控部门

各基础系统复杂组合应用形成了复杂的多数据系统,从而出现数据管理职责分散、权责不明确的情况。由于各个部门关注数据的角度不尽相同,从而缺少一个组织从全局视角考虑对数据进行管理,导致无法建立一个统一的数据管理规则与标准等,各自为政,缺少统一的数据规范、可信的数据来源和数据标准,导致数据不规范、不一致、冗余、无法共享和利用等问题。

2.数据不完整,具有一定局限性和片面性

3.数据口径不一致,缺乏统一标准

4.数据分布零散,不利于部署和同步

5.数据共享与整合困难

6.数据正确性有待提升

7.缺少数据生命周期管理

人有生命周期,数据也不例外,数据也有生命周期。要把有效数据和无效数据区通过生命周期管控处理。数据不断增长,规模越来越大,有效的数据生命周期管控是数据治理的手段。

8.数据不集中,不利于数据分析与数据挖掘和应用。

9.随着数据安全法的提出,数据安全管理需要加强,防范数据泄露。

由于以上原因,可以看出无论哪个组织和部门都需要数据治理,具体落实到细则上需要从数据治理体系框架下以下几个方面考虑,要理解数据治理是更好的发挥数据价值的关键,对数据资产管理、规划、监控、管控数据安全、数据质量管理、元数据管理、数据生命周期管理。借助数据治理工具从技术平台、技术工具以及技术规范上进行数据治理。

真正要实施好数据质量,管理层是关键,统一认识,形成战略目标和规划,制度好组织架构、规章制度以及流程管理。

数链万物,依靠数据发挥价值需要真正对数据进行数据治理、数据分析、数据挖掘才能更好的服务上层复杂的应用系统,真正建立以客户为中心的运营理念。数据是未来最重要的价值资产,用好数据才能更好的发挥数字经济时代的价值。

本文分享自微信公众号 - AI机器思维(jiqisiwei),作者:Nature

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-10-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 构建智能体系

    “人们曾经以采集食物为生,而如今他们要重新以采集信息为主,尽管这件事看起来很不可思议。”

    机器思维研究院
  • 让机器学习人类分类—Scikit-learn(献给初学者的机器学习案例)

    通过python中的模块Scikit-learn是机器学习领域一个非常强大的模块,它是在Numpy、Scipy和Matplotlib三个模块上编写的,是数据挖掘...

    机器思维研究院
  • 大数据架构下的数据仓库为什么是未来趋势?

    人类已经进入数据驱动的时代,数据为先、移动为先、云为先、智能为先的时代!繁杂的数据中隐藏着有用的“智慧”,在企业和每个人心中建立“数据文化”成为建设智慧企业的必...

    机器思维研究院
  • 十张图看懂未来的大数据世界

    摘要 随着互联网云时代的来临,大数据与云计算就像一个硬币的正反两面,势必会影响到社会生活的方方面面,改变我们现有的规则和秩序。伴随着大数据与云计算产业的不断发展...

    灯塔大数据
  • 【24页ppt干货】2014中国大数据整体市场专题研究报告

    报告核心:大数据时代的变革体现在数据对于决策、流程和产品的新驱动方式;云计算、移动互联网、社交网络和物联网等推动了大数据技术的逐步成熟。 大数据生态系统:由底层...

    小莹莹
  • 数据猿专访 | 北大新媒体研究院副院长刘德寰:大数据将在公共卫生领域迎来爆发式发展

    <数据猿导读> 刘德寰教授在接受数据猿采访时说到,公共卫生跟人的生命密切关联,未来,大数据一定会在公共卫生领域有巨大的应用前景跟爆发式发展;但同时也很担忧,现在...

    数据猿
  • 投稿 | 现阶段我为什么不看好纯粹的数据交易?

    原力大数据创始人江颖表示,尽管大数据交易平台建设正值爆发期,数据交易号称的市场规模也在不断壮大,同时也有国家大力的政策支持。但是短期内,我仍然不看好数据交易,因...

    数据猿
  • 《大数据产业”十三五“规划(2016-2020)》正式发布!

    导读:近日,工业和信息化部正式发布了《大数据产业发展规划(2016-2020年)》(以下简称《规划》),明确了大数据产业发展在技术产品、应用能力、生态体系建设等...

    钱塘数据
  • 公司利用大数据的三大模式

    导读:根据所提供价值的不同来源,分别出现了三种大数据公司。这三种来源是指:数据本身、 技能与思维。出现的三种大数据公司分别是基于数据本身的公司、基于技能的公司、...

    钱塘数据
  • 盛世的阴影:大数据时代的挑战渐渐浮出水面

    数据猿导读 6月29日,由数据猿主办的金融大数据峰会在上海盛大召开,现场汇集了众多来自大数据领域内执牛耳的重量级嘉宾。大数据被誉为第四次工业革命的能源,整个产业...

    数据猿

扫码关注云+社区

领取腾讯云代金券