区块链与大数据究竟有着怎样的关系?

来源 | 全球大数据峰会

今天,很多人还没弄懂大数据,区块链又来了。区块链与大数据究竟有着怎样的关系?

进入大数据时代,云计算成为大数据基础设施,也使得大数据的核心思想和云计算一脉相承。

大数据和区块链两者之间有个共同的关键词:分布式,代表了一种从技术权威垄断到去中心化的转变。

区块链让数据真正“放心”流动起来

区块链以其可信任性、安全性和不可篡改性,让更多数据被解放出来。用一个典型案例来说明,即区块链是如何推进基因测序大数据产生的。区块链测序可以利用私钥限制访问权限,从而规避法律对个人获取基因数据的限制问题,并且利用分布式计算资源,低成本完成测序服务。区块链的安全性让测序成为工业化的解决方案,实现了全球规模的测序,从而推进数据的海量增长。

分布式的储存

大数据,指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据需要应对海量化和快增长的存储,这要求底层硬件架构和文件系统在性价比上要大大高于传统技术,能够弹性扩张存储容量。

区块链,是比特币的底层技术架构,它在本质上是一种去中心化的分布式账本。区块链技术作为一种持续增长的、按序整理成区块的链式数据结构,通过网络中多个节点共同参与数据的计算和记录,并且互相验证其信息的有效性。从这一点来说,区块链技术也是一种特定的数据库技术。由于去中心化数据库在安全、便捷方面的特性,很多业内人士看好其发展,认为它是对现有互联网技术的升级与补充。区块链则是纯粹意义上的分布式系统。

分布式计算

大数据的分析挖掘是数据密集型计算,需要巨大的分布式计算能力。节点管理、任务调度、容错和高可靠性是关键技术。Google是这种分布式计算技术的代表,通过添加服务器节点可线性扩展系统的总处理能力,在成本和可扩展性上都有巨大的优势。现在,除了批计算,大数据还包括了流计算、图计算、实时计算、交互查询等计算框架。

区块链的共识机制,就是所有分布式节之间怎么达成共识,通过算法来生成和更新数据,去认定一个记录的有效性,这既是认定的手段,也是防止篡改的手段。区块链主要包括四种不同的共识机制,适用于不同的应用场景,在效率和安全性之间取得平衡。以比特币为例,采用的是“工作量证明”,只有在控制了全网超过51%的记账节点的情况下,才有可能伪造出一条不存在的记录。

大数据与区块链的不同点

2011年,“大数据”第一次上榜,位于技术萌芽期的爬坡阶段,当时还统称为“Big Data and Extreme Information Processing and Management”(“大数据”和极端信息处理和管理)。2012年更进一步,并在2013年几乎达到了过热期顶峰。经历了2014年的下滑,从2015年开始,“大数据”突然从曲线中消失,可解读为Gartner对大数据的定位已从“新兴”转为“主流”。当前,大数据对于企业的意义已从能力要素上升为战略核心。相对而言,“区块链”直到2016年才第一次出现在《技术成熟度曲线》中,并直接进入“过热期”。总的来看,“大数据”和“区块链”所处的生命周期阶段大不相同,两者约有5年左右的差距。

大数据通常用来描述数据集足够大,足够复杂,以致很难用传统的方式来处理。区块链能承载的信息数据是有限的,离“大数据”标准还差得很远。

大数据与区块链的差异:

  • 结构化 vs 非结构化:区块链是结构定义严谨的块,通过指针组成的链,典型的结构化数据,而大数据需要处理的更多的是非结构化数据。
  • 独立 vs 整合:区块链系统为保证安全性,信息是相对独立的,而大数据着重的是信息的整合分析。
  • 直接 vs 间接:区块链系统本身就是一个数据库,而大数据指的是对数据的深度分析和挖掘,是一种间接的数据。
  • 数学 vs 数据:区块链试图用数学说话,区块链主张“代码即法律”,而大数据试图用数据说话。
  • 匿名 vs 个性:区块链是匿名的(公开账本,匿名拥有者,相对于传统金融机构的公开账号,账本保密),而大数据有意的是个性化。

在区块链中使用大数据技术

  1. 区块链是一种不可篡改的、全历史的分布式数据库存储技术,巨大的区块链数据集合包含着每一笔交易的全部历史,随着区块链技术的应用迅速发展,数据规模会越来越大,不同业务场景区块链的数据融合会进一步扩大数据规模和丰富性。
  2. 区块链以其可信任性、安全性和不可篡改性,让更多数据被解放出来,推进数据的海量增长。
  3. 区块链的可追溯性使得数据从采集、交易、流通,以及计算分析的每一步记录都可以留存在区块链上,使得数据的质量获得前所未有的强信任背书,也保证了数据分析结果的正确性和数据挖掘的效果。
  4. 区块链能够进一步规范数据的使用,精细化授权范围。脱敏后的数据交易流通,则有利于突破信息孤岛,建立数据横向流通机制,形成“社会化大数据”。基于区块链的价值转移网络,逐步推动形成基于全球化的数据交易场景。
  5. 区块链提供的是账本的完整性,数据统计分析的能力较弱。大数据则具备海量数据存储技术和灵活高效的分析技术,极大提升区块链数据的价值和使用空间。

原文发布于微信公众号 - Spark学习技巧(bigdatatip)

原文发表时间:2018-03-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Keegan小钢

002 | 我是如何学习区块链的

前几天我们已经学了如何学习的“道”和“术”,学完之后就应该落地到实践上,通过不断地实践练习,才能将这些 知识资源 转化为我们的 知识资本。如果你看完前面的文章后...

1031
来自专栏企鹅号快讯

比特币大跌又反弹30%,区块链技术与企业级有着怎样的关系?

上周,加密货币比特币在22日一度下跌将近30%,来到1万1159.93美元。价格暴跌之后,比特币在本周价格又开始大幅反弹。根据Bitstamp平台显示的最新数据...

1989
来自专栏区块链+系列

区块链+游戏真的能赋予用户价值吗?

区块链游戏焕发第二春?随着区块链技术的发展,网易率先推出公测区块链项目与旗下的《逆水寒》相结合,并打出“宋徽宗发币”的噱头,号召游戏玩家开始“挖矿”。

1182
来自专栏灯塔大数据

原创译文 | 区块链技术将引入游戏中!期待吗?

导读:上一期了解了关于有感知力的AI的相关介绍,今天我们来了解一下区块链技术应用到游戏的相关内容(文末更多往期译文推荐) 在以往游戏过程中,购买游戏内物品的概念...

3595
来自专栏企鹅号快讯

Augmate公司应用分布式账本技术,将IOTA整合为物联网设备管理平台

Augmate公司的使命是建立起人人都能在没有摩擦的情况下工作的世界。为了实现这一目标,Augmate创建了可穿戴设备环境(WE)管理平台——这是一个领先的企业...

2645
来自专栏ATYUN订阅号

【业界】区块链在2018年的5大趋势

很少有新技术能像区块链那样引发如此多的讨论。其中一个原因是围绕比特币和以太币等基于区块链的加密货币的争议、担忧和感知机会。另一个原因是通过ICO(首次币发行)增...

2809
来自专栏区块链孵化

HBank数字资产交易平台打破数据垄断,实现数据平民化

2009年中本聪发明比特币,转眼快十年过去,有人一把辛酸一把泪、有人一路欢歌一路狂笑来到2018,或许是经受了十年的“漫漫长夜的痛苦与煎熬”,2018区块链终于...

1773
来自专栏ATYUN订阅号

区块链越来越火 谈谈我们对其的3种误解

这两年,区块链一直是一种流行趋势。它被广泛认为是一项重要的技术发展,但这并不意味着我们应该把一切都交给它去炒作,或是认为区块链将会解决很多问题。 ? 在评估未来...

2855
来自专栏区块链中本聪

区块链技术公司区块链能做什么?

区块链具有去中心化、无须中心信任、不可篡改和加密安全等特点,正在走进政府决策、金融机构、大型企业的视野,并应用于数字货币、支付清算、信贷融资、金融交易。

1390
来自专栏腾讯研究院的专栏

区块链焦虑症?如何判断是否该使用区块链

image.png 郭 锐  腾讯公司FiT金融产品创新实验室&平台研发部助理总经理   不知从什么时候开始,交流金融科技,不提区块链和大数据,感觉就已经...

1896

扫码关注云+社区