UTXO Commitment有望彻底解决大区块存储问题

关于BCH,黑粉们讨论最多的就是BCH区块过大造成的节点存储问题,部分比特币的支持者认为,BCH大区块会加重全节点的运行成本,使得人人皆节点变的不再可能,有悖去中心化本意。对此,BCH社区已经罗列出了大量的事实和证据来表明BCH大区块并不会造成存储困难,也不会影响去中心化的设计,而且即使是比特币的节点运行,也早就超过了普通电脑能够接受的范围。所以,大区块撑爆屌丝电脑是一个针对BCH的谎言。

不过,随着区块中交易的增多,账本数据的持续增长,BCH全节点的运行成本越来越高是一个不争的事实。如何解决这个问题,是社区始终在思考的一个方向。近日,UTXO Commitment技术为了这一问题提供了一种解决思路。

UTXO是什么?

UTXO(Unspent Transaction Output)是指未花费的交易输出,在现实世界中是没有比特币的,只有UTXO。比特币的交易由交易输入和交易输出组成,每一笔交易都要花费(spend)一笔输入,产生一笔输出(output),一个地址中出现了输入而这笔输入没有输出或者是完全输出,剩余的部分指的就是“未花费过的交易输出”,也就是UTXO。

简单统计一下 BCE 和BCH 主链截止到某个最近的区块时的 UTXO 数据。BCH 的主链截止高度534637,UTXO集合有39922839个未花费的输出;BCE主链截止高度527687,UTXO集合有51283037个为花费的输出。

由此可得,UTXO集合较大,其中的unspent output的量级在4000万到5000万这个量级之间,需要的存储也会超过2GB。同样UTXO集合本身也会随着新区块的产生不断变化,花费旧的output,生成新的unspent output。

另外某些 output 可能是无法花费的 output,这包括:1)第一个字节为 0x6a开头的redeemScript(OP_RETURN);2)超过10k字节的 redeemScript。

如何降低全节点存储成本?

在文章的前面,我提到说BCH全节点的运行成本越来越高是一个不争的事实,举一个简单的例子来说,如果现在要设置一个新节点,需要从BCH网络节点中下载区块链的完整历史数据,这个数据目前大约为160GB,这不仅需要新节点拥有高速稳定的宽带以及较大的硬盘空间,而且其余节点也会因为初始块下载而承受网络压力,再加上区块链是不断延伸的,账本的长度还在不断增加。

即使这个账本数据过于庞大,目前来看我们还是需要下载运行,因为这个账本里面的全部数据都是为了给UTXO集合做担保,保证每笔交易都是合法的,即每笔交易中的输出地址中有足够的UTXO来满足交易条件。那么我们有没有可能不下载全部的历史数据就达到目的呢?

全部历史数据的存在是为了验证新的区块,也就是为验证新的交易(transaction,tx)提供依据。但是现在的Bitcoin客户端在实现验证新tx时,是否真的会直接去整个区块链上进行回溯来验证tx的合法性?

答案是否定的。现在的Bitcoin客户端在验证tx时,利用的是UTXO(Unspent Transaction Output)集合进行检查。所以为什么一定需要全部的历史数据构建UTXO集合?可以认为:完整的账本数据的存在是为了给UTXO提供担保。如果有其他的方式可以为UTXO集合提供担保或者承诺(commitment),也许就不再需要存储整个的账本数据。

UTXO Commitment就是如此,该技术给出的解决思路是用基于椭圆曲线构造的Hash函数(承诺算法)Elliptic Curve Multiset Hash来对UTXO集合进行担保,该算法将集合中的每一个数据都Hash到椭圆曲线中的每一个点,然后利用加法点群的运算来快速变换成杂凑值的变化,从而使得新地址同步的顺序发生改变,节点运行时率先同步新区块然后同步UTXO余额,最后是选择性同步旧数据,简单来说就是对之前的冗余数据在不影响网络安全正确的前提下进行了适当的裁剪。

这样一来,全节点在运行BCH区块链时,可能只需要下载大小约为2GB的UTXO集,而不需要完整的下载160GB的历史账本数据,会大大降低全节点的运行成本,也为普通节点的运行提供了可能。

UTXO Commitment是什么?

UTXO Commitment也叫UTXO证明或者是UTXO承诺,其大致思路利用ECMH 对某个区块高度的UTXO集合做承诺,并将该承诺存储到coinbase 交易的output中,完成这一步之后,后续根据新区块的产生可以对UTXO Commitment进行更新,利用ECMH把花费的output从集合中去掉并添加新产生的output。通过这种方式就找到了构建并持续维持UTXO承诺的方式,也可以从这里摆脱对完整账本的依赖。

Utxo-commitment机制激活之后,网络中的节点只需要为可能发生的区块重组保持最近的几百(几千或者上万个区块)以及UTXO集合,就可以验证tx的合法性,而UTXO集合的合法性可以对比验证区块中的存储的commitment数据。当然,激活utxo-commitment机制时,例如在区块中首次生成utxo承诺时,还是依赖全部的历史数据来保证该UTXO集合的合法性,但是从此之后,就不再依赖完整的区块数据。类似于归纳法证明:起点处的UTXO证明是正确的(全账本数据支撑),每一次更新是对的(ECMH 的抗碰撞特性保证),则整个UTXO证明机制是没有问题的。

在主链上开启UTXO-commitment机制,大概需要以下四步:

1. 在coinbase中引入并维护UTXO承诺(这一步已经完成,在Bitcoin Cash Testnet的1237565高度的区块的coinbase中有了UTXO承诺:5554583011007bc4426b03824ccca5912bb147bd9f6847b670a08f24b79a4b5ed0b36393)。

2. 为UTXO集合的网络传送添加P2P消息支持:utxo/getutxo。

3. 将UTXO承诺作为区块验证规则的一部分。

4. 实现fast-syncing bootstrap方法。

UTXO Commitment的优点是什么?

UTXO承诺的优点,能够减少存储空间和带宽使用。由于仅需要存储UTXO集合和最新的几百个(或者几千或者上万个区块),而不需要存储超过 100GB 的数据,对存储空间的需求会减少(手动修剪也可以达到类似的效果)。

2017年2月的一则新闻中通告 https://news.bitcoin.com/cost-full-bitcoin-node/,Bitcoin节点通常每月使用200GB或者更多的上行带宽和大约20GB的下行带宽。而使用了UTXO承诺之后占用更少的资源可以使更多的节点能够以接近全节点的方式来运作,这能够增强BCH网络的去中心化程度和并且在一定程度上增强SPV钱包的安全性(可以通过存储2GB的UTXO集合来验证交易合法性)。

UTXO Commitment的安全性?

UTXO Commitment的安全取决于ECMH算法的安全性,而ECMH算法可以基于secp256k1椭圆曲线来构造,Core开发者Pieter Wuille等人开发的secp256k1库上基本都添加了ECMH功能。另外,secp256k1已经被别的数字货币进行使用,所以其安全性是经过验证的。

UTXO Commitment的缺点是什么?

UTXO承诺也有缺点,如果没有人愿意当全节点存储所有历史数据如何处理?另外在Telegram上的UTXO-Commitment的工作组[WG]讨论中,有人提出UTXO-Commitment机制可能会影响HD钱包的某些机制,这部分尚未完全弄明白。

引入UTXO包含/不包含证明对于轻钱包的增强也会有帮助,但是进一步的考虑会发现这是徒劳的,因为payment协议也在不断改进。另外UTXO集合同步容易遭受恶意节点干扰,可能会因为仅仅一个output的错误而不断从网络重新获取2GB 的数据。

目前UTXO-Commitment还是存在很多缺陷,但这不会影响UTXO-Commitment的政治正确性,为了实现保证全人类级的交易处理能力和去中心化全节点成本降低,UTXO-Commitment也是必须实现的技术。期待技术团队在未来能够彻底完善UTXO-Commitment,早日应用在BCH上。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

1 条评论
登录 后参与评论

相关文章

来自专栏熊二哥

考试备战系列--软考--01基础架构概念

由于一些知识性的特殊需要,要求掌握比较过时的软件架构设计理论,因而作此文案用于记忆和查询。该部分内容与现实中软件开发相去甚远,也可以理解一些东西之间确实存在很大...

1686
来自专栏企鹅号快讯

如何学习Java?谈Java学习之路

Java光学习书籍就数不胜数,初学者对于如何学习Java往往一头雾水。在我们学习Java之前就应该先做好以下几点: 1. 思考一下 学习Java之前,先别急,静...

1815
来自专栏京东技术

多数据模型数据库 | 应用实例解析

吕信,京东商城技术架构部资深架构师,拥有多年数据产品研发及架构经验。在京东及国内主导过多种数据产品的开发及社区建设,积极活跃于数据产品领域,对数据库及大数据领域...

381
来自专栏有趣的Python

1-玩转数据结构-欢迎学习数据结构

对于数据的存储这个任务,解决方案是很多的。我们需要根据应用的不同,灵活选择最合适的数据结构

9274
来自专栏AI科技评论

学界 | 谷歌推出有界负载的一致性哈希算法,解决服务器负载均衡问题

studyinsweden AI科技评论按:运行大型Web服务需要负载平衡,例如内容托管。通常做法是在多个服务器之间均匀分发客户端,以免任何服务器超负荷运行。...

3699
来自专栏ThoughtWorks

变化驱动:正交设计|洞见

本文首发于InfoQ: http://www.infoq.com/cn/articles/change-driven-orthogonal-design 一个...

3164
来自专栏大数据

大数据和云计算技术周报:NoSQL特辑

写在第8期特辑 “大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及。为了满足众多同学学习和工作的需要,后面社区...

1798
来自专栏HappenLee的技术杂谈

大数据小视角2:ORCFile与Parquet,开源圈背后的生意

Facebook在 2011年的 ICDE 会议之上发布了RCFile。之后RCFile在Hive之中作为很好的列存储模型被广泛使用,虽然RCFile能够很好的...

753
来自专栏韩伟的专栏

字节的奥秘

在数码产品中,最常见的名词就是“字节”了。不管是U盘容量、手机存储空间,还是网络带宽,下载速度,都会涉及所谓“字节”这个单位。但到底“字节”是一个什么东西呢?本...

3234
来自专栏Jerry的SAP技术分享

Hyperledger(超级账本)的worldstate和SAP CRM的CRMD_CUMULAT_H

Hyperledger fabric是基于区块链技术的一个开源项目,由Linux基金会于2015年发起,目的是推进区块链数字技术和交易验证的发展和落地。

912

扫码关注云+社区