Hyperledger fabric peer数据膨胀解决方案探讨

1. 问题场景

Fabric peer节点使用文件保存区块， 使用level db或couchdb数据库保存状态， 数据很多state db会膨胀, 我们探讨下一些解决方案。

2. couchdb集群

couchdb2.x支持集群, 分片, 应该能把数据分散到集群的其它节点。先简单过一下如何安装。

2.1 couchdb集群搭建

Fabric用到的couchdb镜像是自己打包的, 1.4对应的是hyperledger/fabric-couchdb:0.4.14, 不过很悲催, 笔者测试官方这个版本是有不少问题的:

(1) 开启couchdb持久化, 启动直接报错; 不开启持久化可跳过

volumes:

- ./couchdb1/data:/opt/couchdb/data

Could not open file ./data/_users.couch: permission denied

(2)参考couchdb2.2, 2.3官方文档, docker hub couchdb镜像的安装文档, 三个节点可以复制， 但是每个节点的状态是 single_node_enable, 而换成docker hub couchdb镜像则直接成功。笔者已将把问题提交到官方JIRA https://jira.hyperledger.org/browse/FABB-118 不知道会有人跟进不。

搭建代码分享在https://github.com/zealzeng/fabric-couchdb-cluster-demo

docker启动couchdb算简单, 不过参数有点多, 最少需要三个节点, 我们参考docker-compose-couchdb1.yaml

#

# Copyright IBM Corp All Rights Reserved

#

# SPDX-License-Identifier: Apache-2.0

#

version: '2'

networks:

basic:

services:

couchdb1:

container_name: couchdb

#image: hyperledger/fabric-couchdb:0.4.14

image: couchdb:2.2.0

# Populate the COUCHDB_USER and COUCHDB_PASSWORD to set an admin user and password

# for CouchDB. This will prevent CouchDB from operating in an "Admin Party" mode.

environment:

- COUCHDB_USER=admin

- COUCHDB_PASSWORD=adminpwd

- NODENAME=192.168.31.86

- ERL_FLAGS=-setcookie "brumbrum" -kernel inet_dist_listen_min 9100 -kernel inet_dist_listen_max 9100

- COUCHDB_SECRET=1234567890

ports:

- 5984:5984

#- 5986:5986

- 4369:4369

- 9100:9100

volumes:

- ./couchdb1/data:/opt/couchdb/data

# - ./couchdb1/etc/local.ini:/opt/couchdb/etc/local.ini

# - ./couchdb1/etc/vm.args:/opt/couchdb/etc/vm.args

#networks:

# - basic

必须使用低版本些couchdb:2.2.0, 实际上fabric-couchdb：0.4.14用的是2.2版本的couchdb, 2.3.0已测试过, 无法启动。

NODENAME一般用IP或完整域名, 实际生成的节点唯一名字为couchdb@NODENAME.

ERL_FLAGS实际是couchdb启动参数, 会对应生成一个ini文件, setcookie也是一个通信密钥, 到官方文档查下https://docs.couchdb.org/en/2.2.0/cluster/setup.html?highlight=cluster

端口5984是一个Couchdb Fauxton工具或http api端口, 要保证fabric peer能采访。

端口5986是内部管理任务的端口, 可不开放。

端口4369是erlang epmd机制的通信端口, 好像是要节点之间相互采访, 通过setcookie保证安全。

端口9100用于集群内节点通信, 说是随机生成, 只能限制端口范围, 不开放集群好像就起不来。

安装步骤

(1) 启动三个couchdb节点

192.168.31.86执行step1-start-couchdb1.sh

192.168.31.168执行step1-start-couchdb2.sh

192.168.31.121执行step1-start-couchdb1.sh

(2) 选择一个操作节点192.168.31.86

假设ssh登录86, 默认使用127.0.0.1， 也可以使用86采访

curl -X POST -H "Content-Type: application/json" http://admin:adminpwd@127.0.0.1:5984/_cluster_setup -d '{"action": "enable_cluster", "bind_address":"0.0.0.0", "username": "admin", "password":"adminpwd", "port": 5984, "node_count": "3", "remote_node": "192.168.31.168", "remote_current_user": "admin", "remote_current_password": "adminpwd" }'

curl -X POST -H "Content-Type: application/json" http://admin:adminpwd@127.0.0.1:5984/_cluster_setup -d '{"action": "add_node", "host":"192.168.31.168", "port": 5984, "username": "admin", "password":"adminpwd"}'

curl -X POST -H "Content-Type: application/json" http://admin:adminpwd@127.0.0.1:5984/_cluster_setup -d '{"action": "enable_cluster", "bind_address":"0.0.0.0", "username": "admin", "password":"adminpwd", "port": 5984, "node_count": "3", "remote_node": "192.168.31.121", "remote_current_user": "admin", "remote_current_password": "adminpwd" }'

curl -X POST -H "Content-Type: application/json" http://admin:adminpwd@127.0.0.1:5984/_cluster_setup -d '{"action": "add_node", "host":"192.168.31.121", "port": 5984, "username": "admin", "password":"adminpwd"}'

curl -X POST -H "Content-Type: application/json" http://admin:adminpwd@127.0.0.1:5984/_cluster_setup -d '{"action": "finish_cluster"}'

要确保86能够采访168, 121其它两个节点, 防火墙之类要保证通信。

最后验证一下集群安装.

curl http://admin:adminpwd@127.0.0.1:5984/_cluster_setup

返回内容要保证是cluster_finished,如果是single_node_enabled, single_node_disabled多数要重来。

{"state":"cluster_finished"}

(3) 测试下集群

http://192.168.31.86:5984/_utils/

http://192.168.31.168:5984/_utils/

http://192.168.31.121:5984/_utils/

登录fauxton, 在一个节点创建或更新文档或数据, 在其它节点能够看到变化数据就对了。 一个节点停止后， 其它节点应该也能采访。

2.2 peer连接couchdb

参考docker-compose.yaml, 假设启动一个peer节点。

- CORE_LEDGER_STATE_STATEDATABASE=CouchDB

#- CORE_LEDGER_STATE_COUCHDBCONFIG_COUCHDBADDRESS=couchdb:5984

- CORE_LEDGER_STATE_COUCHDBCONFIG_COUCHDBADDRESS=192.168.31.86:5984

# The CORE_LEDGER_STATE_COUCHDBCONFIG_USERNAME and CORE_LEDGER_STATE_COUCHDBCONFIG_PASSWORD

# provide the credentials for ledger to connect to CouchDB. The username and password must

# match the username and password set for the associated CouchDB.

- CORE_LEDGER_STATE_COUCHDBCONFIG_USERNAME=admin

- CORE_LEDGER_STATE_COUCHDBCONFIG_PASSWORD=adminpwd

默认只能接入一个couchdb节点。couchdb貌似是提倡前置一个均衡负载HAPROXY或NGINX。

执行step2-start-fabric.sh就可以启动了。

登录cli可查询下, 也可以到fauxton查询下, 数据都是同步的。

peer chaincode query -C mychannel -n fabcar -c '{"Args":["queryAllCars"]}'

一些链码更新操作的同步测试这里就跳过了。

2.3 小结

couchdb的集群, 复制, 分片是否默认真的解决我们的问题 这里需要进一步研究下couchdb。但一个原则是如果能保证不是所有数据都放要给couchdb节点就好， 如果单纯只是每个节点都保存所有数据， 每个节点只是复制备份这样就没撒用了。 分片参考下

https://docs.couchdb.org/en/2.2.0/cluster/sharding.html?highlight=shard

3. 使用网络存储

每个peer节点对应一个couchdb, couchdb使用网络存储NFS, NAS等扩容, fabric原本也是分布式记账本, 怕一个peer节点挂， 就多建两个peer冗余就好。

现在有不少区块链分片的实现， 闪电网络，侧链，迅雷的同构多链出现，实际上也是各玩各的，没有一个标准，fabric的路还长。