专栏首页区块链技术指北EOS 区块链数据实时异构到 MongoDB

EOS 区块链数据实时异构到 MongoDB

0x00 背景


更新:从 EOSIO 1.1.0 开始,已经默认支持 MongoDB,所以本文提供的方法仅做参考。

执行 eosio_build.sh 脚本编译 nodeos 会默认安装 mongodb,但是从 Dawn 4.0 开始, mongo_db_plugin 插件不再生效,详情请参考 #3030。#4304 PR 重新支持 MongoDB,本文讲解如何将链上数据实时同步到 MongoDB。

0x01 部署

部署的思路如下:

  • 编译支持 mongodbplugin 的 nodeos
  • 配置 MongoDB
  • 启动 MongoDB
  • 创建数据库
  • 启动 nodeos,同步主网数据
  • 查看 MongoDB,确认数据

接下来我们逐步讲解。

由于 EOSIO 代码库有 gh#3030-enable-mongodb 分支,所以可以使用 git 自动将支持 mongodbplugin 插件的代码合并,详细命令如下:

$ mkdir -p /data/mongodb && cd /data/mongodb
$ git clone -b release/1.1 https://github.com/EOSIO/eos.git --recursive
$ cd eos
$ git fetch --all --tags --prune
$ git merge --m "merge" --commit origin/gh#3030-enable-mongodb
$ git submodule update --init --recursive
$ ./eosio_build.sh

如果 nodeos 编译成功,MongoDB 自动安装,路径在 $USER/opt/mongodb。执行 /data/mongodb/eos/build/programs/nodeos/nodeos--help|grep mongo,如果有如下的输出,表示 MongoDB 插件编译成功。

Config Options for eosio::mongo_db_plugin:
  -q [ --mongodb-queue-size ] arg (=256)
  --mongodb-wipe                        Required with --replay-blockchain,
                                        --delete-all-blocks to wipe mongo
                                        accidental wipe of mongo db.
  --mongodb-block-start arg (=0)        If specified then only abi data pushed
                                        to mongodb until specified block is
  -m [ --mongodb-uri ] arg              MongoDB URI connection string, see:
                                        https://docs.mongodb.com/master/referen
                                        in URI. Example: mongodb://127.0.0.1:27

接下来我们配置 MongoDB。

$ mkdir -p /data/mongodb/db /data/mongodb/logs
$ touch /data/mongodb/mongodb.conf

mongodb.conf 配置文件内容如下:

systemLog:
  destination: file
  path: /data/mongodb/logs/mongo.log
  logAppend: true
storage:
  dbPath: /data/mongodb/db
  journal:
   enabled: true
net:
  bindIp: 127.0.0.1
  port: 27017

接着启动 MongoDB,并且创建 eos 数据库。

$ /$USER/opt/mongodb/bin/mongod -f /data/mongodb/mongodb.conf --fork
$ /$USER/opt/mongodb/bin/mongo --port 27017
$ use eos

然后配置 EOS 主网 fullnode。

$ mkdir /data/mainnet
$ cd /data/mainnet
$ git clone https://github.com/superoneio/eos-mainnet
$ mkdir -p data logs config
$ cp eos-mainnet/config.ini mainnet/config
$ cp eos-mainnet/genesis.json mainnet
$ cp eos-mainnet/*.sh mainnet
$ chmod +x mainnet

修改 config.ini 相关配置,添加如下参数:

plugin = eosio::mongo_db_plugin
mongodb-uri = mongodb://127.0.0.1:27017/eos

最后执行 start.sh,同步主网数据。

0x02 测试


我们执行 $/$USER/opt/mongodb/bin/mongo--port27017 登录到 MongoDB,可以对同步的数据进行校验。

> use eos
> show dbs
admin   0.000GB
config  0.000GB
eos     0.031GB
local   0.000GB
> use eos
switched to db eos
> show tables;
accounts
actions
block_states
blocks
transaction_traces
transactions
> db.accounts.find({name:{$eq:'eosio.ram'}})
{ "_id" : ObjectId("5b4163f2992ecd51b4277f77"), "name" : "eosio.ram", "createdAt" : ISODate("2018-07-08T01:08:02.071Z") }

0x03 小结


之前介绍了将 EOS 主网数据同步到 MySQL,本文讲解了另一种同步到文档型数据库的方法。MySQL 和 MongoDB 最大的区别在于,MySQL 是传统的关系型数据库,支持 SQL 标准,而 MongoDB 是文档型数据库。MySQL 天生适用于结构化数据以及需要使用事务的场景,天生支持 SQL 标准,对开发者比较友好。

MongoDB 适合如下场景:[1]

  • 表结构不明确且数据不断变大,MongoDB 是非结构化文档数据库,扩展字段很容易且不会影响原有数据
  • 更高的写入负载,MongoDB 侧重高数据写入的性能,而非事务安全
  • 数据量很大或者将来会变得很大,MongoDB 内建了 Sharding、数据分片的特性,容易水平扩展
  • 高可用性,MongoDB 自带高可用,自动主从切换(副本集)

而 MongoDB 不支持事务、不支持 JOIN,所以涉及事务和复杂查询的场景不适合 MySQL。

关于 MongoDB 和 MySQL 的对比,可以点击 此处 查看。

0x04 参考


  • [1] 张家江 (2017-09-07). SOCI Installation. Retrieved from [http://tech.lede.com).

本文分享自微信公众号 - 区块链技术指北(BlockchainAge)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • EOS 区块链数据实时异构到 MySQL

    早在 6 月 7 日,kesar 在 EOSIO 提交了一个编号为 #3882 的 PR,但直至目前仍处于未合并状态。团队做一些开发需要取 EOS 链上数据,但...

    robinwen
  • 2018-07-07 EOS 区块链数据实时异构到 MySQLEOS 区块链数据实时异构到 MySQL

    Posted in Blockchain and tagged Blockchain , EOS on Jul 6, 2018. Viewd 124 times...

    Albert陈凯
  • 区块链 + 大数据:EOS存储

    默克尔树的演化路线是 Hash => Hash Tree => Merkle Tree ,他们都是为解决数据一致性而存在的,具体的含义如下:

    文彬
  • 【刘文彬】区块链 + 大数据:EOS存储

    原文链接:醒者呆的博客园,https://www.cnblogs.com/Evsward/p/storage.html

    圆方圆学院
  • EOS1.1版本新特性介绍

    我们知道目前eos的本地存储结构是简单的文件存储,对于备份和数据查询等管理角度,略显尴尬。新版本推出了MongoDB插件eosio::mongo_db_plug...

    文彬
  • 区块链3.0:拥抱EOS

    EOS是当下最火的区块链技术,被社会广泛看好为下一代区块链3.0。不同于以太坊的学习,EOS的主语言是C++,本文作为EOS研究的首篇文章,重点介绍EOS的创...

    文彬
  • EOS与ETH体系结构比较

    rectinajh
  • 【刘文彬】区块链3.0:拥抱EOS

    原文链接:醒者呆的博客园,https://www.cnblogs.com/Evsward/p/eos-intro.html

    圆方圆学院
  • 【刘文彬】 Debug EOS:nodeos + mongo_db_plugin

    原文链接:醒者呆的博客园,https://www.cnblogs.com/Evsward/p/storage.html

    圆方圆学院
  • 主流比特币客户端的开发选型对比

    bitcoin客户端是接入比特币网络的必备软件,也是开发者构建基于比特币区块链的去中心化应用的基础平台。本文将介绍主流的五种bitcoin客户端软件,开发者可以...

    用户1408045
  • 在云服务器搭建eos测试环境遇到的坑

    rectinajh
  • eos源码赏析(二十四):主网数据同步及落库MongoDB

    对于eos源码有一定了解的同学应该知道,整个eos架构是插件化的,这样更好的降低了整个软件系统的耦合性,也使得各个插件之间交互的顺畅。我们在前面的文章中多次提到...

    用户2569546
  • Debug EOS:nodeos + mongo_db_plugin

    nodeos开始运行前,要先使用项目的总CmakeList.txt配置,这里我配置了boost库的位置,如果你配置了boost的环境变量可以跳过这里。

    文彬
  • eos源码赏析(二):eos代码主分支架构

    在上篇文章中我们完成了在Ubuntu操作系统编译eos的代码,我们会发现在原有的路径下会多出一个名为build的文件夹,那么这个文件夹里面有什么内容呢?这...

    用户2569546
  • 构建一个应用程序来展示区块链是如何工作的

    让我们通过构建一个应用程序来展示区块链是如何工作的。根据维基百科的描述,区块链是:一种分布式数据库,用于维护不断增长的记录列表,称为块。这听起来似乎不错,但它到...

    笔阁
  • Python查询比特币实时价格

    在本文中我们将学习如何使用使用coinmarketcap提供的比特币行情API,编写Python程序来获取像比特币、莱特币或以太币之类的区块链数字货币的实时行情...

    用户1408045
  • 数字货币交易行为的可视化分析

    理解中心化数字货币交易平台上的交易行为需要对它的几种钱包地址进行分析,本文采用可视化的方法来展示不同类型钱包地址之前的交易模式。

    用户1408045
  • EOS智能合约开发和测试框架EOSFactory

    自2017年秋季以来,Tokenika一直致力于创建基于Python的EOS智能合约开发平台,以便轻松创建,测试和部署智能合约。随着EOS的不断发展,我们已经习...

    笔阁
  • 一个EOS区块链RPC API接口的PHP SDK包

    作为我们Block Producer对社区利益的承诺的一部分,我们希望专注于构建有助于提高EOS平台采用率的工具/应用程序。与大多数大型应用程序一样,当你只有少...

    笔阁

扫码关注云+社区

领取腾讯云代金券