专栏首页区块链技术指北EOS 区块链数据实时异构到 MySQL

EOS 区块链数据实时异构到 MySQL

文/温国兵

0x00 背景


早在 6 月 7 日,kesar 在 EOSIO 提交了一个编号为 #3882 的 PR,但直至目前仍处于未合并状态。团队做一些开发需要取 EOS 链上数据,但无法直接从 EOS 区块链中获取。#3882 提供 EOS 链上数据导入 MySQL,可以很方便的读取历史数据。但问题来了,该 PR 未合并,EOSIO 也没有一个 sql_db_plugin 相关的 branch 或 tag,所以无法使用 git 自动合并。

0x01 解决


SuperONE 团队将 #3882 提交的内容打包,提交了个一个 repo,链接如下:

https://github.com/superoneio/eos_sql_db_plugin

接下来本文将讲解如何将 EOS 链上数据异构到 MySQL。

0x02 部署


部署的思路如下:

  • 安装 MySQL 以及 client 库
  • 安装 soci
  • 修改 eos CMakeLists.txt
  • 编译支持 sql_db_plugin 的 nodeos
  • 创建数据库,分配用户名
  • 导入 eos 表结构
  • 启动 nodeos,同步主网数据
  • 查看 MySQL,确认数据

接下来我们逐步讲解。

如果使用 Ubuntu,安装 MySQL 可以快速使用 apt-get 安装,笔者建议使用源码编译。

如果使用源码编译,mysql-client 相关库已经存在。如果使用 apt-get 或者 yum 安装 mysql-sever,需要执行如下命令安装 mysql-client,命令如下:

$ apt-get -y install mysql-client

接下来我们安装 soci。soci 是 C++ 连接 MySQL 的 Library。Ubuntu 可以快速安装,命令如下:

$ apt-get -y install libsoci-dev

当然,我们还可以源码编译,步骤如下:[1]

$ git clone clone https://github.com/SOCI/soci.git $ cd soci && mkdir build && cd build $ cmake -DWITH_BOOST=ON -WITH_MYSQL=ON -MYSQL_INCLUDE_DIR=/usr/local/mysql/include -MYSQL_LIBRARIES=/usr/local/mysql/lib/libmysqlclient.a /data/tmp/robin/soci $ make $ make install

当然 -MYSQL_INCLUDE_DIR-MYSQL_LIBRARIES 根据实际路径更改。[2]

接下来我们需要 clone eos 代码,命令如下:

$ cd /data $ git clone https://github.com/EOSIO/eos --recursive $ cd /data/eos # 如果不想用 master 分支代码,可以使用 git checkout v1.0.8 使用其他分支 $ git submodule update –init –recursive

然后更改 CMakeLists.txt,总共有两个 CMakeLists.txt 需要更改。

  • eos/plugins/CMakeLists.txt
  • eos/programs/nodeos/CMakeLists.txt

在 eos/plugins/CMakeLists.txt 添加如下行:

add_subdirectory(sql_db_plugin)

在 eos/programs/nodeos/CMakeLists.txt 添加如下内容:

// 如果以下内容已经取消注释,可以忽略。 if(TARGET sql_db_plugin) target_link_libraries( nodeos PRIVATE -Wl,${whole_archive_flag} sql_db_plugin -Wl,${no_whole_archive_flag} ) endif()

接着将 SuperONE 团队合并的 sql_db_plugin 合并到 EOS 代码中。

$ cd /data $ git clone https://github.com/superoneio/eos_sql_db_plugin \cp -rv /data/eos_sql_db_plugin/sql_db_plugin/* /data/eos/plugins/sql_db_plugin

接下来编译支持 sql_db_plugin 的 nodeos。

$ cd /data/eos $ ./eosio_build.sh

待 nodeos 编译完成之后,我们执行如下命令确认是否编译成功。

$ /data/eos/build/programs/nodeos/nodeos --help | grep "sql_db-uri"

如果输出如下内容,证明编译成功。

--sql_db-uri arg Sql DB URI connection string If not

接下来在 MySQL 里创建数据库以及分配账号,SQL 如下:

CREATE DATABASE eos DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; GRANT ALL PRIVILEGES ON eos.* TO app_eos@'%' IDENTIFIED BY 'YOURPASS'; GRANT ALL PRIVILEGES ON eos.* TO app_eos@'127.0.0.1' IDENTIFIED BY 'YOURPASS';

然后我们导入 EOS 数据库表结构,如不想手动导入,可以在启动 nodeos 的时候添加 sql_db-block-start=0 参数,该参数为 0 时会在数据库中创建表。表结构可以在点击 此处 下载。

接着我们启动 nodeos,主网 fullnode 相关的配置文件可以访问如下链接下载:

https://github.com/superoneio/eos-mainnet

启动 fullnode 相关命令如下:

$ mkdir /data/mainnet $ cd /data/mainnet $ git clone https://github.com/superoneio/eos-mainnet $ mkdir -p data logs config $ cp eos-mainnet/config.ini mainnet/config $ cp eos-mainnet/genesis.json mainnet $ cp eos-mainnet/*.sh mainnet $ chmod +x mainnet

修改 config.ini 相关配置以及 start.sh 脚本,sql_db-uri 格式如下:

sql_db-uri="mysql://db=YOURDB user=YOURUSER host=127.0.0.1 password='YOURPASS'

sql_db-uri 参数中的 YOURUSER 表示连接 EOS 区块链数据库的用户名,YOURPASS 表示连接 EOS 区块链数据库的用户密码,YOURDB 表示 EOS 区块链数据库名字。

需要注意的是 sql_db-uri 暂时不能写入 config.ini 配置文件,否则将会遇到 Failed to find shared library for backend "mysql 错误。另外,笔者的操作系统是 Ubuntu 16.04.4 LTS。

最后执行 start.sh,登录 MySQL 数据库就可以查看到相关数据。

[root@localhost][(none)]> USE eos Database changed [root@localhost][eos]> SHOW TABLES; +------------------+ | Tables_in_eos | +------------------+ | accounts | | accounts_keys | | actions | | actions_accounts | | blocks | | stakes | | tokens | | transactions | | votes | +------------------+ 9 rows in set (0.02 sec) [root@localhost][eos]> SELECT * FROM tokens LIMIT 1 \G *************************** 1. row *************************** account: eosio symbol: EOS amount: 995314228.4771 1 row in set (0.00 sec)

0x03 小结


目前 #3882 暂未合并,具体原因未从得知。EOS 链上数据和传统的关系型数据库结合,将会大大降低开发者成本。待 #3882 merge 之后,读者将会更便利的使用到这个功能。

0x04 参考


  • [1] SOCI (2018-07-06). SOCI Installation. Retrieved from http://soci.sourceforge.net/doc/master/installation.
  • [2] 太上绝情 (2016-07-14). soci-mysq 编译. Retrieved from https://blog.csdn.net/bjrxyz/article/details/51912676.

本文分享自微信公众号 - 区块链技术指北(BlockchainAge)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-07-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 2018-07-07 EOS 区块链数据实时异构到 MySQLEOS 区块链数据实时异构到 MySQL

    Posted in Blockchain and tagged Blockchain , EOS on Jul 6, 2018. Viewd 124 times...

    Albert陈凯
  • EOS 区块链数据实时异构到 MongoDB

    执行 eosio_build.sh 脚本编译 nodeos 会默认安装 mongodb,但是从 Dawn 4.0 开始, mongo_db_plugin 插件不...

    robinwen
  • 构建 EOS 区块链浏览器 API

    在上一篇 文章 中笔者讲解了如何将 EOS 链上数据实时异构到 MySQL 数据库。数据既然有了,就要有用武之地。传统互联网获取数据的方式,最底层是数据层,然后...

    robinwen
  • 构建 EOS 区块链浏览器

    前面的文章讲解了如何让 nodeos 支持将链上数据实时异构到 MySQL 以及如何部署开源的区块链浏览器 API,但问题来了,没有前端展示,对于用户而言不够直...

    robinwen
  • EOS与ETH体系结构比较

    rectinajh
  • 都说百万TPS:EOS、迅雷链、以太坊,谁才是区块链3.0的领航者?

    2018年6月,区块链行业被EOS(柚子)搅动。自EOS背后的技术公司Block One宣布6月2日启动主网到6月15日通过主网,全球区块链的焦点集中此时。而E...

    互链脉搏
  • EOS技术及生态系统介绍

    你好我是森林
  • 斯坦福教授比特币讲座引学生不满;Facebook即将发行稳定币 | 1分钟链圈

    1. Ethhub创始人:JPM Coin将会是一个发行在Quorum上的稳定币,并兼容其它的区块链

    区块链大本营
  • 1分钟链圈 | FCoin要凉凉?EOS主网TPS创新高,达到3996次/秒!

    这里是 8 月 28 日的每日1句话新闻晚报,只需1分钟,看看全球最热、最新的区块链新闻。

    区块链大本营
  • 【刘文彬】区块链3.0:拥抱EOS

    原文链接:醒者呆的博客园,https://www.cnblogs.com/Evsward/p/eos-intro.html

    圆方圆学院
  • 区块链3.0:拥抱EOS

    EOS是当下最火的区块链技术,被社会广泛看好为下一代区块链3.0。不同于以太坊的学习,EOS的主语言是C++,本文作为EOS研究的首篇文章,重点介绍EOS的创...

    文彬
  • 比特王者|谁是压死EOS这只骆驼的最后一刻稻草?

     比特币生态包括 BTC 以及其数量众多的分叉币,BTC 是加密数字货币的开山鼻祖,拥有最为广泛的共识。堪称1.0时代。

    比特王者
  • 【Sphinx评级】从商业到技术全面评估EOS项目

    Eos 为区块链奇才 bm (daniel larimer)领导开发的类似操作系统的区块链架构平台,旨在实现分布式应用的性能扩展。eos 提供帐户、身份验证、数...

    辉哥
  • 恶意EOS合约存在吞噬用户RAM的安全风险

    EOS,是专门为商用分布式应用而设计的一款高性能区块链操作系统,是一种新的区块链架构,旨在实现分布式应用的高性能扩展。EOS的发布,被誉为区块链3.0时代的到来...

    FB客服
  • 链媒头条I区块链项目的三种模式解说

    最早的区块链项目就是比特币了,随后出现了各种山寨币,基本都是挖矿的,真正的拿着机器烧电进行挖矿。2017年底出现了通证经济,还是各种挖矿,只不过这里的挖矿已经进...

    BMV
  • 快速构建 EOS 主网 Fullnode

    截止目前,EOS 主网区块数量达到 1093 万,区块数据达到数十 G,备份数据也达到了 16G。如果从头开始同步区块数据,需要数天的时间。随着区块不断累加,同...

    robinwen
  • 一文看透EOS投资价值(其他文章都不要看了)

    一直知道EOS极其强大,前景大好,7月初ICO时还连续写了几篇分析文章(可在本公众号历史文章中查看),但当时主要是针对ICO进行分析,属于投机行为。本文从价值投...

    凌帅出口
  • 1分钟链圈 | 吴忌寒:“人工智能+区块链”将是未来不可错过的重要发展方向

    这里是 9 月 11 日的每日1句话新闻晚报,只需1分钟,看看全球最热、最新的区块链新闻。

    区块链大本营
  • 冻结黑客账户!6万EOS被盗的最新仲裁结果出来了

    近期大热的EOS版狼人杀遭遇黑客攻击,60686.4190个EOS被盗,上线不到2天的EOS狼人游戏被迫停服。

    区块链大本营

扫码关注云+社区

领取腾讯云代金券