【戴嘉乐 IPFS】(进阶)基于IPFS和Ngrok构建自维护资源网关

作者简介:戴嘉乐( Mr.Maple ) | 前百度高级研发工程师 | IPFS应用实践者&布道师| 个人网站:https://www.daijiale.cn

联系方式:微信号:daijiale6239。

一、背景

上篇文章《(入门)基于IPFS和Ngrok构建自维护资源网关》,我们通过Ngrok为IPFS节点配置HTTP Tunnels,充分利用了其NAT穿越的特性,成功搭建了属于自己的资源网关,为他人提供IPFS节点服务。但是这仅仅是一个雏形,缺陷还很多,这篇文章来讲解对资源网关的种种优化和配置。

二、意义

之前一些朋友问到了这件事的意义,这边简单梳理了一下,我认为对于 IPFS这块的开发者 ,需要 部署私有集群的DevOps ,以及未来想 组建Filecoin矿场的矿工 ,这件事情都相对比较必要,具体如下:

2.1 IPFS资源网关的意义:

1. 目前主流浏览器还未全面支持 ipfs:// 协议,需要安装专门的客户端/插件
2. 没有安装IPFS Desktop,也可以通过HTTP方式与IPFS网络产生交互来获取IPFS 网络的内部资源。

2.2 自维护的意义:

2.2.1 ipfs.io 默认网关存在DNS污染现象:

ipfs.io IP解析所在的物理位置位于美国 ThePlanet机房:

在国内,对ipfs.io的ping请求被解析为31.13.72.34 IP,

此IP所在物理地址为:爱尔兰Fackbook分公司,

ipfs.io存在DNS污染现象。

2.2.2 默认的Bootstrap都是指向官方提供的节点:DigitalOcean 云计算中心

如果需要构造自己的IPFS私有网络,需要为本地的私有节点添加反向代理。

2.2.3 增强网关访问安全性,将资源服务与代理服务用防火墙隔开

2.2.4. 官方提供的 Public Gateway 稳定性感人

两个月前的:

最近看了一下:

三、优化与进阶

3.1 个性公网域名+IPNS挂载

上传Hash为 QmdzsNmvKiKQve8z15gamNo5s31g9bTWhzBg9SKG1YKTow 的IPFS资源,并挂载到本地NodeID为QmeUGXG4K4hbNPbKDUycmNsWrU3nDN69LLgHkWU2yUN6FZ的IPNS上,如下图所示:

开放网关,进行效果对比测试:

监控NAT请求效果:

一次个性公网域名(需要在Ngrok付费申请)+ IPNS挂载就完成了。

多节点 IPNS 更换的方案

这边也介绍下多节点 IPNS 更换的方案,方便一些朋友更新网关资源的同时也可以保证对外的IPNS一致性:

  • 1.节点A创建新公钥:ipfs key gen --type = rsa --size=2048 mykey
  • 2.记录生成在.ipfs/keystore中的公钥mykey
  • 3.发布IPFS资源A,得到hashA,挂载A节点,生成IPNS HashA:ipfs name publish --key=mykey hashA
  • 4.将节点A创建的公钥mykey 复制到节点 B 的keystore目录
  • 5.在节点B,发布IPFS资源B,获得hashB,挂载B节点,得到IPNS HashB,这个值和IPNS HashA一致:ipfs name publish --key=mykey hashB

3.2 网关资源优化 (缓存/带宽优化等)

3.2.1 针对同IPFS网络资源请求方:

设计了一种缓存自启动方案,解决存储和请求过程中的资源复用消耗:

3.2.2 针对外部HTTP网络资源请求方:

设计了一种防作弊,解决过多带宽资源消耗的方案:

这块一定注意区分两个场景概念:

  • 同IPFS网络请求场景 是指两个节点共同运行,暴露公共网关的同时,通过HTTP进行对等连接访问。
  • 外部HTTP网络请求场景 是通过NAT的形式将本地IPFS节点存储的资源暴露在公网下,供各个应用方、设备方进行HTTP访问,这里的IPFS节点角色相当于一个中心存储服务了,不具备P2P特性。

优化方案按照不同场景有不同策略,之前很多朋友搞不清楚(确实,也容易混淆)。

3.3 自动化控制资源的分享权限

有时候针对我们自己构建的私有IPFS网络,需要将资源外放,但是 外放需要策略来进行自动化控制(集成在业务环境里)。

3.3.1 举个很简单的场景实例

我编写的业务应用需要 接收到特定以太坊智能合约的转账回调函数 ,来 自动开启对应智能合约中IPFS资源外放的开关

(eg:只有当买家遵守以太坊的智能合约支付了一定数量的ETH或者其他ERC2.0代币后,才能解锁获取到我存储在IPFS网路中的自拍照)

但这个IPFS网络往往很多时候是我自己部署的私有集群(不会搭建私有网络的朋友可以参考董哥的:IPFS指南: 私有网络(private network)的搭建与使用,默认对外是不提供公共的寻址网关的,我该如何控制?

3.3.2 资源分享权限实现

这边我们可以充分利用Ngrok的Client Restful API来对NAT进行自动化收放,从而实现整个业务场景下的程序化控制:

3.3.3 Ngrok的Client Restful API Postman测试

四、IPFS资源网关应用面

  • 配合 微服务架构的后端系统 提供服务
  • 将IPFS私有网络中的 资源灵活外放
  • 制作自己的付费资源池(类似OSS存储)
  • 为前后端联调提供API调试工具,Mock数据(需要配置专门的前端浏览器插件,例如:FE助手)

当然这块还有很多的实践价值和我未曾想到的场景,欢迎对这块有兴趣继续研究的朋友一起交流,联系方式在文尾。

五、参考文献


相关文章和视频推荐

【戴嘉乐】(入门)基于IPFS和Ngrok构建自维护资源网关

圆方圆学院汇集大批区块链名师,打造精品的区块链技术课程。 在各大平台都长期有优质免费公开课,欢迎报名收看。

公开课地址:https://ke.qq.com/course/345101?flowToken=1007371

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏FreeBuf

Python渗透工具的架构探讨

本文原创作者:VillanCh,本文属FreeBuf原创奖励计划,未经许可禁止转载 在最近忙活的一些事情中,体会到:如果你写的不是一个脚本,那么作为一个有命令行...

2245
来自专栏CSDN技术头条

GCC 7.1发布 支持当前所有的C ++ 17标准

GCC(GNU Compiler Collection,GNU编译器套件),是由GNU开发的编程语言编译器,目前发布了7.1版本。以下是GCC开发团队发布的版本...

2017
来自专栏轮子工厂

Wox一款国产开源的快捷启动器辅助工具神器

如果你也不喜欢电脑桌面上满是程序的快捷方式,如果你也喜欢博主这样干干净净的桌面,甚至喜欢高效的键盘操作,那么你需要一款好用的快速启动器软件。

961
来自专栏竹清助手

深入理解什么是RESTful API ?

越来越多的人开始意识到,网站即软件,而且是一种新型的软件。   这种"互联网软件"采用客户端/服务器模式,建立在分布式体系上,通过互联网通信,具有高延时(hig...

1052
来自专栏技术换美食换不换

建站之路

1052
来自专栏小狼的世界

Ajax与REST

REST(Representational State Transfer)是一种开发思想,互联网不断发展,富媒体越来越多的应用,不断地冲击着我们的应用,使应用的...

1052
来自专栏北京马哥教育

【重磅】基于 Python3 的开源堡垒机 Jumpserver v1.0正式发布

Jumpserver是一款开源堡垒机产品(GPLv2 License),使用 Python3 和 Django1.11 开发。自2014年诞生以来,经历了从 v...

4107
来自专栏技术小黑屋

优秀的英文技术博客

技术是没有国界的,想要学习先进的技术就不能仅仅局限于中文博客。本着独乐乐不如众的原则,这里分享几个本人一直订阅的英文博客。主要涉及的技术为Java或Androi...

2341
来自专栏北京马哥教育

超实用:小团队如何从零搭建一个自动化运维体系?

如下图,现在行业内各巨头自动化运维架构的最终样子大家都知道了,但是如何根据自己团队当前的情况一步步向这个目标演进?

1480
来自专栏高性能服务器开发

(八)高性能服务器架构设计总结4——以flamigo服务器代码为例

二、架构篇 一个项目的服务器端往往由很多服务组成,就算单个服务在性能上做到极致,支持的并发数量也是有限的,举个简单的例子,假如一个聊天服务器,每个用户的信息是1...

5104

扫码关注云+社区

领取腾讯云代金券