多模型机器学习功能数据库EuclidesDB全新发布

编译:chux

出品:ATYUN订阅号

EuclidesDB,一个多模型机器学习功能数据库,发布了0.1版本。EuclidesDB 0.1与PyTorch紧密耦合,为模型特征空间中包含和查询数据提供后端。

EuclidesDB提供了一个简单的独立服务器,它使用一个简单的API,使用高效的序列化和协议来存储,构建索引和提供请求。它提供了API,用于将新数据包含到数据库中并在以后可供查询。由于它使用gRPC(gRPC远程过程调用)进行通信,因此可以使用多种语言来使用API。

如前所述,它与PyTorch紧密集成,其中libtorch用作运行跟踪模型的后端。因此它提供了一个非常简单的管道,可以将新模型集成到Euclides DB C ++后端。

EuclidesDB基于两个主要概念:

  • Module/Model是可互换使用的术语,用于表示每个计算。
  • Model Space表示由模型生成的特征空间。

当用户将新图像或其他类型的数据添加到数据库中时,他们需要指定应该使用哪个模型来索引此数据。然后将此数据转发到指定的模型中,并将其功能保存到本地键值数据库中。

类似地,当用户在模型空间上查询类似项时,他们需要使用新图像发出请求并指定他们想要在哪些模型空间中查找类似项。然后返回每个模型空间的类似项目及其相关项。

EuclidesDB v0.1的特点:

  • 使用gRPC作为协议通信,使用protobuf作为与客户端API通信的序列化机制。
  • 使用LevelDB进行数据库序列化。
  • 使用LSH(局部敏感哈希算法)实现近邻。
  • 通过libtorch实现PyTorch集成。
  • 为新的自定义调优模型提供简单的集成。

EuclidesDB目前还处于初始版本,未来版本将引入许多新功能。在强大的API设计稳定之前,客户端API也有望在即将发布的版本中进行更改。

获取:github.com/perone/euclidesdb/

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-11-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏BeJavaGod

地图组件上的自定义区域叠加层显示 ArcGis + GeoJson

最近参与了一个IOT环境项目,需要对某个城市的某几个区域做环境监控与治理,其中就用到了地图叠加层的功能,粗看很复杂,其实很简单,先来看一下效果,然后再来讲一下如...

24920

Ray:AI的分布式系统

随着机器学习算法和技术的进步,越来越多的机器学习应用程序需要多台机器,而且必须利用并行性。但是,在集群上进行机器学习的基础设施仍然是专门设置的。尽管针对特定用例...

533100
来自专栏AI科技评论

开发 | GitHub项目推荐 : 用于对机器学习模型进行对抗性攻击、防御和基准测试的Python库

此资料库包含CleverHans的源代码,CleverHans是一个Python库,用于将机器学习系统中的漏洞与对抗性示例进行对比。 您可以在随附的博客上了解有...

13520
来自专栏性能与架构

LVS负载均衡的调度算法

LVS是如何决定把用户请求转给哪台服务器的?LVS有很多种调度算法,下面介绍几个最常用的算法 (1)轮询 这是最简单的调度算法,调度器将收到的请求循环分配到服务...

382100
来自专栏程序员同行者

python3模块: uuid

19020
来自专栏AI研习社

Github 项目推荐 | 用于多元时间序列的 Python 模块 —— Seglearn

Seglearn 是一个通过滑动窗口分割的机器学习多元时间序列的 Python 模块。它为特征提取、特征处理和最终估计提供一个集成的 Pipeline。

18220
来自专栏ATYUN订阅号

小白也可以操作的手机TensorFlow教程:Android版和iOS版

TensorFlow通常用于训练海量数据,但新兴的智能手机市场也不可忽略。那些不能等待未来和love Machine Learning的人正在通过制造工具来突破...

41560
来自专栏磨磨谈

利用火焰图分析ceph pg分布

性能优化大神Brendan Gregg发明了火焰图来定位性能问题,通过图表就可以发现问题出在哪里,通过svg矢量图来查看性能卡在哪个点,哪个操作占用的资源最多 ...

13120
来自专栏自然语言处理

深度学习环境搭建

本文作者的专题《目标检测》链接:https://www.jianshu.com/c/fd1d6f784c1f 此专题的宗旨是让基础较为薄弱的新手能够顺利实现目标...

52510
来自专栏東雲研究所

启用 TCP BBR 拥塞控制算法

自从 Linux 内核 4.9 开始已经封装了这个新的 TCP 控制算法 BBR。

1K90

扫码关注云+社区

领取腾讯云代金券