mv moonbox-env.sh.example moonbox-env.sh chmod u+x moonbox-env.sh vim moonbox-env.sh 将会看到如下内容:...MOONBOX_MASTER_HOST=localhost export MOONBOX_MASTER_PORT=2551 请根据实际情况修改 step 3: 修改moonbox-defaults.conf... mv moonbox-defaults.conf.example moonbox-defaults.conf vim moonbox-defaults.conf 将会看到以下内容,其中: catalog.../host:3306/moonbox?...进程 jps -m | grep Spark 使用moonbox-cluster命令查看集群信息 bin/moonbox-cluster workers bin/moonbox-cluster
-beta Documentation：https://edp963.github.io/moonbox/ Moonbox定位 在了解Moonbox新版本之前，我们先来回忆一下Moonbox的定位。...Moonbox功能 数据虚拟化思想是Moonbox很重要的一个设计原则，在此基础上，Moonbox实现了多种功能。...列权限控制 Moonbox定义了DCL语句来实现数据列级别权限控制。Moonbox管理员通过DCL语句将数据表或者数据列授权给用户，Moonbox会将用户和表以及列的权限关系保存到catalog中。...Moonbox典型场景案例 最后，为了让大家更加了解Moonbox，我们来介绍几个典型的Moonbox应用场景案例。...基于Davinci、Moonbox即席查询可视化 将Moonbox的JDBC驱动放入Davinci lib中，即可像使用其他数据库一样对Moonbox进行查询，并将结果进行图形化展示。
本文带您初步走进Moonbox~ 开源地址：https://github.com/edp963/moonbox 一、Moonbox设计理念 大数据技术在企业中的应用日益广泛，为解决各种不同的场景问题，越来越多的数据系统出现...如果查询统一从Moonbox接口进入，那么Moonbox就为各种数据源加上了一把安全锁，用户无需再学习各种数据源特有的安全机制。...二、Moonbox体系架构 Moonbox体系架构图如下： [1530512149720093492.png] Moonbox总体上由四部分组成，分别是Moonbox客户端、Moonbox接入层、Moonbox...三、Moonbox功能特点 1、用户体系 Moonbox建立了一套完整的用户体系，引入了Organization的概念，用于划分用户空间。...Moonbox定义了DCL语句来实现数据列级别权限控制。Moonbox管理员通过DCL语句将数据表或者数据列授权给用户，Moonbox会将用户和表以及列的权限关系保存到catalog中。
虚拟化：moonbox ? Moonbox是一个DaaS平台解决方案，面向群体为数据仓库工程师、数据分析师、数据科学家等，提供数据虚拟化解决方案。...用户只需要通过统一SQL服务调用和Moonbox交互，即可透明屏蔽异构数据系统异构交互方式，轻松实现跨异构数据系统透明混算。 ?...上图为moonbox的模块架构，可以看到它是分布式高可用的，并基于spark获得了计算能力。...数据分层架构均建立在moonbox里，所有数据访问都要通过moonbox接入，因此moonbox会自动维护所有元数据信息和所有查询SQL逻辑，可以基于此建立元数据管理、血缘分析、数据质量等系统。...用户还可以使用moonbox方便的将感兴趣的数据导入私人分析沙箱，以确保和其他互不影响。 以上为全部分享内容，谢谢大家！
Moonbox:月光宝盒 Moonbox（月光宝盒）是[JVM-Sandbox]生态下的，基于[jvm-sandbox-repeater]重新开发的一款流量回放平台产品。...我想做一个业务监控系统，对线上核心接口采样之后做一些业务校验，实时监控业务正确性 Moonbox（月光宝盒）是一个无侵入的线上流量录制 和流量回放平台，沿用了jvm-sandbox-repeater的SPI...通过Moonbox可以实现自动化测试、线上问题追踪、和业务监控等能力 名词解释 录制：把一次请求的入参、出参、下游RPC、DB、缓存等序列化并存储的过程 回放：把录制数据还原，重新发起一次或...预计会陆续会对外开源，包括 丰富更多的插件 mysql的数据存储 基于c++的流量录制回放 docker化平台部署 用例、场景管理能力 定时录制、回放能力 地址:https://gitee.com/vivo/MoonBox
Moonbox可以对异构系统进行即席混算，这个能力赋予Moonbox“瑞士军刀”般的便利性。...可以通过Moonbox编写定时SQL脚本逻辑，对关注的异构系统数据进行比对，或对关注的数据表字段进行统计等，可以基于Moonbox的能力二次开发数据质量检测系统。...Moonbox掌管了数据查询的统一入口，并且所有逻辑均为SQL，这些SQL可以通过Moonbox日志进行归集。...另外，由于Moonbox成为了面向应用层数据访问的统一入口，因此基于Moonbox的操作审计日志可以获得很多安全层面的信息，可以围绕操作审计日志建立数据安全预警机制，进而建设企业级数据安全系统。...Moonbox转Wormhole能力的引入，比流算模式进一步增加了考虑的变量因素，如多Sink的选择、Moonbox计算的频率设定、如何拆分Wormhole和Moonbox的计算分工等方面问题。
2.4 虚拟混算服务平台Moonbox ? Moonbox面向数据仓库工程师/数据分析师/数据科学家等，致力于提供数据虚拟化解决方案。...用户只需通过统一SQL服务调用和Moonbox交互，即可透明屏蔽异构数据系统异构交互方式，轻松实现跨异构数据系统透明混算。 2.5 数据化可视应用平台Davinci ?...宜信中台整体底层采用wormhole+dbus+moonbox作为数据采集，加工，处理的底层引擎，通过服务的形式形成底层接口层提供数据实时处理的基础能力，在通过对接口层的整合，形成数据加工处理的子服务，
2.4 虚拟混算服务平台Moonbox [1591864430631010082.png] Moonbox面向数据仓库工程师/数据分析师/数据科学家等，致力于提供数据虚拟化解决方案。...用户只需通过统一SQL服务调用和Moonbox交互，即可透明屏蔽异构数据系统异构交互方式，轻松实现跨异构数据系统透明混算。...三、数据中台模块架构 3.1 数据中台模块架构 [1591864471603077088.png] 宜信中台整体底层采用wormhole+dbus+moonbox作为数据采集，加工，处理的底层引擎，通过服务的形式形成底层接口层提供数据实时处理的基础能力
org.apache.phoenix.jdbc.PhoenixDriver mongodb mongodb.jdbc.MongoDriver elasticSearch – presto com.facebook.presto.jdbc.PrestoDriver moonbox...moonbox.jdbc.MbDriver cassandra com.github.adejanovski.cassandra.jdbc.CassandraDriver clickhouse ru.yandex.clickhouse.ClickHouseDriver
接下来我们先后自研了四个中间件平台：DBus、Wormhole、Moonbox、Davinci。...当然，上图灰色的切面课题也是应该关注和支持的，因为我们当时的策略是做四个中间件工具DBus、Wormhole、Moonbox、Davinci，因此没有太关注这些切面课题 。...Moonbox，异构系统混算服务，假设数据因为各种原因存放在各个不同的地方，但又希望能够混算这些数据，你可以当Moonbox是一个“虚拟数据库”来使用。...比如A表在Oracle里，B表在MongoDB里，C表在ES里，一个完整的SQL发给Moonbox，会自动将结果混算出来并返回结果数据；同时，Moonbox还能有效利用各个存储的计算优势，将更多算子下推计算...如果可以把公司所有的元数据归集起来，形成一个企业级元数据全景图谱的话，我们就具备了数据知识；因为我们有Moonbox，我们就具备了各种数据操作能力；基于数据知识能力和数据操作能力，就可以根据数据治理的经验
mongodb | mongodb.jdbc.MongoDriver | | elasticSearch – presto | com.facebook.presto.jdbc.PrestoDriver | | moonbox...| moonbox.jdbc.MbDriver | | cassandra | com.github.adejanovski.cassandra.jdbc.CassandraDriver | | clickhouse
5 实例处理总体流程 另外我们结合公司的敏捷实时数据平台设计了一个相应的实时AI解决方案，如图6所示，这里用到了我们团队开源的一些技术，包括DBus（数据总线平台），Wormhole（流式处理平台），Moonbox...ASR等）得到相应的文本；再通过Wormhole来进行实时的流式处理，标签模型在Wormhole的实时数据流上运行，对数据流中的文本自动提取相应的标签，再由Wormhole输出到指定的数据存储中；之后由Moonbox
地址：https://github.com/pfalstad/circuitjs1 17、MoonBox：无侵入的线上流量录制/回放平台。...地址：https://github.com/vivo/MoonBox 18、oshi：获取操作系统和硬件信息的 Java 库。
另外wormhole支持流上处理，很适合接入产品画像模型和用户兴趣模型对产品与用户的特征进行实时刻画，这些特征经过存储后由moonbox根据需要进行抽取，输入推荐模型得到需要的推荐列表，最终返回给交互端
具体参看org.apache.spark.sql.catalyst.sqlgenerator.LogicalPlanSQL，该代码主要修改自Moonbox项目，对此表示感谢。
其中wormhole和moonbox分别是我们开源的流式处理平台和计算服务平台，后面会具体介绍。
例如：通过无缝嵌入python语言开发环境，Moonbox可以提供虚拟查询数据、混算数据等能力。也提供数据标注能力，包括结构化数据，以及文字、图像等非结构化数据的在线标注。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
