MLSQL有自己的一套doc系统，可以通过标准的MLSQL语句进行获取，可以参看MLSQL-Doc-Slide。 今天我们来介绍下v1.1.6里的新特性。...在MLSQL v1.1.6 版本里，所有启动参数，还有HTTP API文档都是可以被MLSQL操作和组织的。...比如我想知道MLSQL里关于bigdl相关的配置选项： load mlsqlConf.`` as configs; select * from configs where name like %bigdl...接着我想开发一个web系统对接MLSQL,我需要知道MLSQL都有哪些API,对应的请求参数是什么： load mlsqlAPI.`` as apis; select * from apis where
MLSQL智能补全功能现阶段是作为MLSQL的一个插件的形式提供的。在发布第一个版本后，我们会将其独立出来，作为一个通用的SQL提示引擎来进行后续的发展。...为了方便对该项目指代，我们后续使用 【MLSQL Code Intelligence】 项目地址: mlsql-autosuggest 当前状态 【积极开发中，还未发布稳定版本】 目标 【MLSQL...Code Intelligence】复用了MLSQL/Spark SQL的lexer，重写了parser部分。...使用两个Lexer的原因是因为，MLSQL Lexer主要用来解析整个MLSQL脚本，Spark SQL Lexer主要用来解决标准SQL中的select语句。...快速参与贡献该项目 【MLSQL Code Intelligence】 需要大量函数的定义，方便在用户使用时给予提示。
前言 MLSQL 语法非常简单，只有： set select train/run/predict save load 等几种语法。因为MLSQL为了简单起见，对扩展新语法是非常抵触的。...比如，用户很希望能查看一张表的schema,在MLSQL中需要这么用： run command ShowTableExt....解决方案 我们知道在MLSQL里，ET是扩展性最好的东西，任何功能都可以通过ET来实现。MLSQL内部比如Python支持等也是通过ET实现的。...kill "groupid"; MLSQL 如果发现以! 开始，则认为是一个命令的开始，然后会寻找该命令的定义，然后执行对应的kill内容。以!...MLSQL以!开始作区分命令和其他脚本指令的调用。 结束语 MLSQL 还提供了include语法，从而实现脚本更好的复用。通过新的类似“宏”的支持，可以让脚本获得更好的复用性。
Gitub地址为： https://github.com/allwefantasy/mlsql/issues/1326 初衷 MLSQL社区希望人人都能够参与进来。...MLSQL的官网文档 http://docs.mlsql.tech/zh/ 全部使用markdown完成，具体的内容在主项目的 docs/gitbook/zh 目录里。...贡献插件 (任务难度：高) MLSQL有一个插件项目：https://github.com/allwefantasy/mlsql-plugins 里面已经有不少插件，比如典型的有支持excel的数据源插件...{BaseParams, WowParams} import tech.mlsql.dsl.auth.ETAuth import tech.mlsql.dsl.auth.dsl.mmlib.ETMethod.ETMethod...下面是BigDL的: package tech.mlsql.plugins.bigdl import tech.mlsql.ets.register.ETRegister import tech.mlsql.version.VersionCompatibility
MLSQL is a SQL-Based language and MLSQL Stack is a platform including many systems which provide you...In MLSQL Console, you can access almost any data which MLSQL give you the column-level visiting control...MySQL, ElasticSearch, HBase....) but we can not package all connector jars into MLSQL Engine prebuild...`forfun/echo.mlsql`; !...echo "jack"; We hope when more and more people use MLSQL Stack, and they can share their genius script
官网地址： http://www.mlsql.tech 便捷体验： MLSQL Stack 一键体验 玩一玩: 产品和运营如何利用MLSQL完成excel处理 语法文档：...语法 常见问题参考：MLSQL初学者常见问题QA（持续更新） 发型包下载： 发型包 中英文文档 中文官方文档 英文官方文档 自助编译安装：安装文档
这套DSL经过发展，就是现在的MLSQL了。 开源之路-崭露头角 所以到了17年的时候，MLSQL 做了两个显著的改变： 1. Spark应用变成服务，提供Rest接口执行MLSQL脚本。...并且在文章[为什么去开发一个MLSQL](为什么去开发一个MLSQL) 提出了算法和大数据工程结合难点，以及给出了相应的解决方案，而MLSQL就是这个解决方案的实现者。...加上研发团队已经基于MLSQL开发了完善的周边，让MLSQL也输出到了其他研发团队，公司有商业团队的报表就是基于MLSQL来完成的。 这个时候我在思考，能否让更多人受益？...其次是有一个产品栈，我基本上划分了三个系统： MLSQL Console MLSQL Cluster MLSQL Engine 三个产品统称为MLSQL Stack。...第五个就是要多思考下，产品，运营，商业团队的同学到底需要什么样的功能，下面是我的尝试： [用MLSQL完成简书图片备份](用MLSQL完成简书图片备份) [新番：MLSQL如何帮助分析师更高效](MLSQL
MLSQL Console 介绍 MLSQL 目前已经初步有一套Web Console 供使用。界面相对来说也比较清爽。我们先来看看一个尝鲜版本。 ?...image.png 点击ok之后，系统自动生成MLSQL语句： ? image.png 点击Run即可。 如果我想看当前都有哪些任务在运行，拖拽Show jobs，然后点击Run: ?...image.png 我们还提供了一个Demo页，方便展示MLSQL具备的能力，也让你可以一步一步照着学习： ?...我们提供了云端体验版 访问 http://try.mlsql.tech/ ，然后自己注册，注册完成后，默认是没有后端的，所以只能看看，不能用。
随着MLSQL部署的实例愈发的增多，有给各条业务线部署的MLSQL instances group,也有给算法组，研发组等等部署的单独MLSQL instances group....我们希望所有这些MLSQL 实例能够被： 统一的管理 组内的负载均衡 不同组之间互相借用资源 同组内的MLSQL 实例数动态调整 MLSQL-Cluster 实现了相关功能。架构图如下： ?...负载均衡 MLSQL-Cluster 和MLSQL instances 是完全解耦的，对原有实例不需要做什么调整。...你需要主动将你的MLSQL 实例信息添加到mlsql-cluster中。...MLSQ-Cluster 主要是在MLSQL 实例上做调整。比如A业务后端有两个MLSQL 实例，每个实例有10个worker节点。
基于Ray的Python支持 MLSQL的周边项目 PyJava 也开始日趋完善，让MLSQL对Python的支持上了一个新的台阶。...MLSQL Engine,获得更好的用户体验。...`public.table1` as table1; 微众Linkis也支持MLSQL了 在1.5.0版本，我也给微众的 Linkis 添加了MLSQL的支持。...使用上也很MLSQL，因为配置完全采用MLSQL来完成。...scheduler "bigbox.main.mlsql" with "*/3 * * * * "; -- 依赖调度， bigbox.main.mlsql一旦执行完成后，执行demo.dash2.mlsql
前言 MLSQL Console是1.2.0发布前最重要的一个产品。MLSQL Console提供了除交互界面以外，还有很多其他重要的意义： 提供了一套自助化的用户账号和权限体系。...提供了脚本管理功能 展示了大量如何和MLSQL Cluster / MLSQL Engine 进行交互的方式，用户可以据此开发自己的Console 另外，权限我们目前是到表级别，但是很容易支持到列级别，...作为定位大中台的一个产品，MLSQL提供了一个在包括mysql,hive,hdfs等在内的数据权限控制，属于编译时权限控制（而不是执行到对应的数据库再报错）。...在1.2.0版本，我们也很在在乎如何让用户一键体验整个MLSQL生态。毕竟自己部署 MLSQL Console/Cluster/Engine 三套件还是有一定成本的。...因为在MLSQL Console中，任何用户在使用控制台的时候，必须先自己创建team/role 或者加入到别人的team/role之后才能连接到真正的后端执行操作。
MLSQL v1.1.7 plans to release in Mid Jan 2019, this version will take almost three weeks....More detail please check PR-822 Solr supports Docker release of MLSQL-Cluster Docker release of MLSQL...More detail please check PR-815 Docker introduced to unit test in MLSQL....This makes you can test if MLSQL is working properly with DataSource e.g....The group-id will be changed from streaming.king to tech.mlsql.
其他团队很难接入算法的工作 MLSQL如何解决这些问题呢？...统一交互语言 MLSQL提供了一套SQL的超集的DSL语法MLSQL，数据处理，模型训练，模型预测部署等都是以MLSQL语言交互，该语言简单易懂，无论算法，分析师，甚至运营都能看懂，极大的减少了团队的沟通成本...分布式和单机多种部署形态 MLSQL是基于Spark改造而成，这就直接继承了Spark的多个优点： 你可以在MLSQL里获取基本上大部分存储的支持，比如ES,MySQL,Parquet,ORC,JSON...的标准规范，你就能够轻而易举的将各种框架集成到MLSQL中。...算法可以专注于算法模块的研发，研发可以专注于数据处理模块的开发，所有的人都可以通过MLSQL复用这些模块，完成算法业务的开发。
MLSQL就可以做成这么一件事，为什么呢？因为MLSQL是一门语言，同时也是一个引擎，通过周边配套，就可以做成这么一件事情。 这个概念有点大，大家不一定能理解。...大家可以看这个PPT,了解MLSQL如何进行批，流，算法，爬虫相关的工作。这个文档同时也说明了MLSQL如何解决上面提到的第二个痛点。...那么MLSQL怎么去解决呢？...MLSQL提供了在脚本中写python/scala UDF/UDAF的功能，这就意味着你可以通过代码无需编译和部署就能扩展MLSQL的功能。...MLSQL 官网地址是: http://www.mlsql.tech MLSQL的github地址： https://github.com/allwefantasy/streamingpro
前言 MLSQL Cluster 具备多MLSQL Engine 实例管理功能，实现负载均衡，多业务切分等等功能。...负载均衡 MLSQL Cluster 有一个和MLSQL Engine完全一致的 /run/script 接口，参数也是保持一致的。...如何查看该接口详细参数以及MLSQL Cluster 有什么接口，可以参看 MLSQL初学者常见问题QA（持续更新） 中【哪里有MLSQL三套件的http接口文档】部分内容。...在MLSQL Engine的基础上，多出了两个参数： tags proxyStrategy tags决定访问哪些engine, proxyStrategy 决定如何访问这些Engine. proxyStrategy
前言 权限控制，对于MLSQL而言的重要程度可以说是生命线。...MLSQL如果开启了权限验证，他会先扫描整个脚本，然后提取必要的信息，这些信息就包含了各种数据源的详细信息，从而在运行前就可以知道你是不是访问了未经授权的库表。那么MLSQL是怎么做到的呢？...`db1_ref.spam` ; 因为MLSQL要求任何数据源，都需要使用load语句进行加载，在解析load语句时，MLSQL知道，用户现在要访问的是基于JDBC协议的数据源访问，他通过url拿到了这些信息...那张表是没有对当前用户授权的，如果发现未经授权的表，MLSQL会直接抛出异常。...MLSQL此举意义重大，使得MLSQL系统不再完全依赖于底层系统的权限控制，从而让问题得到了极大的简化。
里动态执行MLSQL字符串，先安装 看例子： 我们把code1字符串文本当做脚本来执行，并且将结果命名为output.该模块赋予了MLSQL强大的流程控制能力。...echo-controller是一个示例App插件，可以修改MLSQL处理MLSQL脚本的逻辑。...Script 复用MLSQL脚本 App 可以改变整个MLSQL引擎服务，或者在其上做开发和定制 DataSource 数据输入输出，比如适配HBase啥的 除了Script插件，其他插件第一次使用时都不需要重启...`hbase1:mlsql_example`; load hbase2x....`hbase1:mlsql_example` where field.type.label="DoubleType" as mlsql_example ; select * from mlsql_example
MLSQL Console MLSQL Console 的账号权限体系设计就是用户自己玩，没有超级管理员。...设计的角色有： User （任何人都可以MLSQL Console去注册） Team （任何人都可以创建任意组Team） Role （在特定Team下用户自己创建角色） Table (表是所有操作的对象...) AuthType (表的权限类型，比如load,select等) Backend (后端MLSQL Engine) Tag (Engine的标签) 其中Tag是自动根据Team,Role创建的，用户不能自己去创建
This is the third article of Your Guide with MLSQL Stack series....We hope this article series shows you how MLSQL stack helps people do AI job....As we have seen in the previous posts that MLSQL stack give you the power to use the built-in Algorithms...Requirements This guide requires MLSQL Stack 1.3.0-SNAPSHOT....You can setup MLSQL stack with following links. We recommend you deploy MLSQL stack in local.
前言 我们很高兴的宣布，MLSQL v1.1.7 历经社区一个多月的高强度开发终于在新年的第一个月发布了。 MLSQL v1.1.7 带来了大量的功能特性和稳定性提升。...下文我们把MLSQL里的Estimator/Transformer 简称为 ET 下载地址： MLSQL-1.1.7 如果只是学习和调研，我们更加推荐Docker容器，比如一分钟用MLSQL体验文本分类...新增MLSQL-Console 在v1.1.6版本，我们增加了MLSQL-Cluster,方便大家管理和维护多个MLSQL-Engine.在v1.1.7 我们隆重推出了MLSQL-Console实现可视化编辑和执行...mlsql脚本。...Docker支持 MLSQL-Engine, MLSQL-Cluster,MLSQL-Console 都有官方docker镜像了，体验和使用更加简单。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
