前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >MLSQL插件商店插件介绍

MLSQL插件商店插件介绍

作者头像
用户2936994
发布2022-07-21 13:47:53
1.8K0
发布2022-07-21 13:47:53
举报
文章被收录于专栏:祝威廉祝威廉

按这篇

下载预编译的安装包 · GitBook

文章装上1.5.0-SNAPSHOT版本,你就在Console中体验MLSQL的插件了。

allwefantasy/mlsql-pluins

当然,目前插件还不多,所以呢,我简单介绍下已经有的这些插件。

在Console中建立一个以.nb结尾的文件,比如我示例中叫`plugin.nb`, 点击该文件后,大概是这么个样子:

然后在网页里,大概有七个插件:

大家也可以到商店上看:

binlog2delta

第一个是binlog2delta, 是一个脚本插件,安装后会自动转化为一个向导。我们先安装看看。

复制黏贴绿色部分,就可以安装了。

现在,点击Script Plugins

就可以看到向导了:

通过该向导,你可以完成自动生成MLSQL脚本代码的任务。

last_command

接着我们安装last_command

作用是获取上一个命令的输出,然后将其转化为表,最后通过SQL语句操作,看例子

run-script

run-script 插件的作用是为在MLSQL里动态执行MLSQL字符串,先安装

看例子:

我们把code1字符串文本当做脚本来执行,并且将结果命名为output.该模块赋予了MLSQL强大的流程控制能力。

table-repartition

table-repartition 可以对标进行重新分区,目前支持按hash或者range来进行分区。

echo-controller是一个示例App插件,可以修改MLSQL处理MLSQL脚本的逻辑。比如正常我们发送脚本给MLSQL engine,他会执行然后返回json结果,但是通过App插件我们可以修改这个逻辑,echo-controller会将sql原模原样返回回来。

不过你需要额外指定 executeMode为echo(也就是我们插件规定的值)。

stream-boostrap-at-startup

stream-boostrap-at-startup也是App插件,可以将持久化的流在系统重启时,依然能够自动启动起来。同时还配套了一个ET插件,允许你指定指定将哪个流持久化:

代码语言:javascript
复制
!streambootstrapatstartup persist streamExample;

MLSQL目前有四种类型插件:

  1. ET 命令行或者模块插件,比如!hdfs,分区功能等。
  2. Script 复用MLSQL脚本
  3. App 可以改变整个MLSQL引擎服务,或者在其上做开发和定制
  4. DataSource 数据输入输出,比如适配HBase啥的

除了Script插件,其他插件第一次使用时都不需要重启Engine,如果需要升级或者卸载后重装,则需要重启Engine. Script插件完全动态卸载和安装,无需重启。

Update(2019/12/09)

ds-hbase-2x

HBase 2.x版本数据源插件,可以通过如下方式安装:

代码语言:javascript
复制
!plugin ds add tech.mlsql.plugins.ds.MLSQLHBase2x ds-hbase-2x;

安装完成后,就可以直接使用了:

代码语言:javascript
复制
set rawText='''
{"id":9,"content":"Spark好的语言1","label":0.0}
{"id":10,"content":"MLSQL是一个好的语言7","label":0.0}
{"id":12,"content":"MLSQL是一个好的语言7","label":0.0}
''';

load jsonStr.`rawText` as orginal_text_corpus;

select cast(id as String)  as rowkey,content,label from orginal_text_corpus as orginal_text_corpus1;

connect hbase2x where `zk`="127.0.0.1:2181"
and `family`="cf" as hbase1;

save overwrite orginal_text_corpus1 
as hbase2x.`hbase1:mlsql_example`;

load hbase2x.`hbase1:mlsql_example` where field.type.label="DoubleType"
as mlsql_example ;

select * from mlsql_example as show_data;
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019-12-02,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • binlog2delta
  • last_command
  • run-script
  • table-repartition
  • stream-boostrap-at-startup
相关产品与服务
TDSQL MySQL 版
TDSQL MySQL 版(TDSQL for MySQL)是腾讯打造的一款分布式数据库产品,具备强一致高可用、全球部署架构、分布式水平扩展、高性能、企业级安全等特性,同时提供智能 DBA、自动化运营、监控告警等配套设施,为客户提供完整的分布式数据库解决方案。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档