前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >官宣!Taier1.3新版本正式发布,新鲜功能抢先体验

官宣!Taier1.3新版本正式发布,新鲜功能抢先体验

作者头像
袋鼠云数栈
发布2022-11-16 17:19:26
3140
发布2022-11-16 17:19:26
举报
文章被收录于专栏:数栈技术分享数栈技术分享

2022年11月7日,Taier1.3版本正式发布!

Taier 是一个大数据分布式可视化的DAG任务调度系统,旨在降低ETL开发成本、提高大数据平台稳定性,大数据开发人员可以在 Taier 直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。

Taier自今年2月份开源之后,得到了社区开发者的广泛支持,我们积极吸收社区开发者的意见建议,不断迭代版本,目前已发布了Taier1.1、Taier1.2这两个大的版本更新。

本次发布的Taier1.3版本,我们新增了Flink Standalone组件,融合了DataSourceX的模块,并新增了Python、Shell、ClickHouse、Doris SQL等多种任务,任务数据源绑定,任务支持指定队列运行,并进行了部署优化,同时对官网社区的UI进行了全新的升级改造。

目前新版本已在Github与Gitee上线,同时使用文档也在社区推送,大家可以随时下载查阅,欢迎大家前往体验(喜欢我们的项目欢迎大家点个Star),体验地址:

Github:

https://github.com/DTStack/Taier

Gitee:

https://gitee.com/dtstack_dev_0/taier

社区官网:

https://dtstack.github.io/Taier/

Taier1.3版本详解

01 新增Flink Standalone

新增Flink Standalone组件,可以通过Flink Standalone使用Flink SQL、数据同步、实时采集等任务相关功能。移除Taier对Hadoop组件的强依赖,支持轻量化的数据处理。

file
file

02 DataSourceX融合

Taier融合DataSourceX模块,移除Taier外部插件依赖。新增数据源插件相关特性,支持后续Taier对接更多的RDBMS类型的SQL任务。

03 新增Python、Shell任务

新增Script组件,支持Python、Shell任务类型,可以在Taier上通过脚本类型任务进行操作。

file
file
file
file

04 新增ClickHouse、Doris SQL任务

新增ClickHouse、Doris SQL任务类型,支持数据同步脚本模式到ClickHouse、Doris,再进行任务调度处理。

05 任务数据源绑定

控制台组件移除SQL类型组件配置,SQL任务直接和数据源互相绑定,支持任务和数据源一对一的执行,将SQL执行域细分到具体的单个数据源。

file
file

06 任务支持指定队列运行

Hadoop类型任务支持指定队列运行,队列资源隔离细分到任务级别。

07 部署优化

Taier优化单机部署,优化前后端部署操作,简化docker镜像部署流程,降低上手难度。

08 官网升级

Taier社区新官网上线,UI设计全面升级。

file
file

后续版本规划

Taier今年更新了3个大的版本,按照社区规划,后续版本我们计划重点围绕关键点:

● 完善Taier Datasource 模板支持SQL任务

● HadoopMR、Spark Jar、PySpark 任务支持

● 任务告警

● Windows开发环境适配

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2022-11-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Taier1.3版本详解
    • 01 新增Flink Standalone
      • 02 DataSourceX融合
        • 03 新增Python、Shell任务
          • 04 新增ClickHouse、Doris SQL任务
            • 05 任务数据源绑定
              • 06 任务支持指定队列运行
                • 07 部署优化
                  • 08 官网升级
                  • 后续版本规划
                  相关产品与服务
                  容器服务
                  腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
                  领券
                  问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档