大数据开发工具 TDS 助力数据运营平台建设

企业数字化转型过程中每个阶段都会遇到诸多问题和挑战，在信息系统搭建上，早期烟囱式架构建设导致数据无法互联互通，形成数据孤岛，完成互联互通后又面临无法管理数据资产、发挥数据资产价值等问题。现阶段，随着业务复杂度的增加和信息技术的演进，数据和分析成核心业务功能，又将面临缺少高效、便捷以及多样化的数据获取渠道，导致上层数据分析应用无法顺利和高效的开展。

针对上述痛点和挑战，星环科技推出了大数据开发工具 Transwarp Data Studio （以下简称 TDS）。TDS 是一套为企业提供一站式数据资产全链路管理的服务平台，TDS 包括数据数据开发、数据治理和数据运营套件 3 大使用场景套件和 9 个组件。并且TDS 隆重推出 2.3 版本，三大套件都有全新升级，其中数据开发套件增加了 SQL 审核功能模块；数据治理套件增加了智能对标功能；数据运营套件加强了大数据分析与服务能力，新融合了三个大数据分析与服务相关组件，包括数据商城 Foresight、标签平台 Starviewer 和数据服务平台 Midgard。

数据开发套件，助力企业完成数据统一化

数据开发套件包含：大数据整合工具 Transpoter、数据库在线开发与协同工具 SQLbook 和任务调度软件 Workflow ，该套件作为星环科技大数据基础平台 Transwarp Data Hub 的生态开发应用工具，针对数据开发场景，提供数据集成、SQL开发和任务调度的能力，帮助企业将数据归集到数据湖仓，完成数据统一化的过程。在 TDS 2.3 新版本中，数据开发套件除了对已有模块进行功能，性能和稳定性加强外，针对数据开发场景的规范管控需求，增加了SQL审核功能模块。

随着企业大数据开发和应用场景开始进入“深水区”，大家开始关注针对数据开发和应用过程的管控能力，用以解决诸如 SQL分析过程中的数据安全问题、数据开发过程中的SQL规划和优化问题等。

针对上述需求场景，TDS 提供了基于 TDH 大数据基础平台的 SQL 审核功能，通过在 TDS 中使用自研的 DSL 语言自定义和管理 SQL 审核规则库，并在 TDH 的编译层和优化层对不符合审核规则的 SQL 进行事前阻断，针对所有面向 TDH 的 SQL 请求进行审核和管控，规范 SQL开发过程、提高 SQL 执行效率以及保护数据安全。

数据开发套件核心优势在于：

· 以强制手段，统一 SQL 分析和开发规范，提效数据开发和保护数据安全；

· 自研 DSL 语言，可以支持根据实际需求情况自定义审核规则；

· 统一数据权限、数据库审计以及数据库内SQL调度，降低数据库管控成本。

数据治理套件，完成数据资产化

数据治理套件，针对企业过去信息系统烟囱式的构建方式以及数据开发和管理过程不规范的问题，提供数据治理能力，帮忙企业进行数据资产盘点、数据标准统一和解决数据质量问题，完成数据资产化的过程；

TDS 的数据治理套件是基于星环科技数据治理咨询方法论的、一站式的面向企业各类信息系统的数据管控平台，集成元数据管理、数据标准管理、数据质管理量、数据权限管理等模块，提供全生命周期数据治理能力。

TDS 2.3 新版本针对数据治理场景的智能化需求，增加了智能对标功能。TDS 数据治理套件提供了智能化数据治理能力，以数据标准对标为例，面对数千上万数据标准的对标工作，提供智能对标功能，为数据治理实施团队或者企业自有业务人员推荐高准确率的数据标准对标关系，大大提升数据标准对标工作效率和降低落地门槛。

数治理套件的核心优势在于：

· 可以事前通过TDS内置知识库，对行业文献、企业内部知识文档以及已有的数据标准、标规则内容，进行智能解析和知识沉淀，扩大数据标准对标的支撑业务主题范围，提高推荐准确率。同时，可以根据用户对推荐结果的判定行为对智能推荐算法进行自动化迭代和优化；

· TDS数据治理套件是一站式产品架构，由完整的数据治理功能模块组成，并集成至统一平台中，各功能模块根据数据治理方法论有机的形成功能联动和流程，提供一站式工具应用体验；

· TDS数据治理套件提供基于星环科技大数据技术的数据治理任务执行能力，高效完成数据治理作业。

数据运营套件，助力数据运营平台建设

TDS 2.3 新版本的数据运营套件，加强了大数据分析与服务能力，新融合了三个大数据分析与服务相关组件，提供数据标签体系构建和自助取数，直接对接数字化转型应用的 API 开发和管理，并能将上述套件产生的数据产品在统一的共享门户中进行企业内部共享交换，将企业各类型数据资产以分析、服务和共享的方式提供服务，发挥资产价值，最终支撑数字化转型相关应用，完成数据业务化的过程，并提供数据资产共享交互，构建企业数据生态化，助力数据运营平台建设。

TDS 2.3 数据运营套件新融合的三大组件分别为：数据服务平台Midgard、标签平台Starviewer、数据商城 Foresight。

数据服务平台Midgard

Midgard 可以为客户提供数据服务开发、管理和应用的全生命周期管理和稳定、高性能、安全的数据服务能力支撑，将多样化的数据转化为业务应用直接使用的数据资产，打通数据和业务之间的壁垒。

在产品核心能力方面，除了API本身的生命周期管理，Midgard 支持弹性扩缩容的高性能请求转发，接入安全和数据安全的数据保护双保险，并根据实际业务需求，提供以插件化、适配器、接口等多种对接适配方式的高度可扩展的开放架构，保证数据服务的高吞吐、低延迟和水平扩展。

标签平台Starviewer

数据标签平台 StarViewer，面向降低数据获取门槛的自助取数场景，提供全面的标签体系搭建、管理，标签画像分析能力。StarViewer可以通过业务化标签的交互形式帮助客户降低数据分析和取数的门槛，让标签开发、应用流程中不同角色的用户简单方便的分析和使用数据；

在产品核心能力方面，StarViewer 提供了体系化的标签运营与管控、多维度画像展示、自助标签数据分析和下载、高性能标签构建和应用，让数据直接服务于具体业务。

StarViewer 的两大核心优势：

· 高性能的标签数据加工和分析：支持接入主流结构化类型数据源进行标签加工、分析和数据下载，基于星环自研数据库保证数据分析和加工性能

· 自助取数和数据分析：可视化完成自助取数和标签配置，零门槛完成标签的数据分析和数据共享。

数据商城 Foresight

数据商城 Foresight 是面向数据资产共享流通场景，提供数据资产检索、洞察、共享和流程管理能力。Foresight 通过提供统一的业务化风格的数据资产共享门户界面，上架企业数据资产以供数据消费者检索、洞察和申请，同时提供多种数据共享形式如下载、数据库间流转、API等，并辅以可自定义数据共享审批流程、数据资产权限管控以及基于星环科技数据保护技术的数据共享方式，旨在促进数据资产安全流通，实现企业内外部跨层级、跨系统、跨部门的数据共享和业务协同提供基础支撑；

在产品核心能力方面，Foresight 通过全面的数据资产权限管理和支持自定义的数据资产申请审批流程对整个数据资产共享流通流程提供安全保护；同时对不定的门户需求提供包括门户设计、编目、流程等自定义能力和客制化服务并提供基于星环科技大数据技术的高性能数据共享流通服务。

Foresight 的三大核心优势：

第一，高性能的数据传输和更新，在数据共享平台的业务流程中，主要涉及数据流转的内容为已发布数据资产的定期更新以及用户驱动的数据共享任务，Foresight 基于星环科技大数据平台能力为上述流程提供高性能数据流转支撑；

第二，便捷易用的数据开放共享服务， Foresight 提供基于业务主题的自定义数据编目系统和基于编目类别、标签、组织机构等多样化检索，快速定位目标数据资产；

第三，数据共享过程中的数据保护 ，Foresight 支持针对指定用户、角色、工作区或者组织用户提供资源级粒度的数据资源安全管控策略；支持 26 种主流数据脱敏方式，根据数据分类分级情况自动适配加密方式。

基于星环科技产品的数据中台全景图

介绍完了TDS 2.3版本的全部内容后，我们可以基于TDS在数据中台的全景图回顾一下TDS在企业数字化转型过程中扮演的角色，首先面向源端业务系统包括数据流引擎、关系型业务数据库以及半结构化、非结构化数据系统，TDS数据开发套件通过数据加载和同步的方式将数据落地到数据湖或数据仓库，接下来通过在数据湖仓内进行SQL开发、建模和实时计算，并通过调度系统将这些开发任务进行编排、调度和统一的跟踪运维管理，最终汇聚形成基础的数据资源在数据仓库对应层级内存储下来。

TDS数据治理套件通过统一的元数据管理、数据标准落标和数据质量的把控的将这些数据资源转换为高质量、业务可用的数据资产。

TDS数据运营套件基于星环科技大数据能力，对上述数据资产进行API以及数据标签的开发，产生的数据产品发布到统一的数据共享平台对外提供数字化应用和企业内资产流转。

最终TDS各个套件针对独立的使用场景如数据开发场景、数据治理场景或者综合性的数据中台场景提供一站式的产品平台支撑，与此同时，针对企业遇到的单个细分的需求场景如任务流调度、血缘分析、自助取数、数据服务或数据资产门户等，TDS可支持任意组件组合的形式，提供产品能力服务。

选择 TDS 构建数字化运营平台的四大理由

TDS 作为一站式的平台产品，各个组件模块整合至同一风格界面，形成统一的使用体验，基于星环科技实施方法论，针对业务需求场景提供跨组件功能联动和流程整合，形成1+1>2的效果，打造完整的企业级数据全生命周期的开发与运营平台。

其次，TDS提供优秀的团队协作能力：TDS各个组件实现了全图形化的交互形式，降低使用门槛；作为一个web端的产品，TDS天然支持多用户线上协作，对TDS全局对象进行统一的管理，包括权限、版本、行为审计管理等。

在技术架构上，TDS 引擎层采用了分布式架构设计，可扩展服务，提供优秀的平台性能，可支持最大 PB 级别数据量和日均10万级任务调度的数据平台建设。基于图数据库的支持百万级关系数据秒级查询的数据血缘分析。

最后，是智能化数据治理能力，TDS构建智能数据资产模型匹配特定领域和行业数据，支持智能化数据标准贯标、资产推荐、自动打标等提高实施效率的功能，同时可以进行知识积累，智能化持续优化实施体验和提高实施效率。