DataBuddy 覆盖大数据全生命周期,按模块可分为 8 大能力,对应产品文档的 8 个一级目录。
数据接入
智能数据接入:从“人工配置”到“对话式创建”,从“被动运维”到“AI 主动诊断”。
40+ 数据源:关系型数据库、数仓、湖仓、NoSQL、KV、消息队列、流、文件、对象存储、API、多模态
5 大接入方案:
离线同步(批量、增量、定时调度、四大链路)
实时同步(CDC 增量、整库多表、分库分表)
文件到 Table(CSV、Excel、JSON、自动建表)
文件到 Volume(非结构化、图片、视频、文档)
批量到 Volume(FTP、S3、保留目录结构)
DataBuddy Agent 智能辅助:自然语言创建任务、AI 智能问答、任务异常 AI 诊断根因
数据工程
统一数据开发工作台、编排、CI/CD、运维:DIOPS 四大模块闭环,覆盖数据开发全生命周期。
Studio(开发)
Notebook:多语法单元格(Python、SQL、Scala、Markdown)、魔法命令切换
SQL IDE:统一 Spark SQL 方言(Kyuubi)、元数据感知自动补全、参数化查询
Python IDE:跨文件 import、Debug 模式、完整 Python 3 语法
智能补全:Catalog、Schema、Table、Column
AI 助手 DataBuddy:自然语言生成 SQL、代码纠错、自动注释、代码续写
Git 原生集成:commit、push、pull、分支管理
Workflow(编排调度)
可视化 DAG:拖拽添加任务、连线建立依赖、配置触发器、保存即生效
9 种任务类型:Notebook、SQL、Python、Ray、离线接入、IF-ELSE、ForEach、嵌套、质量监控
12 种运行条件:全部成功、全部失败、至少一个成功、至少一个完成 等
调度触发:常规周期(天、小时、分钟、周、月、年)、Cron 表达式、时区
持续运行:前一次终态后 60 秒自动触发,适合近实时场景
参数管理:两层参数、任务间传递、内置参数
CI/CD(发布)
配置即代码:基于 YAML、CLI 的 Bundle 发布体系
多环境:dev、staging、prod 自动化部署
命令集:bundle init、validate、deploy、run、summary、destroy
OPS(运维监控)
四层运行监控视图:工作流运行列表、运行记录、运行详情、任务运行详情
多渠道告警:Email、Webhook、Teams、企业微信、Slack
AI 智能诊断:实例信息、根因分析、影响范围、修复建议
数据科学
OneOps 一体化承接企业 AI 工程化:DataOps、MLOps、AIOps。
五大核心模块
模块 | 能力 |
Studio | 一体化开发 IDE(Notebook、内置 Copilot 辅助) |
特征管理 Feature Store | 特征 CRUD、内置算子、离在线一致性、跨项目复用 |
模型实验 Experiment | MLflow 跟踪、AutoML、大模型实验、超参搜索、实验复现 |
模型管理 Registry | 注册、版本管理、模型血缘、冠军模型一键晋级 |
模型服务 Serving | 在线服务、批量预测、多版本 A/B Test、弹性伸缩、自动启停 |
数据分析
从“等排期”到“对话即洞察”:面向分析师与业务人员。
智能问数:自然语言提问,结合语义层秒级取数
AI 生成分析报告:一键生成完整报告,支持主动定时推送
主动智能归因:AI 多维归因,输出可执行建议
AI 生成看板:自然语言描述,AI 自动规划图表并生成仪表盘
数据探索:交互式数据探索、SQL 直查
分析空间:创建与管理分析空间、支持分析空间嵌出
数据治理
从“人工治理”到“AI 智能守护”:DataBuddy 四大核心能力。
统一语义层 Unity Semantics
本体建模(Ontology)标准化实体、指标、维度、业务逻辑
消除口径歧义,避免 SQL 幻觉
NL2SQL 准确率:无语义层准确率 60% ~ 70%,完整语义层准确率 90%+
数据质量 Data Quality
规则引擎:YAML 一站式规则定义、多种规则形态(空值率、唯一性、值域、波动率、产出及时性、自定义 SQL)
调度执行:嵌入 ETL 链路、前置阻断、工作流联动
规则级精准告警:多渠道推送(企业微信、邮件、Webhook)
异常检测:零配置、自学习、Schema 级一键开启
数据剖析:三类模式(快照、时序、推理),漂移指标(KS、PSI、Wasserstein、卡方、JS 散度)
多模态数据目录 TCCatalog
Table Catalog:表、视图、函数
Volume Catalog:日志、图像、PDF
Model Catalog:ML 模型、版本管理
External Catalog:外部数据源镜像(免 ETL 即查)
端到端血缘:自动采集 SQL、集成任务,图模式、列表模式双视图
Agent 安全防护
双向 Agent Guardrails:提示注入实时检测、阻断攻击链路
OBO 权限强绑定:真实用户身份,复用底层数据平台权限
高危 SQL 拦截、意图校验:调用执行前进行高危判定
“三要素”精准拦截:不可信输入、状态改变、敏感数据同时命中时,触发人为确认
覆盖 OWASP LLM Top10 全部风险
数据应用
Agent、MCP、Model List 构建应用生态。
Agent 概述:内置三大 Agent 与自定义 Agent 能力
MCP:Model Context Protocol 原生支持,让人和 Agent 走一套调用链路
Model List(模型列表):多模型接入与 Endpoint 管理
Buddy(Agent 能力)
Buddy Agent 是本产品的核心差异化能力,详见 Buddy 一级目录。
Buddy 概述:产品定位与两大场景模式(数据分析、数据开发)
Buddy — 数据分析场景:分析空间管理、复杂数据分析、AI 搭建仪表盘、分析空间嵌出
数据工程 Agent:从“人工搭建”到“Agent 端到端交付”
数据治理 Agent:从“人工治理”到“AI 智能守护”
Buddy 数据安全:Agent 安全防护体系
Buddy Agent 基础能力:知识库、数据复核、@ 引用、Ask 模式、上传文件、产物与产物变更
平台管理
工作空间管理:创建工作空间、成员与权限管理、工作空间设置(通知渠道、Git 连接、个人偏好)
数据源管理:全局数据源配置、添加修改数据源、连通性测试
计算资源管理:计算资源概述、创建、网络设置、用量监控