AiFlow大数据框架应用简介

文章大纲

• 1. 平台定位
• 2. 平台特点
  • 一站建模
  • 智能分析
  • 交互分析
  • 通用部署
• 3. 项目案例
  • ETL 过程样例
  • 物料分类
  • 业务规则建模
• 合作

1. 平台定位

数据挖掘平台在此起到数据运营的承上启下的环节，主要负责数据的挖掘分析、ETL、数据检测。

在这里插入图片描述

在这里插入图片描述

平台支持自动建模、可视化交互建模、嵌入式分析、自定义模型算法等多模式使用方式，满足不同层次用户(业务人员、大数据IT人员、数据分析师、算法工程师)的使用需求：

• 业务人员基于自动建模组件可以一键构建基本可靠地业务分析模型，规避复杂的挖掘分析知识；
• 数据分析师基于交互建模可以结合基本的挖掘知识规避不必要的编码实现建模分析功能；
• 算法人员可以在规避数据处理的繁琐事务，集中大量精力发挥算法潜能优势；

在这里插入图片描述

2. 平台特点

一站建模

平台提供全流程建模组件支持，涉及数据源、数据探索、数据处理、机器学习、模型管理等组件；

智能分析

具备自动学习能力，降低建模分析的使用算法基础能力的门槛；

交互分析

具备拖拽组件建模，建模流程洞察、建模信息传递、信息校验能力；

通用部署

提供多种挖掘成果部署服务形式，便捷服务业务场景。

在这里插入图片描述

• 数据分析洞察 流程设计完成，点击执行，界面切入到流程监控界面，每个组件执行结束，点击组件图标，下端窗口会展示对应组件的处理洞察信息。
• 元信息洞察 流程设计界面进行挖掘建模时，组件具备完备的校验机制保证挖掘流程建模的稳定性，校验机制能够在配置层面校验建模逻辑的正确性。
• 数据校验洞察 流程设计界面进行挖掘建模时，组件具备完备的校验机制保证挖掘流程建模的稳定性，校验机制能够在配置层面校验建模逻辑的正确性。

在这里插入图片描述

基于国际化挖掘分析流程标准（跨行业数据挖掘标准流程：CRISP-DM），挖掘平台实现挖掘全流程建模能力，总结起来，挖掘分析流程分为三大部分：业务理解和数据理解、数据处理与建模分析、模型部署及服务，挖掘平台提供全方位的实用化模块支持。

在这里插入图片描述

在这里插入图片描述

针对业务人员，鉴于业务人员可能对数据挖掘建模分析相关知识经验薄弱或空白的情况，平台提供自动学习一键式建模能力，仅需用户配置数据和目标即可建模，平台自动完成数据探索、数据处理、建模分析及模型评估筛选功能，进而获得相对性能不错的模型，降低用户的使用门槛，实现智能分析。

在这里插入图片描述

在这里插入图片描述

3. 项目案例

ETL 过程样例

海科数据治理:对预导入客户业务系统 Greenplumn 中的数据，进行去重、特殊字符、大小写、缺失值等数据清洗预处理，优化数据质量，生成正式的业务数据。

在这里插入图片描述

物料分类

基于自然语言处理技术实现对短文本信息进行无监督物料分类，主要综合了句法分析的结果和信息提取的结果进行综合评判，实现物料分类。

在这里插入图片描述

业务规则建模

基于平台强大的拓展编程能力，结合拓展编程节点和数据处理功能，实现对复杂灵活的业务场景的业务建模，以下流程是对华为item产品数据规则自定义及信息抽取组合建模分析过程:

在这里插入图片描述