“王牌”数据管道 一站式解决企业数据孤岛 邦盛科技PipeACE创新升级（上）

【关键词】

打通数据孤岛、支持多数据源接入、轻量级的数据总线或服务总线、多源数据的实时采集与加工处理、异构数据源跨平台集成、无边界数据流合并

破局“数据孤岛”

在企业中，由于开发时间或开发部门的不同，企业数据往往分布在不同的业务子系统中，有多个异构、运行在不同软硬件平台上的信息系统同时运行。这些系统的数据源彼此独立、相互封闭，数据难以在系统间交流、共享和融合，从而形成了“信息孤岛”。

尽管企业积累了大量的业务数据，却难以整合利用并指导商业决策。依托传统的数据集成架构，难以满足多种类异构数据源的跨平台集成。

同时在金融、互联网/移动互联网、物联网等应用场景中，个性化服务、用户体验提升、智能分析、事中决策等复杂的业务需求对大数据处理技术提出了更高的要求。为了满足这些需求，大数据处理系统必须在毫秒级甚至微秒级的时间内返回处理结果。

随着数据来源更加多样化、复杂化及数据量的飞速增长，我们需要处理的数据越来越多样。

构建异构数据源间的“高速通道”

数据的采集、存储、处理与日俱增，无论是机器学习的建模，还是数据产品开发，要实现对大数据的分析，必须先进行数据聚合、集成、清洗等，而这些往往要占据整个数据分析流程中80%的工作量。

同时在实施数据共享过程中，由于不同用户提供的数据可能来自不同的途径，其数据内容、数据格式和数据质量千差万别，有时甚至会遇到数据格式不能转换或数据转换后丢失信息等难题。

而传统的数据集成和ETL方案逐渐力不从心，严重阻碍了数据在各部门和各软件系统间的流动和共享。同时由于数据合并的机制原理不同，导致传统批式ETL不能应用于实时流式场景。

在这种场景下，企业迫切需要设计可以对不同类型数据进行自动化整合、转换和管理，从而联通“信息孤岛”，共享信息。

在实际应用中，进行数据集成将面临着如何适应现代社会发展的复杂需求、有效扩展应用领域、分离实现技术和应用需求、充分描述各种数据源格式及发布和进行数据交换等问题。对数据进行有效的集成管理已成为增强企业商业竞争力的必然选择。

邦盛科技PipeACE是什么？

简单来说，PipeACE可以理解为是一个贯穿了整个数据产品或数据系统的管道，数据是这个管道承载的主要对象，PipeACE连接了不同的数据处理分析的各个环节，将整个庞杂的系统变得井然有序，便于管理和扩展。

“邦盛科技PipeACE系统软件”是针对实时流数据的复杂处理这一情况而实现的一个基于任务链作业（DAG JOB）的核心处理平台。

其通过对流数据进行实时处理，以极快的速度实现基于有向无环图的转换任务链，同时内置强大的转换任务（包括：过滤、映射、Tout、Tin、复制），支持用户自定义的转换逻辑。

该工作过程主要由PipeACE管理平台、数据处理引擎、采集微探针等子系统有机协调完成。

作为轻量级的流处理平台，较之其他实时大数据处理平台，包括但不限于Flume、Kafka、Goblin、Storm、Spark Streaming等，PipeACE专注解决多源数据的实时采集与加工处理，更易维护、数据处理逻辑更易编写、所需系统资源更少。从而可以让企业能够专注于从数据中获得有价值的信息，而非花费精力于管理日常数据和数据库方面。

关于邦盛科技PipeACE有哪些创新之处？有哪些场景应用，下篇将为大家一一带来。

本文章是系列连载文章，由邦盛风控研究院团队出品，旨在与行业人士交流、分析、探索反欺诈的发展，欢迎和邦盛交流，如需转载，请后台留言。