代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

去年我们公司有一个月末关账的场景，我到现在还记得很清楚。财务部在会议室，IT部在机房，两边电话来回打。原因很简单：财务系统和销售系统的对账数据不一致，而且相差得离谱。财务说是销售数据漏传，销售说是财务系统导入慢、丢了记录。最后只能手动导表、拼 SQL，对着 Excel 一行行查。那天晚上，我和同事忙到凌晨 2 点才算勉强对上账，第二天一早还得跟领导解释。

国内数据集成厂商盘点 - 一个老码农的踩坑心得

当前中国的制造业正面临前所未有的数据挑战。因为随着制造业业务系统越来越多每系统都存储自已的数据无法集中管理和分析如：ERP系统记录着订单和财务，MES管控着生产流程，WMS追踪着库存流转，PLM沉淀着设计数据，而这些系统各自为政，形成了一个个数据孤岛。当业务部门急需一份综合报表时，IT部门往往要花费数天时间手工拼接各系统数据，效率低下且错误频发。

制造业数仓建设之ETL工具选型实战指南

最近在和几个做数据仓库的朋友聊天时,大家讨论到一个有意思的问题:建数仓是不是一定要用ETL工具?这个问题其实没有标准答案,得根据具体情况来定。我在这个行当摸爬滚打这么些年,经历过大大小小十几个数仓项目,今天就和大家分享下我的一些看法。

建设数仓一定需要ETL工具吗?

近年来，随着企业对数字化转型需求的不断加深，以及国家对国产化替代的政策推动，ETL（数据抽取、转换、加载）工具的国产化替代需求逐渐浮出水面。许多企业曾广泛采用国外的ETL工具，如Informatica和IBM DataStage，但这些工具的局限性在中国市场愈加明显，特别是在支持本土数据库、国产操作系统、以及云原生架构等方面，显得力不从心。与此同时，国产ETL工具在逐渐发展，并开始成为可行的替代方案。

ETL国产化替代进程及思考

API经济和打破系统及数据孤岛近年来已经成为企业数字化转型的核心动力，但随之而来的挑战也不容忽视。越来越多的企业需要通过API实现系统的无缝集成，以应对复杂的业务需求和激烈的市场竞争。传统的集成模式已经难以应对多样化、灵活性的要求，API管理与集成需求正在快速升级。这不仅包括API的开发和部署，还涉及到安全、治理、复用和业务敏捷性等更高层次的要求。

企业架构的下一步：iPaaS如何重新塑造API经济

主数据，作为企业的核心数据资产，涵盖了客户、产品、供应商、员工等关键业务实体信息。这些数据的稳定性、共享性和对决策的影响力，使其成为企业运营和战略决策不可或缺的基础。主数据的质量与一致性直接关系到企业运营效率、客户体验及市场竞争力。

企业如何通过ETL工具实现主数据的同步

最近几年,ELT(Extract, Load, Transform)这个词在数据圈里挺火。有些人甚至说,有了ELT,ETL(Extract, Transform, Load)就该退出历史舞台了。作为一个干了十多年ETL的老兵,我觉得有必要说道说道。

资深ETL工程经验分享：企业有了ELT就不需要ETL了？别被忽悠了

在我十多年的数据仓库建设经验中,ETL(Extract, Transform, Load)一直是最具挑战性的环节之一。简单来说,ETL就是将分散在各个业务系统中的数据抽取出来,经过清洗转换,最后加载到数据仓库中的过程。这个过程看似简单,实则暗藏玄机。

资深ETL工程师经验分享：ETL项目的5大挑战与策略

随着企业对实时流数据的处理要求越来越高，很多企业都把实时流数(日志、实时CDC采集数据、设备数据…)先推入到kafka中，再通过ETL对kafka中的数据进行消费通过ETL强大的数据的转换、清洗功能来进行数据的集成与分发。

一文说清楚ETL Cloud如何与Kafka如何实现集成

市面上ETL工具国内外加起来估计得有30种之多，其中近20款工具我都试用过花费了我大把的时间，我现在把试用后总结出来的经验分享一下，目前很多企业在选择ETL工具时不知道怎么选择适合自已的工具也不可能一款一款的去试用，试用成本非常高，而且不同企业数据量，对数据质量的要求，技术开发人员的水平都不一样，所以在选择时往往比较迷漫，没有开发实力的企业希望选择一款无代码简单拖拉就能完成数据清洗的ETL工具，但有开发力量的企业又希望选择一款具有二次扩展能力的ETL工具可以实现个性化的定制加快任务开发效率，根据我使用ETL 20多年的工作经验来看，企业在第一次选择ETL工具时只需要试用完下面三款就可以了，因为这三款代表了目前市场上最好的ETL工具和解决方案，如果这三款不行再去找那些小众的ETL工具去试用，下面我简单介绍一下这三款工具，感兴趣的可以自已去下载试用，都有免费社区版本的。

试用完几十款ETL工具后的经验总结，ETL工具用这三款就足够了

很多企业都购买了商业智能（BI）来加速数字化转型，但是发现仅仅依赖BI效果往往不太好。虽然通过BI，企业能够快速分析和可视化数据，然而，BI并不是一个万能工具，它虽然能帮助企业解读数据，但其有效性高度依赖于数据的质量和一致性，很多企业直接用BI连接生产系统的数据进行分析，极大影响了生产系统的性能，而且分析的效果也往往不如意。企业要想解决上述问题，必须要引入关键技术——ETL（提取、转换、加载）来实现对数据清洗和治理并构建企业的数据仓库。

建设BI的关键前提是ETL数据集成?

流数据处理和批数据处理之间的区别主要在于数据的处理方式、时间性、架构设计和适用场景。虽然批处理系统和流处理系统都可以处理数据，但它们处理数据的方式和目的不同，以下我将“流数据处理”和“批数据处理”进行差异分析。

一文说清楚大数据平台中的流处理与批处理的区别

在企业内ETL自动化数据处理平台、BI平台和指标中台，三者虽各自承载着告警功能的使命，却各具特色与应用场景。这些平台的告警功能并非单纯复制，而是针对不同业务需求量身定制。

构建全方位数据预警体系：ETL、BI与指标中台的协同作用

在数字化转型的浪潮中，数据已经成为企业的重要资产，而商业智能（BI）项目则是帮助企业利用数据进行分析、洞察和决策的关键工具。尽管BI项目的目标是实现数据驱动的决策，但实际上，项目中大部分时间和资源都被用于数据的提取、转换和加载（ETL）过程，只有约20%的时间用于BI可视化。

企业数据集成怎么做？详解ETL+BI的构建过程!

在企业数字化转型过程中，数据是企业的重要资产之一，而商业智能（BI）项目则是帮助企业利用数据进行分析、洞察和决策的关键工具。然而，尽管BI项目的目标是为了实现数据驱动的决策，但实际上，项目中大部分时间和资源都被用于数据的提取、转换和加载（ETL）过程，而仅有20%的时间用于BI可视化。

为什么BI项目中80%的时间是在做ETL?

随着数字化转型，企业越来越重视数据的价值和利用。商业智能（Business Intelligence，BI）作为一种数据分析和决策支持的重要工具，被广泛应用于各行各业。然而，对于BI项目的成功实施，ETL（Extract, Transform, Load）过程的重要性不容忽视。ETL作为BI项目的基础，如果缺乏或不完善，往往会导致BI项目失败的风险增加。在实际项目接触中我们发现很多企业是先购买了BI工具而往往没有购买ETL工具，企业往往希望通过BI中自带的ETL功能来解决数据采集和清洗的问题，在运行一段时间后企业往往就会发现这种模式是不可行的，接下来我们将分析以下为什么这种模式是不可行的，为什么企业需要购买专的ETL工具。

为什么没有做好ETL的BI项目都容易失败？

在大数据处理的领域中，ETL和ELT是两个经常被数据工程师提到的工具，而有很多数据工程师对这两种工具的区别和使用和定位有一定的模糊，其实它们分别代表了两种不同的数据集成方法。尽管这两种方法看起来都是从源系统提取数据，转换数据，并加载到目标系统，但它们在实现这一过程中的方式和重点有所不同，我们需要详细了解他们工作原理和优缺点，以便在数据处理的不同场景选择合适的工具来进行数据管道的构建。

什么是ETL？什么是ELT？怎么区分它们使用场景

从数据治理的角度来看如何打破数据孤岛现是企业数据治理过程中最大的核心挑战。由于不同的业务部门和系统之间的数据相互独立，导致数据之间无法共享和利用，从而影响了企业的整体运营效率。IDC公司的调查显示，2022年，全球范围内有60%的企业面临“数据孤岛”的问题，企业无法高效、快速的从多个异构数据源中稳定汇聚数据。例如很多企业的生产部门和销售部门之间的数据无法共享，导致生产计划无法根据销售数据进行调整，销售订单也无法及时反馈到生产部门。这种数据孤岛现象导致企业生产效率低下，销售业绩也无法得到提升，要解决数据孤岛的问题，企业必须建立一个稳定、高效的全域数据集成平台。

大数据时代的免费数据集成神器ETLCloud推荐

随着企业数字化转型的加速，数据中台的概念逐渐流行。然而，对于很多人来说，数据中台仍然是一个模糊的概念。本文将从多个维度来定义什么是数据中台，并深入探讨其背后的原理和价值。

什么是数据中台，全面解读数据中台的定义

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋 

腾讯云代码助手

CODING DevOps

Cloud Studio

SDK中心

API中心

命令行工具

腾讯云开发者社区推出了ET专栏，为你提供了ET的相关文章，致力于帮助开发者快速成长与发展。

ET

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐