本文通过介绍如何利用Sqoop对不同数据源进行数据导入，详细描述了Sqoop的导入流程、数据源配置、抽取和加载方式，并通过实例介绍了具体操作。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/80269362
大家好，不管是离线数仓与实时数仓，建设的时候都少不了架构设计，今天来学习一下常见的架构及发展演变过程。
本文通过分析2023年5月15日的腾讯财报数据，从多个方面揭示了腾讯在2023年5月15日所呈现的财务、经营和战略状况。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51837457
OLAP 是一个很卷的赛道，创业公司也众多。在本文中，笔者基于 10+ 年的大数据与数据仓库的工作经验，就目前的主流趋势：离在线一体化、引擎一体化、云原生化等写一些思考，抛砖引玉，希望能与各位共同探讨。
上一篇详细讲解了如何用Canal和Kafka，将MySQL数据实时全量同步到Greenplum。对照本专题第一篇中图1-1的数据仓库架构，我们已经实现了ETL的实时抽取过程，将数据同步到RDS中。本篇继续介绍如何实现后面的数据装载过程。实现实时数据装载的总体步骤可归纳为：
在大数据处理框架不断更新和优化的过程中，Hadoop和Spark之间既有竞争关系，也有相互协同的需求。比方说Hive和Spark，在一段时间内，很多人认为Spark会代替Hive，作为Hadoop的数据仓库，Hive真的已经落后了吗？
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/80281643
本文介绍了数据仓库及其在技术社区中的应用，并重点讲解了数据仓库中的事实表和维度表的设计。在数据仓库中，通过将事实表与维度表关联，可以灵活地根据维度表中的属性进行查询。同时，通过在事实表和维度表之间建立关联，可以实现灵活的维度与度量之间的转换。最后，本文讲解了如何设计数据仓库以满足技术社区的需求，并提供了相应的示例。
十一、多重星型模式 从“进阶技术”开始，已经通过增加列和表扩展了数据仓库，在进阶技术（五） “快照”里增加了第二个事实表，month_end_sales_order_fact表。这之后数据仓库模式就有了两个事实表（第一个是在开始建立数据仓库时创建的sales_order_fact表）。有了这两个事实表的数据仓库就是一个标准的双星型模式。 本节将在现有的维度数据仓库上再增加一个新的星型结构。与现有的与销售关联的星型结构不同，新的星型结构关注的是产品业务领域。新的星型结构有一个事实表和一个维度表，用于存储数据仓库中的产品数据。 1. 一个新的星型模式 下图显示了扩展后的数据仓库模式。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51783410
学习 Spark 的面试者普遍认为 Spark 必然会替代 Hive 成为新的一代大数据仓库标准。
本文作者：曾就职传统通讯运营商，负责BI项目的开发；目前转型互联网公司，就职于某厂负责相关的大数据仓库建设工作。
二、按需装载 前面已经做了“初始装载”和“定期装载”。还有一种需要熟悉的装载类型，按需装载。所谓“按需装载”指的是，在正常调度之外，当源数据有效或者数据仓库需要时进行装载。例如，促销销售源数据只有在促销期内有效，而在其它时间是无效的，而对促销期数据就要进行按需装载。 在“建立数据仓库示例模型”中讨论的日期维度数据生成可以看做是一种按需装载。数据仓库预先装载了日期，当日期用完时，需要再次运行预装载。 本节的主题是按需装载，首先修改数据库模式，然后在DW数据库上执行按需装载，使用促销期场景进行说明。定期装载不适合促销期场景，因为促销期数据并不是按调度定期装载。下面是需要装载的促销期内容，存储在source.promo_schedule表中。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51804557
本篇重点是针对销售订单示例创建并测试数据装载的Kettle作业和转换。在此之前，先简要介绍数据清洗的概念，并说明如何使用Kettle完成常见的数据清洗工作。由于本示例中Kettle在Hadoop上的ETL实现依赖于Hive，所以之后对Hive做一个概括的介绍，包括它的体系结构、工作流程和优化。最后用完整的的Kettle作业演示如何实现销售订单数据仓库的数据转换与装载。
一、迟到的事实简介 数据仓库通常建立于一种理想的假设情况下，这就是数据仓库的度量（事实记录）与度量的环境（维度记录）同时出现在数据仓库中。当同时拥有事实记录和正确的当前维度行时，就能够
从本篇开始，介绍使用Kettle实现Hadoop数据仓库的ETL过程。我们会引入一个典型的订单业务场景作为示例，说明多维模型及其相关ETL技术在Kettle上的具体实现。本篇首先介绍一个小而典型的销售订单示例，描述业务场景，说明示例中包含的实体和关系，并在MySQL数据库上建立源数据库表并生成初始的数据。我们要在Hive中创建源数据过渡区和数据仓库的表，因此需要了解与Hive创建表相关的技术问题，包括使用Hive建立传统多维数据仓库时，如何选择适当的文件格式，Hive支持哪些表类型，向不同类型的表中装载数据时具有哪些不同特性。我们将以实验的方式对这些问题加以说明。在此基础上，我们就可以编写Hive的HiveQL脚本，建立过渡区和数据仓库中的表。本篇最后会说明日期维度的数据装载方式及其Kettle实现。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51757018
去年12月20日，某知名汽车品牌发生了数据泄露事件，而且泄露的数据包含用户个人隐私数据，也包含了公司的运营销售信息等商业机密数据。泄露的个人隐私信息将用户暴露于短信、电话骚扰甚至电信诈骗的危害之下，同时也造成了用户对企业的信任危机，企业也将会面临监管的调查。
数据是每项技术业务的支柱，作为一个健康医疗技术平台，Halodoc 更是如此，用户可以通过以下方式与 Halodoc 交互：
系统的数据，就是公司的生命。哪怕是狗屎，我们也要将它冷冻起来冰封以备后用。垃圾的产品设计就比较让人费解，会时不时从冰柜中将屎取出，想要品尝其中残留的味道。
本文介绍了如何利用Rust语言和Cargo管理大型游戏服务器的程序架构，实现了游戏服务器的模块化设计，并利用Websocket通信机制实现了跨平台的游戏服务器通信。同时，本文还介绍了一些重要的基础概念和技术，包括Rust语言、Cargo、Websocket、游戏服务器、分布式系统、同步复制、负载均衡、Rust设计模式等。通过本文的学习，读者可以掌握利用Rust和Cargo开发高性能、可扩展、跨平台的游戏服务器的程序架构和技巧。
根据文章内容总结摘要。
数据仓库中的关联实体经常表现为一种“父—子”关系。在这种类型的关系中，一个父亲可能有多个孩子，而一个孩子只能属于一个父亲。例如，通常一名企业员工只能被分配到一个部门，而一个部门会有很多员工。“父—子”之间形成一种递归型树结构，是一种比较理想和灵活的存储层次关系的数据结构。本小节说明一些递归处理的问题，包括数据装载、树的展开、递归查询、树的平面化等技术实现。销售订单数据仓库中没有递归结构，为了保持示例的完整性，将会使用另一个与业务无关的通用示例。
有赞大数据技术应用的早期，我们使用 Sqoop 作为数据同步工具，满足了 MySQL 与 Hive 之间数据同步的日常开发需求。
对于每一种技术，先要理解相关的概念和它之所以出现的原因，这对于我们继续深入学习其技术细节大有裨益。实时数据仓库首先是个数据仓库，只是它优先考虑数据的时效性问题。因此本篇开头将介绍业界公认的数据仓库定义，它和操作型数据库应用的区别，以及为什么我们需要数据仓库。 在对数据仓库的概念有了基本的认识后，有必要单独说明一下ETL这个最重要的过程，然后向读者介绍四种常见的数据仓库架构。本篇最后描述实时数据仓库的产生背景、特定需求和使用场景，并列举一些常见的实时数据仓库技术架构。
上两篇里介绍了几种基本的维度表技术，并用示例演示了每种技术的实现过程。本篇说明多维数据仓库中常见的事实表技术。我们将讲述五种基本事实表扩展，分别是周期快照、累积快照、无事实的事实表、迟到的事实和累积度量。和讨论维度表一样，也会从概念开始认识这些技术，继而给出常见的使用场景，最后以销售订单数据仓库为例，给出Kettle实现的作业、转换和测试过程。
快狗打车业务快速发展是公司众多人员的努力，同时对数据侧提出了更高的要求。数据的价值随着时间的增加而降低，分析以及运营更加希望实时数据助力业务发展，研发也希望借助BI侧的大数据综合计算能力得到汇总数据。
本文目录： 一、数据流向 二、应用示例 三、何为数仓DW 四、为何要分层 五、数据分层 六、数据集市 七、问题总结
数仓在建设过程中，对数据的组织管理上，不仅要根据业务进行纵向的主题域划分，还需要横向的数仓分层规范。本文作者围绕企业数仓分层展开分析，希望对你有帮助。
我在2017年写了一本名为《Hadoop构建数据仓库实践》的书。在这本书中，较为详细地讲解了如何利用Hadoop（Cloudera's Distribution Including Apache Hadoop，CDH）生态圈组件构建传统数据仓库。例如，使用Sqoop从关系数据库全量或增量抽取数据到Hadoop系统，使用Hive进行数据转换和装载处理等等。作为进阶，书中还说明了数据仓库技术中的渐变维、代理键、角色扮演维度、层次维度、退化维度、无事实事实表、迟到事实、累计度量等常见问题在Hadoop上的处理。它们都是通过Hive SQL来实现的，其中有些SQL语句逻辑复杂，可读性也不是很好。
前面文章中，我们用Kettle工具实现了Hadoop多维数据仓库的基本功能，如使用Sqoop作业项、SQL脚本、Hadoop file output、ORC output等步骤实现ETL过程，使用Oozie、Start作业项定期执行ETL任务等。本篇将继续讨论常见的维度表技术，以最简单的“增加列”开始，继而讨论维度子集、角色扮演维度、层次维度、退化维度、杂项维度、维度合并、分段维度等基本的维度表技术。这些技术都是在实际应用中经常使用的。在说明这些技术的相关概念和使用场景后，我们以销售订单数据仓库为例，给出Kettle实现和测试过程。
Data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。
2022年是魔幻年，2.24号，在外面爬雪山团建，谈着刚刚打响的俄乌战争。4月招聘一位上海员工，但因为疫情管控只能远程报到，杭州亚运会也被迫推迟，随后几个月大家都笼罩在阴影中，唯有世界杯带来了快乐，但原计划12.18号一起看决赛，没想到公司瞬间阳了一半，看球活动也被迫取消。好在疫情快速消停，和家人度过一个大团圆春节。
有一种合并维度的情况，就是本来属性相同的维度，因为某种原因被设计成重复的维度属性。例如，在销售订单示例中，随着数据仓库中维度的增加，我们会发现有些通用的数据存在于多个维度中。客户维度的
今天，AWS首席布道者Jeff Barr在其博客上透露，Amazon消费者业务正式完成了对Oracle数据库的迁移工作，关闭了最后的Oracle数据库。Amazon将近7500个Oracle数据库、75 PB级数据库全部迁移到AWS数据库服务，包括Amazon DynamoDB，Amazon Aurora，Amazon Relational Database Service（RDS）和Amazon Redshift。
随着云计算的普及和数据分析需求的扩大，数据湖+数据仓库的湖仓一体分析能力成为下一代数据分析系统的核心能力。相对于数据仓库，数据湖在成本、灵活性、多源数据分析等多方面，都有着非常明显的优势。IDC发布的十项2021年中国云计算市场趋势预测中，有三项和数据湖分析有关。可以预见，跨系统集成能力、数据控制能力和更加全面的数据驱动能力，将会是未来数据分析系统重要的竞争领域。
本篇介绍如何利用Kettle提供的转换步骤和作业项实现Hadoop数据仓库的数据抽取，即ETL过程中的Extract部分。首先简述Kettle中几种抽取数据的组件，然后讲述变化数据捕获（Change Data Capture，CDC），以及Kettle如何支持不同的CDC技术。Hadoop生态圈中的Sqoop工具可以直接在关系数据库和HDFS或Hive之间互导数据，而Kettle支持Sqoop输入、输出作业项。最后我们使用Kettle里的Sqoop作业项以及基于时间戳的CDC转换实现销售订单示例的数据抽取过程，将MySQL中的源数据抽取到Hive的rds数据库中。
DTS 作为数据交互引擎，以其高效的实时数据流处理能力和广泛的数据源兼容性，为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。云数据库 SelectDB 通过与 DTS 联合，为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务，一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库，迁移或同步至云数据库 SelectDB 的实例中，帮助企业在短时间内完成数据迁移或同步，并即时获得深度洞察。
十二、间接数据源 本节讨论如何处理间接数据源。间接数据源与维度表具有不同的粒度，因此不能直接装载进数据仓库。在这里通过修改进阶技术（八）——“多路径和参差不齐的层次”里的促销源数据说明怎样处理间接数据源。
一、层次维度简介 大多数维度都具有一个或多个层次。例如，示例数据仓库中的日期维度就有一个四级层次：年、季度、月和日。这些级别用date_dim表里的列表示。日期维度是一个单路径层次，因
最近在工作中我需要把数据从公共的 Data Warehouse（数据仓库）导出来，放到属于我们 team 自己账号的云端存储资源中去，然后再在我们的应用中查询这样的资源。需要导出数据是因为直接从 Data Warehouse 查询数据是一个缓慢而且异步的过程，而我们的应用数据查询需要实时性。现在要解决这个问题有一些 AWS 的服务可供我们可以选择，基本上分成了两大类：
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/52054811
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/52165035
生成式 AI 时代的到来催生了向量数据库日益增长的需求和应用。亚马逊云科技也在多种数据库服务上实现向量搜索功能，并且他们也认为这是任何数据库都应当具备的一项核心功能。那亚马逊云科技在数据库产品上有什么样的规划、他们如何看待纯向量数据库需求？针对上述问题，近期在 re:Invent 现场，InfoQ 采访了亚马逊云科技数据库和迁移副总裁 Jeff Carter。
来源：五分钟学大数据 本文约10000+字，建议阅读10+分钟 本文将从历史的角度对数据湖和数据仓库的来龙去脉进行深入剖析。 随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。 但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？二者是水火不容还是其实可以和谐共存，甚至互为补充？ 本文作者来自阿里巴巴计算平台部门，深度参与阿里巴巴大数据/数
单个物理维度可以被事实表多次引用，每个引用连接逻辑上存在差异的角色维度。例如，事实表可以有多个日期，每个日期通过外键引用不同的日期维度，原则上每个外键表示不同的日期维度视图，这样引用具
领取专属 10元无门槛券
手把手带您无忧上云
