腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop数据仓库

专栏作者

511

文章

707465

阅读量

108

订阅数

MySQL全局遍历替换特征字符串

http sql 数据库云数据库 SQL Server 编程算法

需求：将一个MySQL实例（如10.10.10.1:3306）范围内所有字段数据中的 .letssing.net 替换为 .kaixinvv.com。

2023-03-08

1.8K0

维度模型数据仓库（十三） —— 退化维度

数据库云数据库 SQL Server sql

（五）进阶技术 8. 退化维度本篇讨论一种称为退化维度的技术。该技术减少维度的数量，简化维度数据仓库的模式。简单的模式比复杂的更容易理解，也有更好的查询性能。当一个维度没有数据仓库需要的任何数据时就可以退化此维度。需要把退化维度的相关数据迁移到事实表中，然后删除退化的维度。退化订单维度本节说明如何退化订单维度，包括对数据仓库模式和定期装载脚本的修改。使用维度退化技术时你首先要做的识别数据，分析从来不用的数据列。例如，订单维度的order_number列就可能是这样的一列。但如果用户想看事务的细节，还需要订单号。因此，在退化订单维度前，要把订单号迁移到sales_order_fact表。图（五）- 8-1显示了迁移后的模式。

2022-12-02

2.7K0

维度模型数据仓库（六） —— 增加列

sql 数据库云数据库 SQL Server

（五）进阶技术 1. 增加列数据仓库最常碰到的扩展是给一个已经存在的维度表和事实表添加列。本篇先讨论如果需要增加列，模式会发生怎样的变化。然后进一步说明如何在客户维度和销售订单事实表上添加列，并在新列上应用SCD2。假设需要在客户维度中增加送货地址属性，并在销售订单事实表中增加数量度量值。

2022-12-02

5660

维度模型数据仓库（一） —— 概述

大数据 sql 数据库云数据库 SQL Server

最近看了三本关于数据仓库的书，很有收获，也很受启发。这三本书分别是《数据仓库工具箱（第三版）》、《Dimensional Data Warehousing with MySQL: A Tutorial》和《Pentaho Kettle解决方案》。在仔细研读了这三本书之后，感觉就像是一本书的三个层次。Ralph Kimball的经典著作数据仓库工具箱阐述的是维度建模方法论和按不同行业建模的示例。Dimensional Data Warehousing with MySQL在维度模型的基础上，用MySQL基本的SQL语句实现了各种常见场景下的ETL。而Kettle则是完全以Ralph Kimball提出的34个ETL子系统为理论基础开发出来的工具，以提供GUI的方式实现ETL。三本书的作者都是各自领域的杰出人物，是当之无愧的大神，内容的质量自不必说。但是也有些美中不足，比如工具箱这本书翻译的佶屈聱牙，让人颇为费解。Dimensional Data Warehousing with MySQL中有些错误，可能是印刷原因吧（此书没有中文版），有些按书中代码执行得不到想要的结果。倒是Kettle这本书，译者也是长期从事ETL开发的专业人员，不但翻译的通俗易懂，还适当添加了译者注，指出书中的一些过时的说法，至少对我来说受益匪浅。有了以上的这些体会，我自然而然地产生一种想法：把几本书中所讲内容用一个完整的示例系统地实验一遍，使用SQL和Kettle两种方式来实现。一来对维度建模方法加深一下印象，二来也是对前段学习的一个总结，三是作为以后做数据仓库相关工作的不时之需。这是第一阶段要做的事情，第二阶段准备用Data Vault模型再做一遍，研究一下这种较新的建模方法。内容组织：（一）维度模型基础（二）准备数据仓库模拟环境（三）初始装载（四）定期装载（五）进阶技术 1. 增加列 2. 按需装载 3. 维度子集 4. 角色扮演维度 5. 快照 6. 维度层次 7. 多路径和参差不齐的层次 8. 退化维度 9. 杂项维度 10. 多重星型模式 11. 间接数据源 12. 无事实的事实表 13. 迟到的事实 14. 维度合并 15. 累积的度量 16. 分段维度

2022-12-02

4680

MySQL查询求中位数最简单的写法

数据库云数据库 SQL Server sql 编程算法

讨论：MySQL本身没有提供中位数函数。网上有许多写法，基本是笛卡尔积与窗口函数两类，但都不是很理想。

2022-10-28

1.3K0

ShardingSphere实践（9）——tpcc-mysql 压测

https 网络安全数据库云数据库 SQL Server sql

MySQL版本：5.7.34 ShardingSphere-Proxy：5.1.2

2022-09-21

7030

ShardingSphere实践（8）——影子库

云数据库 SQL Server 数据库 sql 编程算法

在基于微服务的分布式应用架构下，业务需要的多个服务是通过一系列的服务、中间件的调用来完成，所以单个服务的压力测试已无法代表真实场景。在测试环境中，如果重新搭建一整套与生产环境类似的压测环境，成本过高，并且往往无法模拟线上环境的复杂度以及流量。因此，业内通常选择全链路压测的方式，即在生产环境进行压测，这样所获得的测试结果能够准确地反应系统真实容量和性能水平。

2022-08-30

1.2K1

ShardingSphere实践（7）——数据加密

云数据库 SQL Server sql 数据库迁移

安全控制一直是治理的重要环节，数据加密属于安全控制的范畴。无论对互联网公司还是传统行业来说，数据安全一直是极为重视和敏感的话题。数据加密是指对某些敏感信息通过加密规则进行数据的变形，实现敏感隐私数据的可靠保护。涉及客户安全数据或者一些商业性敏感数据，如身份证号、手机号、卡号、客户号等个人信息按照相关部门规定，都需要进行数据加密。

2022-06-14

1.5K0

维度模型数据仓库（二十） —— 累积的度量

数据库云数据库 SQL Server sql

（五）进阶技术 15. 累积的度量本篇说明如何实现累积月底金额，并对数据仓库模式和初始装载、定期装载脚本做相应地修改。累积度量是半可加的，而且它的初始装载比前面做的要复杂的多。可加、半可加、不可加事实事实表中的数字度量可划分为三类。最灵活、最有用的度量是完全可加的，可加性度量可以按照与事实表关联的任意维度汇总。半可加度量可以对某些维度汇总，但不能对所有维度汇总。差额是常见的半可加度量，除了时间维度外，它们可以跨所有维度进行加法操作。另外，一些度量是完全不可加的，例如比率。修改模式建立一个新叫做month_end_balance_fact的事实表，用来存储销售订单金额的月底累积值。month_end_balance_fact表在模式中构成了另一个星型模式。新的星型模式除了包括这个新的事实表，还包括两个其它星型模式中已有的维度表，即product_dim和month_dim。图（五）- 15-1显示了新的模式。注意这里只显示了相关的表。

2022-06-14

4760

维度模型数据仓库（十九） —— 维度合并

网络安全数据库云数据库 SQL Server sql

（五）进阶技术 14. 维度合并随着数据仓库中维度的增加，会发现有些通用的数据存在于多个维度中。例如，客户维度的客户邮编相关信息、送货邮编相关信息和工厂维度里都有邮编、城市和州。本篇说明如何把三个维度里的邮编相关信息合并到一个新的邮编维度。修改数据仓库模式为了合并维度，需要改变数据仓库模式。图（五）- 14-1显示了修改后的模式。新增了一个zip_code_dim表，sales_order_fact和production_fact表的结构也做了相应的修改。注意图中只显示了与邮编维度相关的表。

2022-06-14

5040

ShardingSphere实践（5）——性能测试

腾讯云测试服务云数据库 SQL Server sql 数据库 https

从业务角度考虑，分为直连、单路由、主从、分库分表四个基本应用场景，对 ShardingSphere-Proxy 和 MySQL 进行性能对比。ShardingSphere官方文档中说明支持Sysbench和BenchmarkSQL 5.0，但是BenchmarkSQL 5.0本身不支持MySQL数据库（需要自行修改源码重新编译），因此别无选择只能使用Sysbench进行性能基准测试。

2022-06-05

1.1K0

ShardingSphere实践（4）——读写分离

网络安全云数据库 SQL Server 数据库 sql 编程算法

ShardingSphere最重要的功能模块是数据分片，从规则到实现都比较复杂。其他功能相对来说比较简单，本篇介绍ShardingSphere的读写分离功能。

2022-06-05

4260

ShardingSphere实践（3）——数据分片

nosql postgresql 云数据库 SQL Server sql 数据库管理

传统的将数据集中存储至单一节点的解决方案，在性能、可用性和运维成本这三方面已经难于满足海量数据的场景。

2022-06-05

2.8K0

（二）ShardingSphere-Proxy集群式安装

zookeeper 数据库 sql 云数据库 SQL Server https

从上一篇介绍的产品路线已知，ShardingSphere当前对数据库接入端主要提供了JDBC和Proxy两款产品。ShardingSphere-JDBC面向开发人员，以jar包形式提供服务，因此不需要安装，只要部署好相关jar包和数据库系统提供的JDBC驱动程序，再做适当配置即可使用。ShardingSphere-Proxy面向DBA和运维人员，以代理方式提供服务，有中心静态入口，需要安装部署过程。

2022-05-26

1.5K0

MySQL实现条件唯一性

数据库云数据库 SQL Server sql

当status_x<>5时，obj_x的值唯一，否则可以重复。在MySQL中不支持这样的功能，但可以通过虚拟列来实现。看下面一个简单例子。

2022-05-19

7450

MySQL 8 复制（七）——组复制基本原理

java 数据库云数据库 SQL Server sql 分布式

3. 数据操作语言（Data Manipulation Language，DML）

2022-05-07

1.2K0

Pentaho Work with Big Data（八）—— kettle集群

数据库云数据库 SQL Server sql

一、简介集群技术可以用来水平扩展转换，使它们能以并行的方式运行在多台服务器上。转换的工作可以平均分到不同的服务器上。一个集群模式包括一个主服务器和多个子服务器，主服务器作为集群的控制器。简单地说，作为控制器的Carte服务器就是主服务器，其他的Carte服务器就是子服务器。一个集群模式也包含元数据，元数据描述了主服务器和子服务器之间怎样传递数据。在Carte服务器之间通过TCP/IP套接字传递数据。二、环境 4台CentOS release 6.4虚拟机，IP地址为 192.168.56.104 192.168.56.102 192.168.56.103 192.168.56.104作为主Carte。 192.168.56.102、192.168.56.103作为子Carte。 192.168.56.104、192.168.56.102、192.168.56.103分别安装Pentaho的PDI，安装目录均为/home/grid/data-integration。 PDI版本：6.0 三、配置静态集群 1. 建立子服务器（1）打开PDI，新建一个转换。（2）在“主对象树”标签的“转换”下，右键点击“子服务器”，新建三个子服务器。如图1所示。

2022-05-07

4720

Pentaho Work with Big Data（七）—— 从Hadoop集群抽取数据

云数据库 SQL Server http hive 大数据数据库

一、把数据从HDFS抽取到RDBMS 1. 从下面的地址下载示例文件。 http://wiki.pentaho.com/download/attachments/23530622/weblo

2022-05-07

2530

利用sqoop将hive和mysql数据互导简单实验

SSL 证书 jdbc https 云数据库 SQL Server http

1. Hadoop、Hive、MySQL安装（略） 2. 下载sqoop http://www.apache.org/dyn/closer.lua/sqoop/1.4.6 3. 解压 tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 4. 建立软连接 ln -s sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop 5. 加执行文件路径 export PATH=$PATH:/

2022-05-07

5660

MySQL使用变量实现部分分组聚合

oracle 数据库云数据库 SQL Server sql

在实际应用中经常有这种需求，按照select的字段中的部分字段分组聚合，比如下面的例子：

2022-05-07

6370

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态