在Oracle中，什么是延迟段创建（Deferred Segment Creation）？
使用 Kafka，如何成功迁移 SQL 数据库中超过 20 亿条记录？我们的一个客户遇到了一个 MySQL 问题，他们有一张大表，这张表有 20 多亿条记录，而且还在不断增加。如果不更换基础设施，就有磁盘空间被耗尽的风险，最终可能会破坏整个应用程序。而且，这么大的表还存在其他问题：糟糕的查询性能、糟糕的模式设计，因为记录太多而找不到简单的方法来进行数据分析。我们希望有这么一个解决方案，既能解决这些问题，又不需要引入高成本的维护时间窗口，导致应用程序无法运行以及客户无法使用系统。在这篇文章中，我将介绍我们的解决方案，但我还想提醒一下，这并不是一个建议：不同的情况需要不同的解决方案，不过也许有人可以从我们的解决方案中得到一些有价值的见解。
我们的一个客户遇到了一个 MySQL 问题，他们有一张大表，这张表有 20 多亿条记录，而且还在不断增加。如果不更换基础设施，就有磁盘空间被耗尽的风险，最终可能会破坏整个应用程序。而且，这么大的表还存在其他问题：糟糕的查询性能、糟糕的模式设计，因为记录太多而找不到简单的方法来进行数据分析。我们希望有这么一个解决方案，既能解决这些问题，又不需要引入高成本的维护时间窗口，导致应用程序无法运行以及客户无法使用系统。在这篇文章中，我将介绍我们的解决方案，但我还想提醒一下，这并不是一个建议：不同的情况需要不同的解决方案，不过也许有人可以从我们的解决方案中得到一些有价值的见解。
最近，谷歌宣布正式发布 Hive-BigQuery Connector，简化 Apache Hive 和 Google BigQuery 之间的集成和迁移。这个开源连接器是一个 Hive 存储处理程序，它使 Hive 能够与 BigQuery 的存储层进行交互。
《高性能MySQL》中：分区的一个主要目的是将数据按照一个较粗的粒度分在不同的表中，这样做可以将相关的数据放在一起，另外，如果想一次批量删除整个分区的数据也会变得很方便。
MySQL表分区是一种数据库管理技术，用于将大型表拆分成更小、更可管理的分区（子表）。每个分区可以独立进行维护、备份和查询，从而提高数据库性能和管理效率。以下是详细介绍MySQL表分区的步骤和注意事项：
本文介绍了Hive的HQL语言，包括数据定义、数据操作、安全措施、分区表等方面的内容。Hive是一种基于Hadoop的数据仓库工具，使用HQL语言进行数据查询。在Hive中，可以使用CREATE TABLE、ALTER TABLE、DROP TABLE等语句进行表的操作，包括定义表、修改表结构、删除表等。Hive还提供了数据操作相关的安全措施，如设置“strict”模式、单独为外部表的分区指定值和存储位置等。此外，还介绍了Hive中HQL的数据操作，包括LOAD DATA、INSERT INTO、SELECT INTO等语句，以及这些语句的使用方法和注意事项。通过使用Hive，用户可以方便地进行数据查询、数据处理和数据分析等工作。
EXPLAIN： 为 SELECT语句中使用到的每个表返回一条信息。它按照MySQL在处理语句时读取它们的顺序列出这些表。MySQL使用循环嵌套算法解析所有连接。意味着MySQL从第一个表中读取一行，然后在第二个表，第三个表中找到匹配的行，等等。
对用户来说，分区表是一个独立的逻辑表，但是底层由多个物理子表组成。实现分区的代码实际上是对一组底层表的句柄对象的封装。
在上一篇《Server层统计信息字典表 | 全方位认识 information_schema》中，我们详细介绍了information_schema系统库的列、约束等统计信息字典表，本期我们将为大家带来系列第三篇《Server层表级别对象字典表 | 全方位认识information_schema》。
在Oracle数据库中，什么是不可用索引（Unusable Indexes），哪些操作会导致索引变为不可用（unusable）即失效状态？
greenplum Schema 是 Database中逻辑组织object和data。 在同一Database中，不同schema的对象可以使用相同的名称。
MySQL从5.1版本开始支持分区的功能。分区是指根据一定的规则，数据库把一个表分解成多个更小的、更容易管理的部分。就访问数据库的应用而言，逻辑上只有一个表或一个索引，但是实际上这个表可能由数十个物理分区对象组成，每个分区都是一个独立的对象，可以独自处理，可以作为表的一部分进行处理。分区对应用来说是完全透明的，不影响应用的业务逻辑。 MySQL分区的优点主要包括以下4个方面： 和单个磁盘或者文件系统分区相比，可以存储更多数据。 优化查询：在Where子句中包含分区条件时，可以只扫描必要的一个或多个分区来
PARTITIONS表提供有关表分区的信息。 此表中的每一行对应于分区表的单个分区或子分区。 有关分区表的更多信息，请参见分区。
Hive作为大数据分析领域常用的仓库工具，即使是现在流式计算如火如荼背景下，Hive依然倍受各大厂商挚爱。使用Hive过程中，面对各种各样的查询需求，需要具有针对性的优化下面内容就给大家分别介绍下。
本文介绍了Hive表的基本数据模型、数据存储、数据读取、数据删除、数据修改、数据分区、桶，以及如何使用Hive进行数据分析。
作者介绍 赵勇 云和恩墨北区技术工程师 专注于SQL审核和优化相关工作。曾经服务的客户涉及金融保险、电信运营商、政府、生产制造等行业。 分区裁剪的定义 分区表的实质是采用化整为零的思想，将一个大对象划
ClickHouse字典中的字典关键字用于定义和配置字典。字典是ClickHouse中的一个特殊对象，它存储了键值对数据，并提供了一种在查询中使用这些数据的高效方式。
随着业务的发展，当然现在比较流行的微服务无非就是业务垂直拆分+功能水平拆分，应用加节点是比较简单的，但是每个业务的单库单表扛不住了；数据库分库分表相对来说更复杂一点，但是分区表可以继续支持业务发展两三年，人手有限的情况下，我觉得分布表更合适一点。架构的终极目标是用最小的人力成本来满足就构建维护系统的需求。
从OracleDatabase 12c第2版（12.2）开始，可以在尚未指定为 INMEMORY 的对象的列级别指定 INMEMORY 子句。
达梦数据库分区表主要包括范围分区、哈希分区和列表分区三种方式， 企业可以使用合适的分区方法，如日期（范围）、区域（列表），对大量数据进行分区。由于达梦数据库划分的分区是相互独立且可以存储于不同的存储介质上的，完全可满足企业高可用性、 均衡IO、降低维护成本、提高查询性能的要求。今天我们主要讨论水平分区
文章摘要：一个小小的MySQL数据库B-Tree索引可能会带来意想不到的性能优化提升……
在MySQL中，我们知道加索引能提高查询效率，这基本上算是常识了。但是有时候，我们加了索引还是觉得SQL查询效率低下，我想看看有没有使用到索引，扫描了多少行，表的加载顺序等等，怎么查看呢？其实MySQL自带的SQL分析神器Explain执行计划就能完成以上的事情！
就访问数据库的应用程序而言，逻辑上只有一个表或者一个索引，但是实际上这个表可能由数十个物理分区对象组成，每个分区都是一个独立的对象，可以独自处理，可以作为表的一部分进行处理。
MySQL日志主要包括查询日志、慢查询日志、事务日志、错误日志、二进制日志等。其中比较重要的是 bin log（二进制日志）和 redo log（重做日志）和 undo log（回滚日志）。
接上期，这边2个 1000万的表people people_1, 与一个range 的分区表people_range 1000万左右的数据表，分别进行JOIN 的运算
4.在HIve的 cli命令行上显示当前数据库，以及查询表的行头信息，在hive-site.xml文件下增加如下参数：
使用DESC EXTENDED table_name;命令查看Hash Clustering Table的Clustering属性，如下所示，Clustering属性将显示在Extended Info中：
摘要：本文介绍宜信105条数据库军规，帮助研发团队评估数据库开发质量，达到尽早发现问题解决问题的目标。
在我们实际开发中，随着业务的不断增加，数据量也在不断的攀升，这样就离不开一个问题：数据查询效率优化 根据自己的以往实际项目工作经验和学习所知，现在对SQL查询优化做一个简单的梳理总结，总结的不好之处，望多多指点交流学习 主要通过以下几个点来进行总结分析：索引、语句本身、分区存储、分库分表
分区是将一个表的数据按照某种方式，比如按照时间上的月份，分成多个较小的，更容易管理的部分，但是逻辑上仍是一个表。我们在此之前已经讲过MySQL分区表的原理，分区有利于管理非常大的表，它采用分而治之的逻辑，便于对数据的管理。本期我们就来进一步了解MySQL分区表，详细看一下MySQL分区表类型究竟有几个？
Fayson在前面的文章《如何在Hadoop中处理小文件》和《如何使用Impala合并小文件》中介绍了什么是Hadoop中的小文件，以及常见的处理方法。这里Fayson再补充一篇文章进行说明。
并详细介绍了 SQL 调优 的关注点和常用方法，作为数据库规划、设计、开发及维护人员的技术参考资料。
分区是一种表的设计模式，通俗地讲表分区是将一大表，根据条件分割成若干个小表。但是对于应用程序来讲，分区的表和没有分区的表是一样的。换句话来讲，分区对于应用是透明的，只是数据库对于数据的重新整理。本篇文章给大家带来的内容是关于MySQL中分区表的介绍及使用场景，有需要的朋友可以参考一下，希望对你有所帮助。
触发器是指存放在数据库中，并被隐藏执行的存储过程。在Oracle8i之前，只允许基于表或视图的DML操作(insert,update,delete)建立触发器，在oracle8i之后，不仅支持DML操作，也允许基于系统事件(启动数据库，关闭数据库，登录)和DDL操作建立触发器。
因为生产环境的性能瓶颈，经过诊断，给出的结论是需要把几个表和索引放入keep pool,几个索引放入recycle pool. 其实放入keep pool 确实对于频繁访问的数据，而且数据量不大的情况下，性能有一定的改善。避免了大量的物理读。大家的大体感觉都是把表放入keep pool,其实在一定的情况下，把索引放入keep pool也有一定的道理，某些较大的索引，可能已经走了索引但是还是因为索引占用的数据块较多，段太大，还是会走大量的物理读，放入keep pool也有一定的改善。 至于recycle po
GPDB分区表创建时有可能表名已存在，此时报错退出。但当分区表名超过64字符时，会进行截断，仅保留前63字符，此时就可能出现分区表名不同，截断后创建的分区表名相同从而创建失败的情况；还会出现分区表父表创建成功，但分区子表名创建失败，报表名已存在等错误导致创建失败。本文基于GreenPlum7.0分区表经典语法详细分析分区表名及分区子表名生成机制。
第五章 创建高性能的索引 1.索引类型 1.1 普通索引 NORMAL: 是最基本的索引，它没有任何限制。 1.2 唯一索引 SPATIAL: 与前面的普通索引类似，不同的就是：索引列的值必须唯一，但允许有空值。如果是组合索引，则列值的组合必须唯一。 1.3 主键索引: 是一种特殊的唯一索引，一个表只能有一个主键，不允许有空值。一般是在建表的时候同时创建主键索引： 1.4 组合索引: 指多个字段上创建的索引，只有在查询条件中使用了创建索引时的第一个字段，索引才会被使用。使用组合索引时遵循最左前缀集
分区也被称为复合分区在分区表中每个分区的进一步划分。子分区也必须是hash分区/key分区
已经基于行级锁的话，就没有办法从软件层面提升并发度了，否则会事务冲突。所以思路：行级锁、物理层面提升。
Postgresql官方开发组于5月20号正式发布了postgresql14 beta测试版本，很好的日子，postgresql值得大家钟爱不是么？来看看官方发布的新特性。
该文介绍了在数据库中如何使用分区表来提高查询性能和节省存储空间。文章首先介绍了分区表的概念和作用，然后详细描述了如何创建分区表、使用SQL语句查询分区表以及管理分区表。此外，文章还提供了在HAWQ中实现分区滚动升级的方法，并通过实例展示了该方法的实现过程。
编者按：最近，国外一名小姐姐分享了自己的编程学习经验，引起了不少关注。她名为Keri Savoca，小时候就学了HTML并开发了网站。之后又学习了SQL语言以及JavaScript和Ruby等。在这个过程中，她也积累了不少感悟与经验，并分享了出来。有人阅读了之后称，文章里面的确有比较扎实的干货。希望能够给你带来启发。
为了简化数据库大表的管理,例如在数据仓库中一般都是TB级的数量级.ORACLE8以后推出了分区选项.分区将表分离在若于不同的表空间上,用分而治之的方法来支撑元限膨胀的大表,组大表在物理一级的可管理性.将大表分割成较小的分区可以改善表的维护、备份、恢复、事务及查询性能。 分区的优点： 1、 增强可用性：如果表的一个分区由于系统故障而不能使用，表的其余好的分区仍可以使用； 2、 减少关闭时间：如果系统故障只影响表的一部份分区，那么只有这部份分区需要修复，矿能比整个大表修复花的时间更少； 3、 维护轻松：
create table bigtable(id bigint, t bigint, uid string, keyword string,
维基百科pageview数据是Wikimedia技术团队所维护的访问量数据集。该数据集自2015年五月启用，其具体的pageview定义为对某个网页内容的请求，会对爬虫和人类的访问量进行区分，粒度为小时级别，如下图：
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
一、Hive 基本面试1、什么是 metastore2、metastore 安装方式有什么区别3、什么是 Managed Table 跟 External Table？4、什么时候使用 Managed Table 跟 External Table？5、hive 有哪些复合数据类型？6、hive 分区有什么好处？7、hive 分区跟分桶的区别8、hive 如何动态分区9、map join 优化手段10、如何创建 bucket 表？11、hive 有哪些 file formats12、hive 最优的 file formats 是什么？13、hive 传参14、order by 和 sort by 的区别15、hive 跟 hbase 的区别二、Hive 数据分析面试1、分组 TopN，选出今年每个学校、每个年级、分数前三的科目2、今年，北航，每个班级，每科的分数，及分数上下浮动 2 分的总和3、where 与 having：今年，清华 1 年级，总成绩大于 200 分的学生以及学生数三、Flume + Kafka 面试1、flume 如何保证数据的可靠性？2、kafka 数据丢失问题，及如何保证？3、kafka 工作流程原理4、kafka 保证消息顺序5、zero copy 原理及如何使用？6、spark Join 常见分类以及基本实现机制
一、Oracle事务 ·事务的含义：事务是业务上的一个逻辑单元，为了保证数据的所有操作要么全部完成，要么全部失败。 1、事务的开始是从一条SQL语句开始，结束于下面的几种情况： 1）显示提交：输入commit指令，事务完成提交 2）显示回滚：输入rollback指令，未提交的事务丢掉，回滚到事务开始时的状态。 3）DDL语句：即create、drop等语句，这些语句会使事务自动隐式提交 4）结束程序：输入exit退出数据库，则自动提交事务；或者意外终止、出现程序崩溃，则事务自动回滚。 2、事务的特点-ACID特性 1）原则性：要么同时成功，要么同时失败的原则 2）一致性：如，a转账给b，最总结果a+b的金钱总数是不变的 3）隔离性：当出现多个事务出现，它们之间是互相隔离、互不影响的 4）持久性：事务一旦提交，则数据永久修改。 3、关于事务的三个命令 commit ：立即提交事务 rollback ：回滚事务 set autocommit on/off ：设置/关闭自动提交 二、索引 ·索引是Oracle的一个对象，是与表关联的可选结构，用于加快查询速度，提高检索性能。 1、特点 1）适当使用索引可以提高查询速度、建立索引的数量无限制 2）可以对表的一列或者多列建立索引 3）索引是需要磁盘空间，可以指定表空间存储索引。 4）是否使用索引有Oracle决定 2、索引的分类 B树索引：从顶部为根，逐渐向下一级展开 唯一索引：定义索引的列没有任何重复 非唯一索引：与唯一索引相反 反向键索引：对与数字列作用较大，会将1234生成4321进行查询的索引 位图索引：应用于数据仓库和决策支持系统中。优点是相对于b树索引，可以减少响应时间；相对于其他索引，其空间占用少。 函数索引：使用函数涉及正在创建索引的列的索引 3、创建索引 操作时我们可以使用Oracle的scott用户进行测试，首先解锁，在改一个密码，登陆进去就可以操作了
HIVE中的表以及语法 一、HIVE的表 HIVE使用的功能性的表格分为四种：内部表、外部表、分区表、分桶表。 1、内部表、外部表 1．特点 创建hive表，经过检查发现TBLS表中，hive表的类型为MANAGED_TABLE，即所谓的内部表。 内部表的特点是，先有表后有数据，数据被上传到表对应的hdfs目录下进行管理。 其实内部表的流程和sql数据库的表流程是几乎一样的。 但是在真实开发中，很可能在hdfs中已经有了数据，希望通过hive直接使用这些数据作为表内容
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
