数据复制在企业信息化建设中是非常重要的一环，不管是建设数据仓库，还是搭建灾备系统，都需要确定数据复制策略。
这篇文章来讲优化规则HiveReduceExpressionsWithStatsRule，主要功能是使用列统计Stats信息，来简化Filter过滤器条件。例如：通过统计信息知道a最大值为4，则a>5永远为false。当前仅支持的=, >=, <=, >, < 和 In操作判断简化。
MySQL InnoDB 引擎默认主键索引是 B+ 树索引，也是聚集索引，为何叫聚集索引呢？
答案来自这个链接： 每日一面 - mysql 的自增 id 的实现逻辑是什么样子的？
使用 READ UNCOMMITTED 隔离级别的事务，由于可以读到未提交事务修改过的记录，所以直接读取记录 的最新版本就好了。
🧑个人简介：大家好，我是 shark-Gao，一个想要与大家共同进步的男人😉😉
MVCC (Multiversion Concurrency Control)，多版本并发控制。顾名思义，MVCC是通过数据行的多个版本管理实现数据库的并发控制。这项技术使得在InnoDB的事务隔离级别下执行一致性读操作有了保证。换言之，就是为了查询一些正在被另一个事务更新的行，并且可以看到它们被更新之前的值，这样在做查询的时候就不用等待另一个事务释放锁。
setnx key value，当key不存在时，将 key 的值设为 value ，返回1
该处理器用于生成在表中执行分页查询的SQL 查询语句，分区(属性partition)大小以及表的行数决定页面的大小和数量以及生成的流文件。此外，可以通过设置最大值列来实现增量抓取数据，处理器会跟踪列的最大值，从而只抓取列值超过已记录到的最大值的行，该处理器只在主节点上运行，可以接受传入的连接;
1 <概述> 1.1 <目的> <读取 WinCC 在线表格控件中特定数据列的最大值、最小值和时间戳，并在外部对 象中显示。如图 1 所示。左侧在线表格控件中显示项目中归档变量的值，右侧静态 文本中显示的是表格控件中温度的最大值、最小值和相应的时间戳。
用过 Excel 的数据分析师，对 Excel 的『条件选择』与『格式呈现』功能大都印象深刻。下方动图演示了 Excel『数据选择&底色填充高亮』功能。如果我们需要『选择大于100的所有产品取值并对单元格填充红色』，直接如下图所示，在『条件格式』中选择『突出显示单元格规则』即可进行设置。
本文详细的介绍了什么是MVCC？为什么要有MVCC？以及MVCC的内部实现原理：包括Undo Log的版本链是如何组织的，RR、RC两个级别下一致性读是如何实现的等。通过案例、插图，以最通俗易懂的方式，让你彻底掌握MVCC的来龙去脉。
方法1：查询出结果后将时间排序后取第一条(只能取到一条，并且不能查询不同客户的记录)
创建数据- 首先创建自己的数据集进行分析。这可以防止阅读本教程的用户下载任何文件以复制下面的结果。我们将此数据集导出到文本文件，以便您可以获得的一些从csv文件中提取数据的经验
Oracle数据库里的直方图使用了一种称为Bucket（桶）的方式来描述目标列的数据分布。Bucket（桶）是一个逻辑上的概念，相当于分组，每个Bucket就是一组，每个Bucket里会存储一个或多个目标列中的数据。Oracle会用两个维度来描述一个Bucket，这两个维度分别是ENDPOINT_NUMBER和ENDPOINT_VALUE，Oracle会将每个Bucket的这两个维度记录在数据字典基表SYS.HISTGRM$中。列的直方图的类型可以通过查询视图DBA_TAB_COL_STATISTICS的HISTOGRAM列来获取，一般情况下包含3类，NONE（没有直方图）、FREQUENCY（频率直方图，也叫等频直方图）、HEIGHT BALANCED（高度平衡直方图，也叫等高直方图）。在Oracle 12c中，又新增了两种类型的直方图，分别是顶级频率直方图（Top Frequency Histogram）和混合直方图（Hybrid Histogram），本书只讨论频率和高度平衡直方图。
很多朋友安装好Power BI Desktop后，就马上开始导入数据、清洗、建模、写公式、出图表……很爽，对不对？
本文案例有多重背景，其一便是上海VIP培训活动中，小伙伴当场拿出实际业务来希望实现作图，从开始到超预期的完美实现，共计20分钟。小伙伴可亲自见证在完全精通 PowerBI DAX 下，可以直接驱动作图实现原来无法完成的效果。
SQL中的MIN()函数和MAX()函数用于查找所选列的最小值和最大值，分别。以下是它们的用法和示例：
在上篇文章“Hive优化器原理与源码解析系列--统计信息选择性计算”中，讲到了基于成本优化器和基于规则优化器的区别，这里就不再赘述。基于成本优化器会根据RelSet（等价关系表达式集合，其中元素每个RelNode关系表达式又是SQL中如Select、From、Where、Group的以代数表达式的表现形式）选出综合成本最低的关系表达式，使用动态规划算法构建出成本最优执行计划。那么基于成本优化器CBO有哪些计算指标作为成本函数的输入，除了选择性Selectivity、基数Cardinality，排序信息Collation（排序字段，排序方向等）、是否分布式等物理属性收集之外，还有IO、记录数RowNums、内存Memory都计算在成本内。这些都会作为成本优化器成本函数的输入。此文主要在介绍成本函数估算指标-内存计算。
1、innodb_trx表提供了当前innodb引擎内每个事务的信息（只读事务除外），包括当一个事务启动，事务是否在等待一个锁，以及交易正在执行的语句（如果有的话）。查询语句：
前面写了一篇文章和大家分享了 MySQL 中查询表记录数的问题，里边涉及到一个知识点 MVCC 多版本并发控制。这个问题不搞懂，总感觉缺点什么。因此今天我想花点时间和大家聊一聊 MVCC。
近期，线上有个重要Mysql客户的表在从5.6升级到5.7后，master上插入过程中出现"Duplicate key"的错误，而且是在主备及RO实例上都出现。
遇到不知道的函数时，可以使用help 函数名来查看帮助 1 求矩阵A的最大值的函数有3种调用格式，分别是： max(A)：返回一个行向量，向量的第i个元素是矩阵A的第i列上的最大值。 [Y,U]=max(A)：返回行向量Y和U，Y向量记录A的每列的最大值，U向量记录每列最大值的行号。 max(A,[],dim)：dim取1或2。dim取1时，该函数和max(A)完全相同；dim取2时，该函数返回一个列向量，其第i个元素是A矩阵的第i行上的最大值。 求最小值的函数是min，其用法和max完全相同。
最近做了一些分布式事务的项目，对事务的隔离性有了更深的认识，后续写文章聊分布式事务。今天就复盘一下单机事务的隔离性是如何实现的？
事务A和事务B都读取了同一行数据， 比如原数据行的值是100，事务A是将数值读取出来+1并更新， 事务B是读取数值+2并更新。当事务A和事务B都读取到了100,事务A首先完成并更新为101，事务B随后完成更新成了102。这样事务B就把事务A的结果覆盖了。
## 绘图 c = LineChart() # 设置图标类型：LineChart 连线图 AreaChart 面积图 c.title = 'CPU利用率' # 设置生成图的报告名称 c.style = 10 # 设置图例样式 c.y_axis.title = '百分比' # 设置 Y 轴名称 c.x_axis.title = '时间' # 设置 X 轴名称 c.y_axis.scaling.min = 0 # 设置y轴坐标最的小值 c.y_axis.majorUnit = 10 # 设置主y轴坐标，两个“坐标刻度”直接的间隔 c.y_axis.scaling.max = 100 # 设置主y轴坐标的最大值 # 设置 data引用数据源：第2列到第列(包括第2，10列)，第1行到第30行，包括第1, 30行 data = Reference(sheet, min_col=2, max_col=10, min_row=1, max_row=30) c.add_data(data, titles_from_data=True) # 设置x轴 坐标值,即轴标签(Label)（从第3列，第2行(包括第2行)开始取数据直到第30行(包括30行)） x_labels = Reference(sheet, min_col=1, min_row=2, max_row=30) c.set_categories(x_labels) c.width = 18 # 设置图表的宽度 单位 cm c.height = 8 # 设置图表的高度 单位 cm # 设置插入图表位置 cell = "A10" sheet.add_chart(c, cell) # 绘制双y坐标轴图表 sheet = work_book['DEV'] c1 = AreaChart() # 面积图 c1.title = '磁盘活动统计报告' c1.style = 10 # 10 13 11 c1.y_axis.title = '平均时长(毫秒)' c1.x_axis.title = '时间' c1.y_axis.majorGridlines = None first_row = [] # 存储第一行记录 # 获取第一行记录 for row in sheet.rows: for cell in row: first_row.append(cell.value) break # 拼接系列的方式 target_columns = ['await', 'svctm'] for target_column in target_columns: index = first_row.index(target_column) ref_obj = Reference(sheet, min_col=index + 1, min_row=2, max_row=300) series_obj = Series(ref_obj, title=target_column) c1.append(series_obj) x_labels = Reference(sheet, min_col=1, min_row=2, max_row=300) c1.set_categories(x_labels) c1.width = 18 c1.height = 8 c2 = LineChart() c2.y_axis.title = '磁盘利用率' c2.y_axis.scaling.min = 0 # 设置y轴坐标最的小值 #c2.y_axis.majorUnit = 5 # 设置主y轴坐标的坐标单位 c2.y_axis.scaling.max = 100 # 设置主y轴坐标的最大值 ref_obj = Reference(sheet, min_col=8, min_row=2, max_row=300) series_obj = Series(ref_obj, title='%util') c2.append(series_obj) s = c2.series[0] # 获取添加第一个系列 # 设置线条填充颜色，也是图例的颜色 s.graphicalProperties.line.solidFill = "DEB887" # 设置线形 可选值如下： # ['solid', 'dot', 'dash', 'lgDash', 'dashDo
道格拉斯-普克算法是我们常用的一种轨迹点的抽稀算法，抽稀出来的点可以尽可能的维持原先轨迹点的大体轮廓，剔除一些非必要的点。
首先，这是一个名为 Solution 的类定义，它实现了一个方法 maxAlternatingSum。该方法接受一个参数 nums，它是一个整数列表，并且返回一个整数作为结果。
(1) y=max(X):返回向量X的最大值存入y，如果X中包含复数元素，则按模取最大值。
随着系统用户量的不断增加，MySQL 索引的重要性不言而喻，对于后端工程师，只有在了解索引及其优化的规则，并应用于实际工作中后，才能不断的提升系统性能，开发出高性能、高并发和高可用的系统。 今天小编首先会跟大家分享一下MySQL 索引中的各种概念，然后介绍优化索引的若干条规则，最后利用这些规则，针对面试中常考的知识点，做详细的实例分析，这里还分析一份MySQL知识总结的思维导图。
Memory表支持 Hash索引，因此查找操作非常快。Memroy表是表级锁，因此并发写入的性能较低，每行的长度是固定的，可能导致部分内存的浪费。
在医疗场景下，涉及到的业务库有几十个，可能有上万张表要做实时入湖，其中还有某些库的表结构修改操作是通过业务人员在网页手工实现，自由度较高，导致整体上存在非常多的新增列，删除列，改列名的情况。由于Apache Hudi 0.9.0 版本到 0.11.0 版本之间只支持有限的schema变更，即新增列到尾部的情况，且用户对数据质量要求较高，导致了非常高的维护成本。每次删除列和改列名都需要重新导入，这种情况极不利于长期发展，所以需要一种能够以较低成本支持完整schema演变的方案。
今天单位值班，有一些时间可以继续完成这篇连载文章。首先祝所有朋友新年快乐！感谢你们在这一年当中对我文章的关注和指点，来年我们共同继续努力！
LeetCode 算法题，更像是披着编程语法外衣的数学题，很多典型的问题都有较优的解题思路与方法。之前我都是先尽力硬磕，几个小时肝出个解法，然后匆匆写一篇题记，观摩分析下更优的解法。但这个过程缺乏对更优解法的练习，再次遇到类似题目，首先想到的还是之前自己成功的那个思路，很难应用到本该学到的新的更优的解法。就好比曾经高考的数学题，想快速解决，看到题目就得有对应的最优解题思路。
1.MySQL中关于函数的说明 2.单行函数分类 3.字符函数 1）length(str)：获取参数值的字节个数； 2） concat(str1,str2,…)：拼接字符串； 3）upper(str)：将字符中的所有字母变为大写； 4）lower(str)：将字符中所有字母变为小写； 5）substr(str,start,[len])：从start位置开始截取字符串，len表示要截取的长度； 6）instr(str,要查找的子串)：返回子串第一次出现的索引，如果找不到，返回0； 7）trim(str)：去掉字符串前后的空格； 8）lpad(str,len,填充字符)：用指定的字符，实现对字符串左填充指定长度； 9）rpad(str,len,填充字符)：用指定的字符，实现对字符串右填充指定长度； 10） replace(str,子串,另一个字符串)：将字符串str中的字串，替换为另一个字符串； 4.数学函数 1）round(x,[保留的位数])：四舍五入； 2）ceil(x)：向上取整，返回>=该参数的最小整数。(天花板函数) 3）floor(x)：向下取整，返回<=该参数的最大整数。（地板函数） 4）truncate(x,D)：截断； 5）mod(被除数,除数)：取余； 5.日期时间函数 1）now()：返回系统当前的日期和时间； 2）curdate()：只返回系统当前的日期，不包含时间； 3）curtime()：只返回系统当前的时间，不包含日期； 4）获取日期和时间中年、月、日、时、分、秒； 5）weekofyear()：获取当前时刻所属的周数； 6）quarter()：获取当前时刻所属的季度； 7）str_to_date()：将日期格式的字符串，转换成指定格式的日期； 8）date_format()：将日期转换成日期字符串； 9）date_add() + interval：向前、向后偏移日期和时间； 10）last_day()：提取某个月最后一天的日期； 11）datediff(end_date,start_date)：计算两个时间相差的天数； 12）timestampdiff(unit,start_date,end_date)：计算两个时间返回的年/月/天数； 6.其它常用系统函数 7.流程控制函数 1）if函数：实现if-else的效果； 2）ifnull函数：判断值是否为null，是null用指定值填充； 3）case…when函数的三种用法； ① case … when用作等值判断的语法格式； ② case … when用作区间判断的语法格式； ③ case…when与聚合函数的联用 8.聚合函数 1）聚合函数的功能和分类； ① 聚合函数的功能； ② 聚合函数的分类； 2）聚合函数的简单使用； 3）五个聚合函数中传入的参数，所支持的数据类型有哪些？ ① 测试数据； ② sum()函数和avg()函数：传入整型/小数类型才有意义； ③ max()函数和min()函数：传入整型/小数类型、日期/时间类型意义较大； ④ count()函数：可以传入任何数据类型，但是碰到null要注意； ⑤ count()函数碰到null值需要特别注意； ⑥ count(1),count(0)表示的是啥意思呢？ ⑦ count(*)计数的效率问题； 4）聚合函数和group by的使用“最重要”；
# 常用库numpy import numpy as np array1 = np.array([1,2,3,4]) print(array1) # [1 2 3 4] array2 = np.array([ [1,2,6,9], [3,4,8,9], [3,5,9,9], [3,5,7,9], ]) print(array2) """ [[1 2] [3 4]] """ print(array1.shape) # (4,) 显示列的数量 print(array2.sh
上篇博客的实例是自带的UICollectionViewDelegateFlowLayout布局基础上来做的Demo, 详情请看《iOS开发之窥探UICollectionViewController(二) --详解CollectionView各种回调》。UICollectionView之所以强大，是因为其具有自定义功能，这一自定义就不得了啦，自由度非常大，定制的高，所以功能也是灰常强大的。本篇博客就不使用自带的流式布局了，我们要自定义一个瀑布流。自定义的瀑布流可以配置其参数: 每个Cell的边距，共有多少列，
工作近十年来，开源关系数据库PostgreSQL一直是OneSignal的核心部分。多年来，我们已经在近40台服务器上扩展了多达75 TB的存储数据。我们的实时分段功能极大地受益于PostgreSQL的性能，但是由于繁重的写入负载和PostgreSQL升级路径的限制而导致的膨胀，有时我们也一直在挣扎。
InnoDB实现标准的行级锁定，其中有两种类型的锁： 共享（S）锁和排他（X）锁。
传统行存储数据压缩率低，必须按行读取，即使读取一列也必须读取整行。在分析性的作业以及业务负载的情况下，数据库往往会遇到针对大量表的复杂查询，而这种复杂查询中往往仅涉及一个较宽（表列数较多）的表中个别列。此类场景下，行存储以行作为操作单位，会引入与业务目标数据无关的数据列的读取与缓存，造成了大量IO的浪费，性能较差。因此openGauss提供了列存储引擎的相关功能。创建表的时候，可以指定行存储还是列存储。
文章目录 Scala第四章节 章节目标 1. 流程控制结构 1.1 概述 1.2 分类 2. 顺序结构 2.1 概述 2.2 代码演示 2.3 思考题 3. 选择结构(if语句) 3.1 概述 3.2 分类 3.3 单分支 3.3.1 格式 3.3.2 执行流程 3.3.3 示例 3.4 双分支 3.4.1 格式 3.4.2 执行流程 3.4.3 示例 3.5 多分支 3.5.1 格式 3.5.2 执行流程 3.5.3 示例 3.6 注意事项 3.7 嵌套分支 3.8 扩展: 块表达式 4.
以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。
关于数据仓库，早期分享过不少基础类文章，偶然间看到知乎上这篇关于OLAP的深度解读，从技术发展，产品选型，执行优化等方面做了详细的剖析，分享来给大家看看！
翻译 | 王柯凝 责编 | suisui 【导读】Numpy是一个开源的Python科学计算库，专用于存储和处理大型矩阵，相比Python自身的嵌套列表结构要高效很多，是数据分析、统计机器学习的必备工具。Numpy还是深度学习工具Keras、sk-learn的基础组件之一。 此处的70个numpy练习，可以作为你学习numpy基础之后的应用参考。练习难度分为4层：从1到4依次增大。 快来试试你的矩阵运算掌握到了什么程度： 1.导入模块numpy并以np作为别名，查看其版本 难度：1 问题：导入模块num
B+ 树为了维护索引有序性，在插入新值的时候需要做必要的维护。如果插入的值比最大值id大，则只需要最后记录后面插入一个新记录。如果新插入的ID值在原先的有序中间，就相对麻烦了，需要逻辑上挪动后面的数据，空出位置。如果所在的数据页已经满了，根据 B+ 树的算法，这时候需要申请一个新的数据页，然后挪动部分数据过去。这个过程称为页分裂。在这种情况下，性能自然会受影响。 除了性能外，页分裂操作还影响数据页的利用率。原本放在一个页的数据，现在分到两个页中，整体空间利用率降低大约 50%。 当然有分裂就有合并。当相邻两个页由于删除了数据，利用率很低之后，会将数据页做合并。合并的过程，可以认为是分裂过程的逆过程。 基于上面的索引维护过程说明，我们来讨论一个案例： 你可能在一些建表规范里面见到过类似的描述，要求建表语句里一定要有自增主键。当然事无绝对，我们来分析一下哪些场景下应该使用自增主键，而哪些场景下不应该。 自增主键是指自增列上定义的主键，在建表语句中一般是这么定义的： NOT NULL PRIMARY KEY AUTO_INCREMENT。 插入新记录的时候可以不指定 ID 的值，系统会获取当前 ID 最大值加 1 作为下一条记录的 ID 值。 也就是说，自增主键的插入数据模式，正符合了递增插入的场景。每次插入一条新记录，都是追加操作，都不涉及到挪动其他记录，也不会触发叶子节点的分裂。 而有业务逻辑的字段做主键，则往往不容易保证有序插入，这样写数据成本相对较高。 除了考虑性能外，我们还可以从存储空间的角度来看。假设你的表中确实有一个唯一字段，比如字符串类型的身份证号，那应该用身份证号做主键，还是用自增字段做主键呢？ 由于每个非主键索引的叶子节点上都是主键的值。如果用身份证号做主键，那么每个二级索引的叶子节点占用约 20 个字节，而如果用整型做主键，则只要 4 个字节，如果是长整型（bigint）则是 8 个字节。 显然，主键长度越小，普通索引的叶子节点就越小，普通索引占用的空间也就越小。 所以，从性能和存储空间方面考量，自增主键往往是更合理的选择。 有没有什么场景适合用业务字段直接做主键的呢？还是有的。比如，有些业务的场景需求是这样的：
原文链接：https://www.cnblogs.com/ludashi/p/4826818.html
Parquet仅仅是一种存储格式，它是语言、平台无关的，并且不需要和任何一种数据处理框架绑定，目前能够和Parquet适配的组件包括下面这些，可以看出基本上通常使用的查询引擎和计算框架都已适配，并且可以很方便的将其它序列化工具生成的数据转换成Parquet格式。
mvcc即多版本并发控制，通过读取指定版本的历史记录，并通过一些手段保证读取的记录值符合事务所处的隔离级别，在不加锁的情况下解决读写冲突
数据查询 查询数据库表的内容（所有行和列） SELECT * FROM <表名>; 示例 📷 计算 SELECT <数学多项式>; 示例 📷 条件查询 SELECT * FROM <表名> WHERE <条件表达式>; 示例 📷 注意：对于条件表达式，可以用逻辑运算符（AND、OR、NOT）将多个条件同时进行匹配； 📷 📷 📷 对于三个及以上的条件，可以用小括号()进行条件运算； 📷 常用条件表达式 条件 表达式举例1 表达式举例2 说明 使用=判断相等 score = 90 nam
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
