大多数数据科学家可能会赞扬Pandas进行数据准备的能力，但许多人可能无法利用所有这些能力。操作数据帧可能很快会成为一项复杂的任务，因此在Pandas中的八种技术中均提供了说明，可视化，代码和技巧来记住如何做。
导语：Power Query 是可证明的，在这个星球上性价比最高的数据处理工具，如果你的工作中需要处理数据，注意，是处理，不是分析，那么此工具必须掌握。对此，90%的鼠标点击，5%的猜测以及5%的公式能力足以。本文来自《Master Your Data》的第十章，非常重要，必须掌握。
小编们最近参加了数据城堡举办的“大学生助学金精准资助预测”比赛，分组第19名的成绩进入了复赛，很激动有木有！在上一篇文章中，小编主要介绍了pandas中使用drop_duplicates()方法去除重复数据。本篇，小编文文将带你探讨pandas在数据合并的应用。 1 上期回顾 首先，小编带你回顾一下drop_duplicates()方法的使用，我们定义一个DataFrame如下： df=pd.DataFrame({'id':[1,1,2],'value':[5,10,12]}) print (df) 输出如
HBase的下载与安装 (HBase是一种数据库：Hadoop数据库，它是一种NoSQL存储系统，专门设计用来快速随机读写大规模数据。本文介绍HBase的下载与安装的整个过程。) 一、HBase的下载 1.登录HBase官网http://hbase.apache.org/，可看到如图1所示的页面： 图1 登录HBase官网的页面 2.点击图1中的红色小框中的“here”，进入如图2所示的页面。 图2 下载链接 3.点击图2中的红色小框中的链接，进入如图3所示的下载页面。 图3 下载
pandas和python标准库提供了一整套高级、灵活的、高效的核心函数和算法将数据规整化为你想要的形式！
pandas数据处理功能强大，可以方便的实现数据的合并与拼接，具体是如何实现的呢？
数据集的联合将通过一个或多个键进行联合，这些操作与数据库类似。pandas通过merge函数进行联合。
上一章讨论了数据模型与查询语言，即向数据库给出数据时数据的格式以及数据查询的机制，其可以理解为从应用开发者的角度出发讨论了上述两件事情。本章将从「数据库」的角度来进行讨论，即如何存储给出的数据以及如何在要求查询时找到所需的数据，所介绍的存储引擎可以用于传统的关系数据库和大多数 NoSQL 数据库。
技巧1、单元格内强制换行 技巧2、锁定标题行 技巧3、打印标题行 技巧4、查找重复值 技巧5、删除重复值 技巧6、快速输入对号√ 技巧7、万元显示 技巧8、隐藏0值 技巧9、隐藏单元格所有值。 技巧10、单元格中输入00001 技巧11、按月填充日期 技巧12、合并多个单元格内容 技巧13、防止重复录入 技巧14、公式转数值 技巧15、小数变整数 技巧16、快速插入多行 技巧17、两列互换 技巧18、批量设置求和公式 技巧19、同时查看一个excel文件的两个工作表。 技巧20：同时修改多个工作表 技巧21：恢复未保存文件 技巧22、给excel文件添加打开密码 技巧23、快速关闭所有excel文件 技巧24、制作下拉菜单 技巧25、二级联动下拉 技巧27、删除空白行 技巧28、表格只能填写不能修改 技巧29、文字跨列居中显示 技巧30、批注添加图片 技巧31、批量隐藏和显示批注 技巧32、解决数字不能求和 技巧33、隔行插入空行 技巧34、快速调整最适合列宽 技巧35、快速复制公式 技巧36、合并单元格筛选
数据复制在企业信息化建设中是非常重要的一环，不管是建设数据仓库，还是搭建灾备系统，都需要确定数据复制策略。
数据表可以按「键」合并，用 merge 函数；可以按「轴」来连接，用 concat 函数。
一个记录值是字段的有序序列。甲字段由一个的字段名，这是一个文本值唯一地标识记录内的字段，以及字段值。字段值可以是任何类型的值，包括记录。可以使用初始化语法构造记录，如下所示：
2006年末发起，根据Google的Chang等人发表的论文“Bigtable：A Distributed Storage System for Strctured Data“来设计的。
当数据被插入到表中时，会创建多个数据片段并按主键的字典序排序。例如，主键是(CounterID,Date)时，片段中数据首先按CounterID排序，具有相同CounterID的部分按Date排序。
数据框（Dataframe）作为一种十分标准的数据结构，是数据分析中最常用的数据结构，在Python和R中各有对数据框的不同定义和操作。 Python 本文涉及Python数据框，为了更好的视觉效果，使用jupyter notebook作为演示的编辑器;Python中的数据框相关功能集成在数据分析相关包pandas中，下面对一些常用的关于数据框的知识进行说明： 1.数据框的创建 import pandas as pd from numpy import random a = [i for i in rang
Excel可以说是MS Office系列中最神奇也最重要的软件。小白用户或许并不了解，但对专业职场人士，特别是金融从业者而言，Excel就是分析数据快准狠的不二选择。别再傻傻地用鼠标点来点去啦，用这1
Microsoft Excel 是微软为 Windows、macOS、Android 和 iOS 开发的电子表格软件，可以用来制作电子表格、完成许多复杂的数据运算，进行数据的分析和预测，并且具有强大的制作图表的功能。由于 Excel 具有十分友好的人机界面和强大的计算功能，它已成为国内外广大用户管理公司和个人财务、统计数据、绘制各种专业化表格的得力助手。允许用户自定义界面的电子制表软件包括字体、文字属性和单元格格式，它还引进了智能重算的功能，当单元格数据变动时，只有与之相关的数据才会更新，荒岛本次带来九十九个 Excel 技巧，提高您的办公效率。
真正约束字段的是数据类型，但是数据类型约束很单一，需要有一些额外的约束，更好的保证数据的合法性，从业务逻辑角度保证数据的正确性。所谓约束，就是避免犯一些低级错误，比如类似于语法错误，编译器的编译失败实际上也算是一种约束。
创建与输入数组相等长度的新数组，作为直接寻址表。两数之和的期望是Target，将Target依次减输入数组的元素，得到的值和直接寻址表比较，如果寻址表存在这个值则返回；如果不存在这个值则将输入数组中的元素插入寻址表，再进行输入数组中的下一个元素。
一个数据库在最基础的层次上需要完成两件事情: 当你把数据交给数据库时，它应当把数据存储起来；而后当你向数据库要数据时，它应当把数据返回给你。 上一章，我们讨论了数据模型和查询语言，即将数据录入数据库的格式，以及再次返回数据的机制。在本章中我们会从数据库的视角来讨论同样的问题: 数据库如何存储我们提供的数据，以及如何在我们需要时重新找到数据。
使用场景：有两张表left和right，一般要求它们的表格结构一致，数据量也一致，使用right的数据去填补left的数据缺漏 如果在同一位置left与right数据不一致，保留left的数据
在数据分析中，数据的选择和运算是非常重要的步骤。数据选择和运算是数据分析中的基础工作，正确和高效的选择和运算方法对于数据分析结果的准确性和速度至关重要。
当数据项存储在诸如列表的集合中时，我们说它们具有线性或顺序关系。每个数据项都存储在相对与其他数据项的位置。在Python列表中，这些相对位置是单个项的索引值。由于这些索引值是有序的，我们可以按顺序访问它们。这个过产生了顺序查找。
直接将值和索引粘合在一起，默认是在axis=0上面工作，得到的是新的Series；改成axis=1，变成一个DF型数据
参考链接： Python | pandas 合并merge，联接join和级联concat
HBase是一个高可靠、高性能、面向列的，主要用于海量结构化和半结构化数据存储的分布式key-value存储系统。
Apache Paimon (incubating) 是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。
用户在使用分布式数据库时，最想要的是既能将计算压力均摊到不同的计算节点(CN)，又能将数据尽量散列在不同的存储节点(DN)，让系统的存储压力均摊到不同的DN。对于将计算压力均摊到不同的CN节点，业界的方案一般比较统一，通过负载均衡调度，将业务的请求均匀地调度到不同的CN节点；对于如何将数据打散到DN节点，不同的数据库厂商有不同策略，主要是两种流派：按拆分键Hash分区和按拆分键Range分区，DN节点和分片之间的对应关系是由数据库存储调度器来处理的，一般只要数据能均匀打散到不同的分区，那么DN节点之间的数据基本就是均匀的。如下图所示，左边是表A按照列PK做Hash分区的方式创建4个分区，右边是表A按照列PK的值做Range分区的方式也创建4个分区：
merge 通过键拼接列 pandas提供了一个类似于关系数据库的连接(join)操作的方法merage,可以根据一个或多个键将不同DataFrame中的行连接起来 语法如下：
数据在磁盘上是以块的形式存储的。为确保对磁盘操作的原子性，访问数据的时候会一并访问所有数据块。磁盘上的这些数据块与链表类似，即它们都包含一个数据段和一个指针，指针指向下一个节点（数据块）的内存地址，而且它们都不需要连续存储（即逻辑上相邻的数据块在物理上可以相隔很远）。
HBase是一个开源的、分布式的、版本化的NoSQL数据库（即非关系型数据库），依托Hadoop分布式文件系统HDFS提供分布式数据存储，利用MapReduce来处理海量数据，用Zookeeper作为其分布式协同服务，一般用于存储海量数据。HDFS和HBase的区别在于，HDFS是文件系统，而HBase是数据库。HBase只是一个NoSQL数据库，把数据存在HDFS上。可以把HBase当做是MySQL，把HDFS当做是硬盘。
显然RAM可能比磁盘慢，例如单个clnannel RAM与10倍 PCIe 4.0 SSD。
MyISAM是 默认存储引擎。它基于更老的ISAM代码，但有很多有用的扩展。MyISAM存储引擎的一些特征： · 所有数据值先存储低字节。这使得数据机和操作系统分离。二进制轻便性的唯一要求是机器使用补码（如最近20年的机器有的一样）和IEEE浮点格式（在主流机器中也完全是主导的）。唯一不支持二进制兼容性的机器是嵌入式系统。这些系统有时使用特殊的处理器。
5、Hbase的表在物理存储上，是按照列族来分割的，不同列族的数据一定存储在不同的文件中
Python用散列表来实现字典，散列表就是稀疏数组（数组中有空白元素），散列表中的元素叫做表元，字典的每个键值对都占用一个表元，一个表元分成两个部分，一个是对键的应用，另一个是对值的引用，因为表元的大小一致，所以可以通过稀疏数组（散列表）的偏移量读取指定的表元
Excel可以说是MS Office系列中最神奇也最重要的软件。对于专业的职场人士，工作中经常需要用到Excel来分析数据。亲们别再傻傻地用鼠标点来点去啦，用这10个基本技巧来提高工作效率，让你做Excel事半功倍。
为什么要创建索引呢？这是由于，创建索引能够大大提高系统的性能。 第一，通过创建唯一性索引，能够保证数据库表中每一行数据的唯一性。 第二，能够大大加快 数据的检索速度，这也是创建索引的最基本的原因。 第三，能够加速表和表之间的连接，特别是在实现数据的參考完整性方面特别有意义。 第四，在使用分组和排序 子句进行数据检索时，相同能够显著降低查询中分组和排序的时间。 第五，通过使用索引，能够在查询的过程中，使用优化隐藏器，提高系统的性能。
表引擎是ClickHouse设计实现中的一大特色。可以说，是表引擎决定了一张数据表最终的“性格”，比如数据表拥有何种特性、数据以何种形式被存储以及如何被加载。ClickHouse拥有非常庞大的表引擎体系，截至本书完成时，其共拥有合并树、外部存储、内存、文件、接口和其他6大类20多种表引擎。而在这众多的表引擎中，又属合并树（MergeTree）表引擎及其家族系列(*MergeTree)最为强大，在生产环境的绝大部分场景中，都会使用此系列的表引擎。因为只有合并树系列的表引擎才支持主键索引、数据分区、数据副本和数据采样这些特性，同时也只有此系列的表引擎支持ALTER相关操作。合并树家族自身也拥有多种表引擎的变种。其中MergeTree作为家族中最基础的表引擎，提供了主键索引、数据分区、数据副本和数据采样等基本能力，而家族中其他的表引擎则在MergeTree的基础之上各有所长。例如ReplacingMergeTree表引擎具有删除重复数据的特性，而SummingMergeTree表引擎则会按照排序键自动聚合数据。如果给合并树系列的表引擎加上Replicated前缀，又会得到一组支持数据副本的表引擎，例如ReplicatedMergeTree、ReplicatedReplacingMergeTree、ReplicatedSummingMergeTree等。合并树表引擎家族如图所示：
Hadoop 中的 HDFS 是文件存储的基础，但是如果要对存储在 HDFS 中的文件进行更改、删除等操作会十分费劲。这是由于 Hadoop 只能执行批量处理，且只能以顺序方式访问数据，当需要更改数据时，必须搜索整个数据集，从海量文件数据中取出需要进行更改的内容，读取内容，进行更改操作，然后再写回文件对应位置。这个过程既耗时又繁杂，有没有更好的可以随机访问数据的办法？
•此时，B2单元格为被引用单元格，E2单元格为引用单元格，被引用单元格修改，引用单元格同样变化。
为了方便维护，一般公司的数据在数据库内都是分表存储的，比如用一个表存储所有用户的基本信息，一个表存储用户的消费情况。所以，在日常的数据处理中，经常需要将两张表拼接起来使用，这样的操作对应到SQL中是join，在Pandas中则是用merge来实现。这篇文章就讲一下merge的主要原理。
散列表是普通数组概念的推广。因为对普通数组能够直接寻址，使得能在O(1)时间内訪问数组中的任何位置。在散列表中，不是直接把keyword作为数组的下标，而是依据keyword计算出对应的下标。
使用how参数，指定连接方式，如果组合键没有出现在左侧或者右侧表中，连接表值为NA：
连接运算符是：&，可以将两个或多个项目连接成一个项目，这些项目可以是数字、文本（使用引号括起来）、公式结果，等等。
2）无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列；
对大数据领域有一定了解的小伙伴对HBase应该不会陌生，HBase是Apache基金会开源的一个分布式非关系型数据库，属于Hadoop的组件。它使用Java编写，需运行于HDFS文件系统之上。HBase与Hadoop中的其他组件一样，可以运行在廉价硬件上，并可提供数10亿行 X 数百万列的大数据存储、管理能力，以及随机访问和实时读/写能力。HBase的设计模型参考了Google的Bigtable，可以说是Bigtable的开源实现版本。
Polars[2]是Pandas最近的转世（用Rust编写，因此速度更快，它不再使用NumPy的引擎，但语法却非常相似，所以学习 Pandas 后对学习 Polars 帮助非常大。
上篇介绍Hive优化器原理与源码解析系列—统计信息中间结果估算文章，TableScan，Project、Filter、Sort等等Operator操作符中间结果大小的估算受到两个因素的影响，选择率Selectivity和记录数RowCount。
HBase是一个开源的非关系型分布式数据库，设计初衷是为了解决大量结构化数据存储与处理的需求。
领取专属 10元无门槛券
手把手带您无忧上云
