在 统计信息（上） 中，我们介绍了统计信息基本概念、TiDB 的统计信息收集/更新机制以及如何用统计信息来估计算子代价，本篇将会结合原理介绍 TiDB 的源码实现。
前几天发表了一篇推文，分享了Pandas中非常好用的一个API——explode，然而今天又发生了戏剧性的一幕：因Pandas版本过低系统提示'Series' object has no attribute 'explode'！好吧，好用的东西永远都是娇贵的，这个道理没想到在代码中也适用。所以，今天就以此为题展开拓展分析，再输出一点Pandas干货……
比如基因列为ID的需要转为常见的symbol，基因列为symbol|ID的就需要拆开了！
自连接查询，顾名思义，就是自己连接自己，也就是把一张表连接查询多次。我们先来学习一下自连接的查询语法：
Pandas是Python中常用的数据处理和分析库，它提供了高效、灵活且易于使用的数据结构和数据分析工具。
在 TiDB 里，SQL 优化的过程可以分为逻辑优化和物理优化两个部分，在物理优化阶段需要为逻辑查询计划中的算子估算运行代价，并选择其中代价最低的一条查询路径作为最终的查询计划。这里非常关键的一点是如何估算查询代价，本文所介绍的统计信息是这个估算过程的核心模块。
由于目前工作需要使用 Oracle 数据库，准备来看一下 PL/SQL 对标准 SQL 进行了那些补充。 在 ANSI/ISO SQL 标准中，SQL 语句可以分为 DDL(数据定义)、DML(数据操作)和 DCL(数据控制)三类。其中，表结构的操作是使用较频繁的一种操作，这也是 SQL 中 DDL 的主要部分。
长型数据和宽型数据在数据分析中非常常见 ，其中宽型数据更具可读性，长型数据则更适合做分析。
介绍tidyr包中五个基本函数的简单用法:长转宽，宽转长，合并，分割，NA简单填充。
## 0、Rstudio界面介绍及快捷键 # 运行当前/选中行 ctrl+enter # 中止运行 esc # 插入 <- Alt+- # 插入 %>% Ctrl+Shift+M # 快捷注释（支持多行选中）ctrl+shift+c 快捷注释后，如取消注释ctrl+shift+c # Rstudio自动补全 tab x <- 5 ## 1、生成数据 set.seed(0) set.seed(1) c() seq() #生成等差数据 rep() #重复生成数据 rep(1:10,
之前我们了解到了如何把2列数据进行合并的基本操作，Power Query中如何把多列数据合并？也就是把多个字段进行组合并转成表。那如果这类的数据很多，如何批量转换呢？我们需要把转换的这一部分做成循环的函数即可。
Excel与Python都是数据分析中常用的工具，本文将使用动态图(Excel)+代码(Python)的方式来演示这两种工具是如何实现数据的读取、生成、计算、修改、统计、抽样、查找、可视化、存储等数据处理中的常用操作！
笔者最近需要使用pyspark进行数据整理，于是乎给自己整理一份使用指南。pyspark.dataframe跟pandas的差别还是挺大的。
数据插入 此前一直使用语句，但还有三个经常使用的SQL语句需要掌握（、和）。 插入的几种形式， 1. 插入完整行； 2. 插入行的部分数据； 3. 插入多行； 4.插入某些查询的结果； - 注意，由于
关于MySQL的优化，相信很多人都听过这一条：避免使用select*来查找字段，而是要在select后面写上具体的字段。
数据分组就是根据一个或多个键（可以是函数、数组或df列名）将数据分成若干组，然后对分组后的数据分别进行汇总计算，并将汇总计算后的结果合并，被用作汇总计算的函数称为就聚合函数。 Python中对数据分组利用的是 groupby() 方法，类似于sql中的 groupby。 1.分组键是列名 分组键是列名时直接将某一列或多列的列名传给 groupby() 方法，groupby() 方法就会按照这一列或多列进行分组。 groupby(): """ 功能: 根据分组键将数据分成
本文中记录Pandas操作技巧，包含： 导入数据 导出数据 查看、检查数据 数据选取 数据清洗 数据处理：Filter、Sort和GroupBy 数据合并 常识 # 导入pandas import pandas as pd # axis参数：0代表行，1代表列 导入数据 pd.read_csv(filename) # 从CSV文件导入数据 pd.read_table(filename) # 从限定分隔符的文本文件导入数据 pd.read_excel(filename) # 从Excel文件导入数据
在数据库中处理查询请求时，如果可以尽早的将无关数据过滤掉，那么后续的算子就可以少做无用功，提升整个 SQL 的执行效率。过滤数据最常用的手段是使用索引，TiDB 的优化器也会尽量采用索引过滤的方式处理请求，利用索引有序的特点来提升查询效率。比如当查询条件为 a = 1 时，如果 a 这一列上有索引，我们就可以利用索引很快的把满足 a = 1 的数据拿出来，而不需要逐行检查 a 的值是否为 1。当然是否会选择索引过滤也取决于代价估算。
FIND 和 SEARCH 两个函数几乎相同，区别在于FIND 精确查找，区分大小写； SEARCH 模糊查找，不区分大小写。
在 MySQL 中，将多行数据转为多列数据一般可以通过使用 PIVOT（也称为旋转表格）操作来实现。但是，MySQL 并没有提供原生的 PIVOT 操作。不过，可以使用 MySQL 的 GROUP BY 和 CASE WHEN 语句来自定义实现。
在处理数据过程中，会需要将一条数据拆分为多条，比如：a|b|c拆分为a、b、c，并结合其他数据显示为三条数据。
项目开发中，在进行数据库表结构设计时，会根据业务需求及业务模块之间的关系，分析并设计表结构，由于业务之间相互关联，所以各个表结构之间也存在着各种联系，基本上分为三种：
tidyverse就是Hadley Wickham将自己所写的包整理成了一整套数据处理的方法，包括ggplot2、dplyr、tidyr、readr、purrr、tibble、stringr、forcats。出版有《R for Data Science》（中文版《R数据科学》），这本书详细介绍了tidyverse的使用方法。
MergeTree是ClickHouse的一个重要存储引擎，其工作原理和基本原则如下：
3.复制划定区域，再进行黏贴，选择“仅复制数据”，这样一来，划定区域的公式会被消去，最后把不需要的数据进行删除就好。
本文为你介绍Pandas基础、Pandas数据处理、金融数据处理等方面的一些习题。
Python数据分析——数据加载与整理 总第47篇 ▼ （本文框架） 数据加载 导入文本数据 1、导入文本格式数据（CSV）的方法： 方法一：使用pd.read_csv()，默认打开csv文件。 9、
我们遇到的最容易引起困惑的问题就是索引列的顺序。正确的顺序依赖于使用该索引的查询，并且同时需要考虑如何更好地满足排序和分组的需要（顺便说明，本节内容适用于B-Tree索引；哈希或者其他类型的索引并不会像B-Tree索引一样按顺序存储数据）。 在一个多列B-Tree索引中，索引列的顺序意味着索引首先按照最左列进行排序，其次是第二列，等等。所以，索引可以按照升序或者降序进行扫描，以满足精确符合列顺序的ORDER BY、GROUP BY和DISTINCT等子句的查询需求。 所以多列索引的顺序至关重要。在“三星索引”系统中，列顺序也决定了一个索引是否能够成为一个真正的“三星索引”。 对于如何选择索引的列顺序有一个经验法则：将选择性最高的列放到索引最前列。这个建议有用吗？在某些场景可能有帮助，但通常不如避免随机IO和排序那么重要，考虑问题需要更全面（场景不同则选择不同，没有一个放之四海皆准的法则。这里只是说明，这个经验法则可能没有你想象的重要）。 当不需要考虑排序和分组时，将选择性最高的列放在前面通常是很好的。这时候索引的作用只是用于优化WHERE条件的查找。在这种情况下，这样设计的索引确实能够最快地过滤出需要的行，对于WHERE子句中只使用了索引部分前缀列的查询来说选择性也更高。然而，性能不只是依赖于所有索引列的选择性(整体基数)，也和查询条件的具体值有关，也就是和值的分布有关。这和选择前缀的长度需要考虑的地方一样。可能需要根据那些运行频率最高的查询来调整索引列的顺序，让这种情况下索引的选择性最高。
现在，要成为一个合格的数据分析师，你说你不会Python，大概率会被江湖人士耻笑。
本文翻译自文章： Pandas Cheat Sheet - Python for Data Science，同时添加了部分注解。 对于数据科学家，无论是数据分析还是数据挖掘来说，Pandas是一个非常重要的Python包。它不仅提供了很多方法，使得数据处理非常简单，同时在数据处理速度上也做了很多优化，使得和Python内置方法相比时有了很大的优势。 如果你想学习Pandas，建议先看两个网站。 （1）官网： Python Data Analysis Library （2）十分钟入门Pandas： 10 Mi
ETL这个概念也很久了，但是真正的进入大家的视野估计还是由于大数据。由于从15年至今，其实整个大数据领域都处于做数据仓库，然后简单生成报表这个层面，ETL（ETL - Extract, Transform, Load），这个概念就必不可少了。由于，经常有人在群里问浪尖：什么是ETL？ETL做了什么事情？也经常有招聘信息里面包含ETL，那么今天在这里我就简单给大家聊聊ETL。 数据仓库中的ETL概述 企业中是需要定期的加载数据仓库，以达到促进业务分析的目的。为此，需要提取来自一个或多个操系统的数据并将其复
Pandas 基于 NumPy 开发，它提供了快速、灵活、明确的数据结构，旨在简单、直观地处理数据。
先前已经讲过R语言生成测试数据、数据预处理和外部数据输入等内容，但这仅仅是第一步，我们还需要对数据集进行筛选、缺失值处理等操作，以便获得可以应用于建模或者可视化的数据集（变量）。接下来就以鸢尾花测试数据集进行进一步的数据管理和筛选操作。
假设数据以 tibble 格式保存。数据集如果用于统计与绘图，需要满足一定的格式要求，(Wickham, 2014) 称之为 整洁数据 (tidy data)，基本要求是每行一个观测，每列一个变量，每个单元格恰好有一个数据值。这些变量应该是真正的属性，而不是同一属性在不同年、月等时间的值分别放到单独的列。
pandas的操作上千种，但对于数据分析的使用掌握常用的操作就可以应付了，更多的操作可以参考pandas官网。
OpenTSDB(Open time series data base)，开发时间序列数据库。DB这个词很有误导性，其实并不是一个db，单独一个OpenTSDB无法存储任何数据，它只是一层数据读写的服务，更准确的说它只是建立在Hbase上的一层数据读写服务。行业内各种db都很多了，为什么还会出现它？它到底有什么好？它做了什么？别着急，我们来一一分析下。 其实OpenTSDB不是一个通用的数据存储服务，看名字就知道，它主要针对于时序数据。什么是时序数据，股票的变化趋势、温度的变化趋势、系统某个指标的变化趋势……其实都是时序数据，就是每个时间点上纪录一条数据。 关于数据的存储，我们最熟悉的就是mysql了，但是想想看，每5分钟存储一个点，一天288个点，一年就10万+，这还是单个维度，往往在实际应用中维度会非常多，比如股票交易所，成千上万支股票，每天所有股票数据就可能超过百万条，如果还得支持历史数据查询，mysql是远远扛不住的，必然要考虑分布式存储，最好的选择就是Hbase了，事实上业内基本上也是这么做的。（我对其他分布式存储不了解，就不对比了）。 了解Hbase的人都知道，它可以通过加机器的水平扩展迅速增加读写能力，非常适合存储海量的数据，但是它并不是关系数据库，无法进行类似mysql那种select、join等操作。 取而代之的只有非常简单的Get和Scan两种数据查询方式。这里不讨论Hbase的相关细节，总之，你可以通过Get获取到hbase里的一行数据，通过Scan来查询其中RowKey在某个范围里的一批数据。如此简单的查询方式虽然让hbase变得简单易用， 但也限制了它的使用场景。针对时序数据，只有get和scan远远满足不了你的需求。 这个时候OpenTSDB就应运而生。 首先它做了数据存储的优化，可以大幅度提升数据查询的效率和减少存储空间的使用。其次它基于hbase做了常用时序数据查询的API，比如数据的聚合、过滤等。另外它也针对数据热度倾斜做了优化。接下来挨个说下它分别是怎么做的。
虽然R中存在许多基本的数据处理函数，但它们至今仍有一点混乱，并且缺乏一致的编码和容易地将流一起的能力。这导致很难记忆和操作。因此我们需要更有效的代码、更容易记住语法和易于阅读的语法。而tidyr正是一个这样的包，它的唯一目的是简化创建[tidy data]的过程。本教程使您基本了解tidyr提供的数据整理的四个基本功能：
我们之所以常常把 DB 等价位 DBMS，是因为我们使用 DBMS 来访问 DB，DB 对我们来说是透明的。
转载自 https://www.cnblogs.com/jingfengling/p/5962182.html
出现在其他语句中的select语句，称为子查询或内查询 外部出现的查询语句，称为主查或外查询
Flink 社区希望能够将 Flink 的 Streaming 实时计算能力和 Lakehouse 新架构优势进一步结合，推出新一代的 Streaming Lakehouse 技术，促进数据在数据湖上真正实时流动起来，并为用户提供实时离线一体化的开发体验。Flink 社区内部孵化了 Flink Table Store （简称 FTS ）子项目，一个真正面向 Streaming 以及 Realtime的数据湖存储项目。2023年3月12日，FTS进入 Apache 软件基金会 (ASF) 的孵化器，改名为 Apache Paimon (incubating)。
好吧我有点标题党，其实本期要说的是 bloom 过滤器的问题，但题目为什么是这样，一般来说我们如果要给一个大表来加索引，并且这个查询还要加挺多列的时候，是蛮头疼的问题，PostgreSQL 中有一种索引叫 BLOOM INDEX ，而这个索引有什么好处，我们来看看。
子查询 可以分为： 单行单列（就是一个值） 单行多列（就是有一行，这一行有很多不同列数据） 多行单列（同一列不同的数据） 多行多列（可以说就是一张表了吧）
今天不讲和谐号，今天讲列式存储！列式存储是大数据时代的一个特色。每次一听用到了列式存储，就觉得，嗯，肯定nb了。今天我们就来把列式存储的衣服扒了！咳咳，，，揭开列式存储神秘的面纱~
这样我们得到3个独立的表。因为返回的结果是list格式，所以我们还需要转成Table格式。
2021-01-13：很多列的数据，任意一列组合查询，mysql能做到，但是上亿的数据量做不到了，查的时候非常慢。我们需要一个引擎来支持它。这个引擎你有了解过吗？
大多数数据科学家可能会赞扬Pandas进行数据准备的能力，但许多人可能无法利用所有这些能力。操作数据帧可能很快会成为一项复杂的任务，因此在Pandas中的八种技术中均提供了说明，可视化，代码和技巧来记住如何做。
SQL是IT行业很多岗位都要求具备的一项能力，对于数据岗位而言更是如此，甚至说扎实的SQL基础也往往是入职这些岗位的必备技能。而在SQL面试中，一道出镜频率很高的题目就是行转列和列转行的问题，可以说这也是一道经典的SQL题目，本文就这一问题做以介绍分享。
大家好，又见面了，我是你们的朋友全栈君。 MySQL 可应用于多种语言，包括 PERL, C, C++, JAVA 和 PHP。 在这些语言中，MySQL 在 PHP 的 web 开发中是应用最广泛。
--=============================================
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
