该系列的核心是学完即用，因此后续的所有分享都是建立在具有一定的数分基础上的。 建议：对于初学者或想转行数据分析的同学，可以先收藏，等具备一定数分基础后再跟随学习效果更佳。...尤其是正则替换和正则提取，在日常业务中使用频率极高，所以掌握一定的正则知识是必要的。限于篇赋，这两点在后续的SQL实战中再做详细介绍。...有问题，找数仓准行～ group强化 相信大家在Excel（或Tableau）中做数据透视表的时候，可以对任意维度的数据进行聚合。...因此在实际操作中，在做group 强化之前，应将明细数据中每个维度的NULL值进行替换为'未知'，用于标记维度本身的取值；group 强化之后，应将每个维度的NULL值再进行替换为'全部'，用以标记group...因为在业务中，有些SubQuery需要被反复使用，但使用场景也仅限于当前SQL，为此开发中间表就显得不值当。
GROUP BY： 将具有指定列中公共值的行的聚合（或分组）到一行中。GROUP BY 子句将具有公共值的行的聚合到一行中，因此行数将与唯一值的数量一样多。...GROUP BY GROUP BY 子句用于将多行聚合到一个组中，本质上将多行合并为一行。...尽管在 regions 表中包含七个地区，但此查询只产生了六行。这是因为存在一个地区“南极洲”，但在 countries 表中没有该 region_id 的国家。...GROUP BY 子句并不需要任何 JOIN 子句；您可以在一个表中创建组。例如，“有多少个国家以相同字母开头？”也可以通过一个 GROUP BY 来回答。...FETCH FETCH 子句指定从结果中返回的行数。一些数据库称之为 LIMIT 子句。与 OFFSET 子句一样，这也是一个简写，可用于回答诸如“按人口排名前三的国家/地区有哪些？”之类的业务问题。
只是将取出的数据进行处理，不会改变数据库中的值。...函数根据处理的数据分为单行函数和聚合函数（组函数），组函数又被称作聚合函数，用于对多行数据进行操作，并返回一个单一的结果，组函数仅可用于选择列表或查询的having子句；单行函数对单个数值进行操作，并返回一个值...' 20 end "描述" 21 from emp e; 6 组函数 组函数把多行数据经过运算后返回单个值。...选取满足where子句中给出的条件表达式的元组 按group子句中指定列的值分组，同时提取满足Having子句中组条件表达式的那些组 按select子句中给出的列名或列表达式求值输出 Order by子句对输出的目标表进行排序...where 中作为后缀标识主表。
NULL 与不匹配 在通过过滤选择出不具有特定值的行时，你可能希望返回具有 NULL 值的行。但是，不行。因为未知具有特殊的含义，数据库不知道它们是否匹配，所以在匹配过滤或不匹配过滤时不返回它们。...在使用 GROUP BY 子句前，需要知道一些重要的规定。 ❑ GROUP BY子句可以包含任意数目的列，因而可以对分组进行嵌套，更细致地进行数据分组。...❑ 如果分组列中包含具有 NULL 值的行，则 NULL 将作为一个分组返回。如果列中有多行NULL值，它们将分为一组。...这是一个重要的区别，WHERE 排除的行不包括在分组中。这可能会改变计算值，从而影响 HAVING 子句中基于这些值过滤掉的分组。...你可以使用 ASC 或 DESC 关键字来设置查询结果是按升序或降序排列。 默认情况下，它是按升序排列。
(16:18) 4-12 [Oracle] 子查询中的空值问题 (08:24) 第5章 案例集锦 本章通过4个案例的介绍，巩固了所学知识，并能使你认识到本课程所学内容在实际中的应用。 ...注意：在select列表中所有未包含在组函数中的列都应该包含在GROUP BY子句中;包含在GROUP BY子句中的列不必包含在SELECT列表中。...emp; 错误：所有包含于select列表中，而未包含于组函数中的列都必须包含在GROUP BY子句中。...from emp e,emp b where e.mgr = b.empno; 问题：不适合操作大表，原因是自连接至少有两张表参与，并进行笛卡尔全集，连接之后的记录数就是单张表记录数的平方（笛卡尔积行数是两张表行数的乘积...，但相关子查询例外； 相关子查询：外表起别名传递给子查询。
by id; MySQL正则表达式虽然提供了“多行模式”，但只能用于匹配时的比较，并未提供按行统计的接口。...按固定分隔符将一行分成多行的经典方法，就是先使用笛卡尔积连接制造出行，再用两个嵌套的substring_index函数取子串。...ID分组求和，统计每数据库行中，单词 the 出现的以 \n 分割的行数： mysql> select id,sum(regexp_like(b,'\\bthe\\b(?...在以上情况中，第二个子模式 (e|eir) 依赖于第一个子模式 (t|T)。括号对于子模式不是必需的。...在一个正则表达式中不能使用 ${分组名} 进行引用。 mysql> select regexp_like('000000','(?
+ 全列插入 多行数据 + 指定列插入 2、更新和替换 由于 主键 或者 唯一键 对应的值已经存在而导致插入失败 更新操作语法： INSERT ......update 的值相等 -- 1 row affected: 表中没有冲突数据，数据被插入 -- 2 row affected: 表中有冲突数据，并且数据已经被更新 -- 通过 MySQL 函数获取受到影响的数据行数...查询同学各门成绩，依次按 数学降序，英语升序，语文升序的方式显示 查询同学及总分，由高到低 注：排序是在查询数据完毕之后，再对查询好的数据进行排序，这样的效率比较高，所以别名是能在排序的时候进行使用的...LIMIT n OFFSET s; 建议：对未知表进行查询时，最好加一条 LIMIT 1，避免因为表中数据过大，查询全表数据导致数据库卡死 示例：按 id 进行分页，每页 3 条记录，分别显示...by 在select中使用group by 子句可以对指定列进行分组查询 select column1, column2, .. from table group by column; 示例：
在本指南中，给出的示例数据值都包含在撇号（'）中。在SQL中，必须在撇号中包装由字符串组成的任何数据值。数字数据不需要这样做，但如果包含撇号，也不会导致任何问题。...' ); 您还可以使用单个命令填充包含多行数据的表，如下所示： INSERT INTO table ( column_A, column_B, column_C ) VALUES ( 'data_1A'...要从表中删除一行数据，请使用以下命令结构。..._2 FROM table ORDER BY column_1; 要执行相同的操作，但按降序或反向字母顺序排序结果，请使用DESC命令追加查询： SELECT column_1, column_2 FROM...2; 要执行相同的操作，但按降序或反向字母顺序对结果进行分组，请使用DESC命令追加查询： SELECT COUNT(column_1), column_2 FROM table GROUP BY column
retrieve是取回的意思，在MySQL中可以认为是读取操作，MySQL中查询数据的操作，也就是R操作最为频繁，同样也是需要重点学习的操作，在R操作里面，最典型的SQL语句就是select语句，用于查询表中的数据...同学及数学成绩，按数学成绩升序显示 如果order by子句不加asc或desc，则默认是asc升序排序 同学及 qq 号，按 qq 号排序显示 查询同学各门成绩，依次按 数学降序，英语升序，语文升序的方式显示...查询姓孙的同学或者姓曹的同学数学成绩，结果按数学成绩由高到低显示 6. 对未知表进行查询时，最好进行分页显示，这样可以避免表中数据过大时，导致查询全表数据致使数据库卡死。...update用于更改表中某一行或者多行的数据，值得注意的是，在使用update对表中数据进行更新的时候，如果不跟上where子句进行数据筛选的话，则update会对表中所有的行进行某一列字段值的更新，因为...显示雇员名、雇员工资以及所在部门的名字 from后面跟着两个表，则先将两个表作笛卡尔积，但笛卡尔积后的表会有很多行数据是多余的，因为雇员只可能在一个部门里面，所以emp.deptno必须和dept.deptno
，可能用户A拥有这个属性，但是用户B没有这个属性；那么我们希望存储的系统能够处理这种情况，没有的属性在底层不占用空间，这样可以节约大量的空间使用； 列动态变化：每行数据拥有的列数是不一样的。...现在人脸组 id 和人脸 id 对应关系存储在 MySQL 中，对应上面的 group 表；人脸 id 和人脸相关的特征数据存储在 OSS 里面，对应上面的 face 表。...我们如果需要根据人脸组 id 查找该组下面的所有人脸，那么需要从 MySQL 中读取很多行的数据，从中获取到人脸组和人脸对应的关系，然后到 OSS 里面根据人脸id获取所有人脸相关的特征数据，如下图的左部分所示...HBase 的 MOB 特性针对文件大小在 1k~10MB 范围的，比如图片，短视频，文档等，具有低延迟，读写强一致，检索能力强，水平易扩展等关键能力。...按流量，请求次数计费，适合访问频率低的场景 托管式，在高并发，高吞吐场景有更低的成本 扩展性 优 优 适用对象范围 通用 <10MB 根据上面的对比，使用 HBase MOB特性来存储小于10MB的对象相比直接使用对象存储有一些优势
因为一个 Locality group 的物理部署在同一组 Bigtable2 节点上，这样可以实现对同一个 Locality group 的多列进行原子操作，也能加快关联数据的查找速度。...Movedir 任务迁移数据的时候是每次锁两个相关的 Paxos group 然后执行数据迁移。这样即便事务执行时间比较长的时候，也不会因为大量锁数据而导致大量的数据分片服务暂停。...在原文里描述的是每个写事务都会写入时间戳到对应的 Paxos group 里，但是我的理解因为已经用 Paxos group 对分片进行选主了。...比 多新增了索引 接下来按下面的流程: 新增一行数据r，那么同时会新增索引 ； 删除行r，但是由于 里没有索引 ，所以也不会有删除 的通知； 等 同步到所有服务器之后...按文中描述的是部署在美国东西海岸各两个副本，中部一个副本的情况下，再加上2PC的机制，写事务单单多副本间通信的延迟就到50ms了。整体平均延迟读事务5-10ms，写事务50-150ms。
\\]', 'A')) r,count(*) from t1 group by char_length(regexp_replace(Content,'\\[.*?...\\]', 'A')) order by r; \\[ 和 \\] 用于将中括号转义为普通字符。...by commentid) t group by f order by f; 没有正则表达式的加持，实现起来比较麻烦，但整个思路还是很清晰。...总的想法是，首先对评论字符串以“]”为分隔符转多行，然后针对不同情况对每行求字符长度，之后按每条评论ID分组求和，得到符合规则的每条评论的长度，最后按评论长度分组进行二次聚合，得到每种长度的个数。...在本例中，不使用正则表达式的解决方案不但冗长，而且由于用到笛卡尔积由单行转多行，之后再聚合，性能比正则表达式差的多。实际表中有55107行记录，方案1秒出结果，方案2需要执行50多秒。
数据模型分类（按模型应用的不同目的的划分） 概念模型（也称语义模型） 常用E-R模型 学生和课程是实体，菱形中对应的是实体之间的关系，椭圆中是对应的属性。...表记录的插入 1）利用insert命令向表student中插入一行数据 2）利用insert命令向表student中插入多行数据 利用replace命令向表course中插入多行数据...group by用于对查询结果根据grouping_columns的值进行分组。 having子句是应用于分组结果集的附加条件，与group by一起使用，用于在group by子句后选择行。...使用order by子句对结果集排序 在score表中查询期末成绩高于90分的学生学号、课程号和期末成绩，并先按课程号的升序、再按期末成绩的降序排列 使用group by子句 使用group...by子句对score表数据分组，显示每个学生的学号和其所学各课程的平均期末成绩，并将结果按平均期末成绩的升序排列 group by和having子句一起使用 查询选课在2门以上且各门课程期末成绩均高于
未排序数据 如果没有明确排序查询结果，可能会发现显示输出的数据顺序与原表不同，返回的数据的顺序没有特殊意义，可能是数据被添加到表中的顺序，也可能不是，只要返回相同数目的行就是正常的。...使用空格和空行 在处理SQL语句时，其中所有空格都被忽略。SQL语句可以在一行上给出，也可以分成许多行，多数SQL开发人员认为将SQL语句分成多行更容易阅读和调试。...使用*通配符 一般，除非确实需要表中的每个列，否则最好别使用*通配符。不用明确列出所需列，但检索不需要的列通常会降低检索和应用程序的性能。...检索未知列 不明确指定列名（因为星号检索每个列），所以能检索出名字未知的列。...行数不够时 LIMIT中指定要检索的行数为检索的最大行数，如果没有足够的行（例如，给出LIMIT 10, 5，但只有13行），MySQL将只返回它能返回的那么多行。 以上 That's all.
和concat_ws的理解 group_concat可以将多行数据整合为一行 concat可以将不同数据用第一个参数链接 可以写group_concat(concat_ws(‘:’,id,email_id...‘sqli’ group_concat()函数是用来将多行转为一行，将组中的字符串连接成为具有各种选项的单个字符串 table_name information_schema.tables 1’ and...ascii码为114时，睡眠5s，否则输出2，需要注意的是，这5s是在服务器的数据库中延迟的，实际情况可能会由于网络环境等因素延迟更长时间 benchmark函数 benchmark函数原本是用来重复执行某个语句的函数...benchmark(N,expression) N是执行的次数，expression是表达式，如果需要进行盲注，通常需要进行消耗时间和性能的计算，例如哈希计算函数MD5，将MD5函数重复执行数万次则可以达到延迟的效果...比如在第一次插入数据的时候，数据中带有单引号，直接插入到了数据库中；然后在下一次使用中在拼凑的过程中，就形成了二次注入。
SQL简单查询中没有意义，因为在这种类型的嵌入式SQL中，SELECT始终只返回一行数据。...但是，嵌入式SQL基于游标的查询可以返回多行数据；在基于游标的查询中，DISTINCT子句只返回唯一值行。 DISTINCT和ORDER BY DISTINCT子句在ORDER BY子句之前应用。...DISTINCT和GROUP BY DISTINCT和GROUP BY这两个记录按指定字段(或多个字段)分组，并为该字段的每个唯一值返回一条记录。...子查询：在子查询中使用DISTINCT子句是合法的，但没有意义，因为子查询返回单个值。 未选择行数据：DISTINCT子句可以与不访问任何表数据的SELECT一起使用。...如果SELECT不包含FROM子句，则DISTINCT是合法的，但没有意义。 聚合函数：可以在聚合函数中使用DISTINCT子句，以仅选择要包含在聚合中的不同(唯一)字段值。
by dt )exp on ex.dt=exp.dt 正则、json、列传多行 在开始本实例之前，先普及下正则和json的相关知识 正则表达式具备强大的字符串模糊匹配能力...r与fr、for匹配 ( ) 圆括号中内容为一个实体 f(or)+d与ford、forord等匹配 [] 匹配方括号中任意字符 f[abc]r与far、fbr等匹配f[abc]+r与faar、facr等匹配...[^] 匹配除方括号中任意字符 f[^abc]r与for等匹配 {m}{m,n}{m,} 匹配m次、至少m之多n次、至少m次 fo{2,}r与foor、fooor等匹配 \d 任何数字，同[0-9]...日常业务需求的经验沉淀告诉我们，每个需求都需要明确主要信息，附加信息以left join的形式增加到主表，构造一张大明细表（明细表中含维度和度量，维度在前，度量在后），在此基础上按所需维度向上汇总。...不仅在局部上如此要求，在整体上也是如此，因为SQL的关联是按顺序从上到下的，因此如果前置的表在进行一对多或者多对一操作后，再与下表关联就容易出现多对多的情况。
，默认情况下使用结构化方式在节点本地存储表的数据，同时支持多种数据压缩方式ClickHouse独立于Hadoop生态系统，不依赖Hadoop的HDFS，但可以扩展HDFS进行数据查询，ClickHouse...还支持查询Kafka和MySQL中的数据ClickHouse目前已经在很多大型企业中得到了充分的生产验证，其在存储PB级别的数据规模时仍能很好的提供稳健的实时OLAP服务。...、劣势缺少高频率，低延迟的修改或删除已存在数据的能力。...，该服务器的配置是：双CPU(Intel(R) Xeon(R) CPU E5-2650 v2@2.60GHZ)内存128GB在8个6TB SATA硬盘上安装MD RAID-5文件系统为Ext4...，会从数据库中提取出大量的行，但只用到一小部分列表很“宽”，即表中包含大量的列查询频率相对较低（通常每台服务器每秒查询数百次或更少）对于简单查询，允许大约50毫秒的延迟列的值是比较小的数值和短字符串（例如
（一）在R中新建项目方式：RStudio中，菜单栏File→NewProject→NewDirectory→NewProject→DirectoryName该方式通过新建一个目录的方式来新建一个项目，创建一个...（二）在项目中新建脚本方式：Rstudio菜单栏，File→NewFile→RScript保存：R脚本保存的文件后缀为.R保存的默认位置为当前的工作目录（working directory）Tips：脚本中点击...不能用空格，运算符号在名称中。可以使用下划线。不建议用中文作为变量名称。2....后文的半连接[1] 1> setdiff(y,x) #取差集，y中有而x中没有的元素，即并集中去掉x[1] 2 6重点：%in%x %in% y #x的每个元素在y中是否存在> x;y[1] 1 3...见R_01项目中02_exercise.R练习第6题。> # 6.向量g中有多少个元素在向量s中存在(要求用函数计算出具体个数)？
本节介绍Oracle子查询的相关内容： 实例用到的数据为oracle中scott用户下的emp员工表，dept部门表，数据如下： 一、子查询 1、概念：嵌入在一个查询中的另一个查询语句，也就是说一个查询作为另一个查询的条件...2、分类：（1）单行子查询：查询结果只返回一行数据 （2）多行子查询：查询结果返回多行数据，多行子查询的操作符有IN,ALL,ANY,具体用法实例中说明。...二、oracle中TOP-N查询： 概念：用于获取一个查询中的前N条记录，需要借助rownum伪列来实现，rownum伪列，oracle为每个查询自动生成的伪列，物理上并不存在，查询中经常涉及多个表，但每个查询只有一列伪列...Example:获取员工表中20,30部门按工资降序以后的第4页也就是第7,8两条数据 select * from (select rownum rowline,emp1.* from (select...而想要避免这样的情况发生，就需要将伪列当成一个查询中的字段，将它不在看做“伪列”，而是真正的一个字段， 这样就需要在外面在嵌套一层查询将伪列做成一个物理上存在的字段，而最后我们只需要将外层查询的条件改为内层查询中
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
