《从一条"错误"的SQL,了解rownum的作用》提到的案例中,原始需求是:检索name是(aaa或者bbb)的前10条记录,其中一种写法,如下, ?...第二种写法 Oracle提供了分析函数,功能非常强大,在这方面,我算是菜鸟,用的很少,不过针对这需求,倒是可以用row_number(),他会为查询出来的每一行记录生成一个序号,依次排序且不会重复,注意使用...row_number函数时必须要用over子句选择对某一列进行排序才能生成序号。...在这个结果集上,进行过滤,一个条件是name='aaa'的,另一个是name='bbb' and rownum<=10,此时由于bbb的记录,已经排在前面,所以使用rownum<=10,可以检索出来,19...条aaa的,10条bbb的,总计29条,但是和写法一不同的是,记录的顺序,由于子查询出来的结果集,按照name排序,因此得到的结果,就会排序, ?
合併列值最通用的方法就是寫一個自定義函數去實現,這裏介紹的是其它方法。...在SQL Server中合併列值能够使用For Xml Path,在Oracle中則能够使用wm_concat 或 ListAgg。...XCITY ———- ————————————– 1 北京,广州,上海 2 杭州,武汉,厦门 備註: 0、上面在City列前都加了...To_Char()函數,是為了防止出現亂碼的情況; 1、wm_concat 在ORACEL的官方文檔中沒有,不能保證各版本号的兼容性; 2、ListAgg是11g版本号才出現的新的聚集函數。
看到ASK TOM的一篇文章,挺有感触的。 http://asktom.oracle.com/pls/apex/f?...p=100:11:0::::P11_QUESTION_ID:32812348052 主要问的是ROWNUM的问题。...第一个SQL是先找到ROWNUM<10的记录,然后排序。 第二个SQL是先ORDER BY排序,再找ROWNUM<10的记录。 因此两种查询得到的答案不同,当然有时也会碰巧相同。...仅比第一个SQL少2个consistent gets,不像讨论中说的会明显的变化。...这个讨论是2001年的,不知道是不是版本的问题?我用的是10g。 还请高手指点!
(1) rownum 对于等于某值的查询条件 如果希望找到学生表中第一条学生的信息,可以使用rownum=1作为条件。但是想找到学生表中第二条学生的信息,使用rownum=2结果查不到数据。...1开始的伪列,Oracle 认为rownum> n(n>1的自然数)这种条件依旧不成立,所以查不到记录。...注意子查询中的rownum必须要有别名,否则还是不会查出记录来,这是因为rownum不是某个表的列,如果不起别名的话,无法知道rownum是子查询的列还是主查询的列。...对于小于某值的查询条件rownum对于rownum1的自然数)的条件认为是成立的,所以可以找到记录。...由于rownum是一个总是从1开始的伪列,Oracle 认为这种条件不成立。
https://blog.csdn.net/wzy0623/article/details/53908230 [sql] view plain copy -- dense rank,写法...2 41 198 40 3 40 181 39 4 39 23 37 5 37 81 36 6 36 106 35 7 35 158 35 7 35 13 35 7 35 37 35 7 35 [sql...] view plain copy -- dense rank,写法2,不使用dummy列 set @curr_cnt:=0, @prev_cnt:=0, @rank:=0; select actor_id...cnt rank 107 42 1 102 41 2 198 40 3 181 39 4 23 37 5 81 36 6 158 35 7 13 35 8 37 35 9 144 35 10 [sql...] view plain copy -- rownum set @rownum:=0; select actor_id,first_name,@rownum:=@rownum+1 as rownum
大家好,又见面了,我是你们的朋友全栈君。 物理分页和逻辑分页 物理分页:直接从数据库中拿出我们需要的数据,例如在Mysql中使用limit。...逻辑分页:从数据库中拿出所有符合要求的数据,然后再从这些数据中拿到我们需要的分页数据。 优缺点 物理分页每次都要访问数据库,逻辑分页只访问一次。 物理分页占用内存少,逻辑分页相对较多。...物理分页数据每次都是最新的,逻辑分页有可能滞后。 在 mybatis 中,使用 RowBounds 进行分页,非常方便,不需要在 sql 语句中写 limit,即可完成分页功能。...但是由于它是在 sql 查询出所有结果的基础上截取数据的,所以在数据量大的sql中并不适用,它更适合在返回数据结果较少的查询中使用 注意:由于 java 允许的最大整数为 2147483647,所以 limit...能使用的最大整数也是 2147483647,一次性取出大量数据可能引起内存溢出,所以在大数据查询场合慎重使用 示例 数据库数据 接口: //rowBounds分页 List<User
于是想到通过default来修改列的默认值: alter table A modify column biz default 'old' comment '业务标识 old-老业务, new-新业务'...找后台运维查生产数据库,发现历史数据的biz字段还是null 原因: 自己在本地mysql数据库试了下,好像的确是default没法修改历史数据为null 的值。这就尴尬了。...看起来mysql和oracle在default的语义上处理不一样,对于oracle,会将历史为null的值刷成default指定的值。...总结 1. mysql和oracle在default的语义上存在区别,如果想修改历史数据的值,建议给一个新的update语句(不管是oracle还是mysql,减少ddl执行的时间) 2....即使指定了default的值,如果insert的时候强制指定字段的值为null,入库还是会为null
行转列字段值固定. --1.case when SELECT [name], [type1] = SUM(CASE [type] WHEN N'type1' THEN [amount] ELSE 0...行转列字段值不固定,只能拼SQL了. --1.case when DECLARE @sql NVARCHAR(MAX) SET @sql = N'' SELECT @sql = @sql + N', '...= N'SELECT [name]' + @sql SET @sql = @sql + CHAR(10) + N'FROM #temp GROUP BY [name]' EXEC(@sql) --2...) --2.列转行 IF OBJECT_ID('tempdb.....name], type1, type2 FROM #temp) a UNPIVOT ([amount] FOR [type] IN([type1],[type2])) b 今天文章到此就结束了,感谢您的阅读好运
等建完索引,我又发现一个可以优化的地方。在本题中,只需找出散值(即每列的单值)的差异即可,完全没必要把整张表的数据,都拉出来。因为 user_id 肯定会有重复值嘛。...虽然,count 值一样,两列包含的数据,就绝对一样了吗,答案是否定的。假设,user_id, app_user_id 各包含 400万数据。...于是,我又想到了一种方案,那就是求 CRC 的总和。CRC 方法,简单来说,就是求每个 user id 的哈希值,然后求和。若和一致,则说明两列包含了相同的散值。...我之前提过一篇文章讲 CRC,详细的用法在这篇文章里: |SQL中的数据检验, CRC or MD5?...而求两列异值,最快的方法,由上可知,便是Left Join 求 Null, 并且只要有一条数据存在,就足以说明集合的包含关系.
SELECT * FROM dbo.test2 现在我们将Province列值和Company列值互换,代码如下: UPDATE test2 SET Company=Province, Province...=Company 这是第一种列值互换方式!...下面是第二种在部分数据库中有效的互换方式: UPDATE test2 SET Company=Company+Province, Province=Company-Province, Company=Company-Province...; 这里的加减号可能有些数据库不支持,根据不同的DBMS做相应的替换。
这是某个客户的BOSS系统中的一个top sql,SQL代码如下: SELECT t1.seq AS sequence ,t1.TemplateID AS templateId ,t1.parameter...针对这种sql,可以借助index的hint一招搞定,但是有个要求就是,表上这个index用到的字段必须有一个定义是not null,符合这样的索引随便找一个就行。 这样就不用走全表扫描了。...今天刚刚看到公司内一位老前辈写的一篇文章,讲到慎用hint。大方向是对的,但是,有些sql还是需要hint来进行优化,这个SQL就是个例子。...我之前的一些公众号文章也有一些SQL是需要hint来优化的。...尤其在很多谓词条件复杂或者关联条件复杂的情况下,靠统计信息是没有办法对行源进行准确估值的,这个时候就必须借助hint来帮助优化器制定一个良好的执行计划。
问题1: 针对如下这条SQL,使用了row_number()函数,但外层使用了rownum, ? 老虎刘老师指出, 这种写法又回到最初了,相当于没用分析函数。...应该是分析函数生成的列给个别名,然后外层再用这个别名<=10,而不是还用rownum<=10。 使用分析函数和rownum,两个逻辑不一样的SQL得到相同结果集,只能说是巧合。...t.c='aaa' OR t.c='bbb' AND t.e <= 10作为条件,并不会像《从一条"错误"的SQL,了解rownum的作用》中使用NAME='aaa' OR NAME='bbb' AND...ROWNUM<=10作为条件,得到19条aaa和1条bbb,而是返回正确的19条aaa和10条bbb, ?...对于数据检索的顺序,多说一句,有时你看见的,未必是真相,可以参考《Oracle读取数据的顺序问题》中对数据检索顺序的探索。
所以对Oracle数据表和索引的了解是至关重要的。 数据块是Oracle最小的存储单位,Oracle数据存放在块中,一个块占用一定的磁盘空间。...rowid也是oracle中一个比较重要的概念,rowid是oracle数据库的表中的每一行数据的唯一的标识符,在oracle内部通常就是使用它来访问数据的。...该值表明了该行在oracle数据库中的物理具体位置。可以在一个查询中使用rowid来表明查询结果中包含该值。 索引在表中的作用,相当于书的目录对书的作用。...(这是因为对于oracle索引,对于列中存在的null值不记录在b-tree索引中) 对于多个列建立的索引(组合索引),当该索引列有非空约束时,在具体检索中只检索组合索引中涉及的全部列或者部分列的全部数据...indextest_muti_index,因此称为索引跳跃扫描,其本质是ORACLE进行了改写,但这种有限制如下:前缀部分distinct的值数据较少 当进行index full scan
创建测试用表,DBA经常用到,通常都是基于dba_objects来创建的比较多。本文根据Tom大师的big_table进行了整理,供大家参考。...一、基于Oracle 10g下的big_table --============================================== -- Create a test table for...Oracle 10g -- File : cr_big_tb_10g.sql -- Author : Robinson -- Blog : http://blog.csdn.net/robinson...Oracle 11g下的big_table --============================================== -- Create a test table for Oracle...2、Oracle 11g all_objects 比Oracle 10g 多出两列,因此使用了2个不同的版本。 3、big_table的id列为唯一值,并在之上创建了primary key。
前言 数据清洗很重要,本文演示如何使用 Python Pandas 来查找和丢弃 DataFrame 中列值唯一的列,简言之,就是某列的数值除空值外,全都是一样的,比如:全0,全1,或者全部都是一样的字符串如...:已支付,已支付,已支付… 这些列大多形同虚设,所以当数据集列很多而导致人眼难以查找时,这个方法尤为好用。...上代码前先上个坑吧,数据列中的空值 NaN 也会被 Pandas 认为是一种 “ 值 ”,如下图: 所以只要把列的缺失值先丢弃,再统计该列的唯一值的个数即可。...代码实现 数据读入 检测列值唯一的所有列并丢弃 最后总结一下,Pandas 在数据清洗方面有非常多实用的操作,很多时候我们想不到只是因为没有接触过类似的案例或者不知道怎么转换语言描述,比如 “...列值唯一 ” --> “ 除了空值以外的唯一值的个数等于1 ” ,许多坑笔者都已经踩过了,欢迎查看我的其余文章,提建议,共同进步。
=database() limit 3,1))) = 6 --+ 检索表名的名称 在这种情况下,我将列举第一列。...使用相同的方法,您还可以枚举其他列。...枚举第二列的长度是否为 6: ' AND (length((select username from users limit 1,1))) = 6 --+ 枚举第三列的长度是否为 5: ' AND...1,1))) > 111 --+ 网站未正确加载,第一个字符为p 下面给出的查询将测试第一列名称的第二个字符是否为 ascii 97 (a): ' AND (ascii(substr((select...username from users limit 1,1) ,1,1))) > 96 --+ 网站未正确加载,第二个字符为 a 下面给出的查询将测试第一列名称的第三个字符是否为 ascii 115
subset:用来指定特定的列,根据指定的列对数据框去重。默认值为None,即DataFrame中一行元素全部相同时才去除。...导入数据处理的库 os.chdir('F:/微信公众号/Python/26.基于多列组合删除数据框中的重复值') #把路径改为数据存放的路径 name = pd.read_csv('name.csv...从结果知,参数为默认值时,是在原数据的copy上删除数据,保留重复数据第一条并返回新数据框。 感兴趣的可以打印name数据框,删重操作不影响name的值。...结果和按照某一列去重(参数为默认值)是一样的。 如果想保留原始数据框直接用默认值即可,如果想直接在原始数据框删重可设置参数inplace=True。...但是对于两列中元素顺序相反的数据框去重,drop_duplicates函数无能为力。 如需处理这种类型的数据去重问题,参见本公众号中的文章【Python】基于多列组合删除数据框中的重复值。 -end-
第一章 Oracle列直方图介绍 众所周知 ,列的直方图主要用于针对数据倾斜的情况,能帮助数据库更准确的了解数据的分布情况,从而选择更高效的执行计划。 经过测试,直方图也是存在很多问题隐患的。...4.1 文本型列过宽 如果针对文本型的列收集直方图,Oracle只会将该文本型字段的头32个字节给取出来(实际上只取头15个字节),并转换为一个浮点数。...4.2 数量型列过宽 如果针对数量型的列收集直方图,Oracle只会针对该数量型字段的前15位取ROUND。记录在直方图中。...同时,还要注意相应列的列类型和列宽。很可能造成预估行数远远小于实际行数的情况,从而造成SQL的低效执行计划。...现负责:公司Oracle、SQLServer、MySQL数据库优化方面的技术工作;公司SQL审核软件SQM的审核相关工作。热衷于性能优化的学习与分享。 END
今天接到一个群友的需求,有一张表的数据如图 1,他希望能通过 SQL 查询出图 2 的结果。 ? 图 1 原始数据 ?...这个就类似于 Excel 里面的操作,把 NULL 所在的单元格删了,下方的单元格往上移,如果下方单元格的值仍是 NULL,则继续往下找,直到找到了非 NULL 值来补全这个单元格的内容。...那用 SQL 怎么表示呢? 有一个思路:把每一列去掉 NULL 后单独拎出来作为一张独立的表,这个表只有两个字段,一个是序号,另一个是去 NULL 后的值。...一个比较灵活的做法是对原表的数据做列转行,最后再通过行转列实现图2 的输出。具体的实现看下面的 SQL(我偷懒了,直接把原数据通过 SELECT 子句生成了)。...,按值在原表的列出现的顺序设置了序号,目的是维持同一列中的值的相对顺序不变。
使用方法:根据需求 将符号放在 作为补充显示的表的列后面 select * from A,B where A.列=B.列(+) */ --使用oracle数据库特有外连接 跟等号左右无关...sql返回的唯一值 多行子查询 select * from A where A.列 in sql返回单列多个值 select * from A,(sql语句返回多行多列临时表...使用 rownum 实现提取记录 用于分页使用 rownum 是oracle数据库查询到记录 生成的一系列的数值 (1,2,3,4) rownum用于做大于判断 没有结果 必须使用子查询先生成...rownum rowun用于小于判断可以直接查询出结果 rowunm的执行原理 : 1: 执行sql语句; 2: 取到第一条记录,赋值rownum为1; 3: 判断rownum...中的分页查询 ROWNUM:表示行号,实际上只是一个列,但是这个列是一个伪列,此列可以在每张表中出 现。
领取专属 10元无门槛券
手把手带您无忧上云