有时候早期建的表上可能缺少主键，这样容易导致查询或者主从复制比较慢。 下面是一个小的脚本，用于找出没有主键的表。 #!.../bin/bash # 找出没有主键的表 # Date: 2017/06/05 source /etc/profile LOG="/tmp/nopk.log_$(date +%F)" user='root...' host='localhost' pass='123456' sock='/tmp/mysql.sock' MYSQL_CMD="mysql -u$user -h$host -p$pass -S$sock..." dbs=$($MYSQL_CMD 2>/dev/null -BNe "select SCHEMA_NAME from information_schema.SCHEMATA where SCHEMA_NAME...not in ('information_schema','performance_schema')") for db in $dbs; do $MYSQL_CMD information_schema
采集MySQL top ten 体积的表明细情况： 脚本如下： source /etc/profile USER='root' PASSWD='123456' SOCKET='/tmp/mysql.sock...' HOST='localhost' datadir=$(/usr/local/mysql/bin/mysql 2>/dev/null -u${USER} -p${PASSWD} -h${HOST} -...total//g' ) IP_ADDR=$(/sbin/ip a|egrep '10.[0|1].[1-9]+.[1-9]+*' | awk '{print $2}'| cut -d '/' -f 1); mysql...','performance_schema') ORDER BY ( data_length + index_length ) DESC LIMIT 10 ; " 脚本里面带上了采集时间、机器的IP...我们还可以用python脚本将这些采集到的数据按行插入到远程数据库中，或者json格式上送到数据库运维平台的接口达到metrics入库的目的。
/developer/article/1869793 MySQL找出谁持有行锁（RC级别）https://cloud.tencent.com/developer/article/1869900 表锁(表锁也是...MDL锁的一种) 表级锁对应的instruments(wait/lock/table/sql/handler)默认已开启，对应的consumers为performance_schema.table_handlers...下面通过一个示例来演示如何找出谁持有表级锁。...会话一： lock table t read; 会话二： update t set pad='xxx' where id = 1; # 被阻塞 查询: 找出持有表锁的脚本 SELECT ps.conn_id...OCP、Oceanbase OBCA、PingCAP PCTA认证，擅长基于Oracle、MySQL Performance Turning及多种关系型 NoSQL数据库。
表数据如下 查看用户名相同的记录 select * from user where username in (select username from user group by username...HAVING count(*) >1); 查看用户名和手机号都相同的重复记录 select * from user where (username,phone) in (select username...HAVING COUNT(1) > 1 ); 上述语句看着是不是应该正常能执行删除掉用户名和手机号都相同的重复记录只保留id最小的那一条。...实际执行会报如下错误： 1093 - You can’t specify target table ‘user’ for update in FROM clause 含义：不能在同一表中查询的数据作为同一表的更新数据...; INSERT INTO `user`(`id`, `username`, `phone`, `age`) VALUES (1, '我是主数据库的zjq', '13666666666', 18);
Input: [1,2,3,4] Output: false Example 3: Input: [1,1,1,3,3,4,3,2,4,2] Output: true 题目意思很简单，即如果整个列表是没有重复数字的...= len(nums) 题目本身值得讲一讲的地方在于，这个题目涉及到面试经常会问到的一个题目，即： Python 中如何对列表进行去重？...参考答案如下： # 如果仅仅是去重 set('b', 'b', 'a', 'a', 'b', 'b', 'a']) # 如果要保持顺序 # 第一种方法,也是最笨的方法 new_list = [] #...定义一个空的列表 for elem in slist: if elem not in new_list: new_list.append(elem) # 第一种方法可以用...，在 python3.7 之后，dict 的效果就和 OrderedDict 的效果是一样的了，所以直接可以用 dict 来实现。
前言一般我们将数据存储在MySQL数据库中，它允许我们存储重复的数据。但是往往重复的数据是作废的、没有用的数据，那么通常我们会使用数据库的唯一索引 unique 键作为限制。...问题来了啊，我还没有创建唯一索引捏，数据就重复了（我就是忘了，怎么滴）。 那么如何在一个普通的数据库表中删除重复的数据呢？那我用一个例子演示一下如何操作。。。...和 不等于 2.中同时删除空的业务主键数据那么便有以下几个查询：/*1、查询表中有重复数据的主键*/select rd2.iccId from flow_card_renewal_comparing rd2...rd2 GROUP by rd2.iccId having count(rd2.iccId)>1 )or iccId is null注意一点是mysql做删除的时候会提示不能用查询的结果来做删除操作，...这个时候就需要将查询的数据作为一个临时表，起别名进行删除啦。
当我们用Sqoop导入一张表的时候可以用 --table 去指定要导入一个表，但是我们要导入多个表的话，用这个--table是不行的。...这时候我们可以用Sqoop的import-all-tables加--exclude-tables 进行组合使用，实现我们一次导入多个表的目的。 ---- 示例 数据库waimai有7个表。...我们要导入其中的ti开头的6个表，那么我们就可以使用import-all-tables加--exclude-tables "td_new_old_info" ，来导入我们需要导入的6个表。...使用mysqlshow -u -p [database]可展示数据库下的所有表。...image.png sqoop 导入waimai数据库里面的除td_new_old_info以外的表 sqoop import-all-tables \ --connect "jdbc:mysql
参考：http://www.cnblogs.com/duanjie/archive/2011/08/13/2136862.html 说到去重复，感觉逻辑很简单。但动手写起来却并不是那么容易。...面试的时候让写sql语句，然后没完整的写出来，然后面试官说你这没结果啊！ 去重复首先要把要留下的选出来，然后删除其他重复项。distinct虽然好用，但规则不明显。...这里采用：select max(id) from user group by 重复依据。 1.取出要留下的数据，本次依据重复项的最大id为保留项。...SELECT id,name,age from person WHERE id in( SELECT MAX(id) from person GROUP BY name,age ); 2.放入临时表...temp1 SELECT id,name,age from person WHERE id in( SELECT MAX(id) from person GROUP BY name,age ); 3.清空原表并从临时表注入
/developer/article/1869793 MySQL找出谁持有行锁（RC级别）https://cloud.tencent.com/developer/article/1869900 表锁之MDL...锁 本文使用MySQL8.0.23测试 另一类表级的锁是 MDL（metadata lock)。...在 MySQL 的 information_schema 库的 innodb_trx 表中，你可以查到当前执行中的事务。...首先要启用 MySQL 5.7版本之前，我们不能从数据库层面很直观地查询谁持有MDL锁信息(如果使用GDB之类的工具来查看，则需要具有一定的C语言基础)。...数据库。
//找出数组中重复的数字。 // // //在一个长度为 n 的数组 nums 里的所有数字都在 0～n-1 的范围内。...数组中某些数字是重复的，但不知道有几个数字重复了，也不知道每个数字重复了几次。请 //找出数组中任意一个重复的数字。...3, 1, 0, 2, 5, 3] //输出：2 或 3 // // // // // 限制： // // 2 <= n <= 100000 // Related Topics 数组 哈希表
MYSQL 如何删除表中重复数据 CREATE TABLE `test` ( `id` int(11) DEFAULT NULL, `name` varchar(255) DEFAULT NULL...INSERT INTO `test` VALUES ('8', 'test', '测试1');INSERT INTO `test` VALUES ('9', 'test1', '测试1'); 可以看到上述表中...id为4，5，6，8 是完全重复的数据，我们需要删除这些数据，我的逻辑是什么呢，就是每条数据分组后 取 id 最小的 那个 留下来，其余的进行删除 SQL如下： DELETEFROM testWHERE
最近优化了一条MySQL的慢查询SQL,还是蛮有感触，小结一下。...整个SQL的逻辑是输出其中product表的数据（字段prod_id,prod_name）和tag表的数据（tag_url）,其中表tag和表tag_product)他们通过字段(tag_id)进行关联...，然后和外部的表使用prod_id进行关联，为了体现出是left join(左连接)，我把表product的位置及往上放了放。...所以对于上面的逻辑，其实数据表product和表tag要联合输出数据，需要借助一个中间表tag_product,那么tag_product应该是连接数据的纽带，一个相对比较合理的方式就是其实基于表product...的逻辑，left join会和表tag_product再做一次连接，数据以tag表中的tag_id为准，输出就是： tag_id:1,prod_id:100 tag_id:1,prod_id:200 而如果采用上述的连接方式
在MySQL数据库中，当我们面对一个拥有大量数据的表，并且需要删除重复数据时，我们需要采用高效的方法来处理。...今天了我们正好有张表，大概3千万条数据，重复数据有近2千多万条，本文将介绍几种方法，帮助您删除MySQL表中重复的数据中。...(50) 平台版本 mark_id varchar(15) 工单id 这张表了有3千万条数，我们需要保留sys_code,version_code,mark_id 重复的数据中保留最大的id的数据，删除其余的数据...需要额外的操作及权限：创建、插入和删除临时表需要执行额外的数据库操作，增加了一定的复杂性。...如果可读性和操作灵活性更重要，并且处理逻辑相对复杂，创建临时表可能是更好的选择。无论使用哪种方法，请务必在生产环境之前进行充分的测试和验证。我们在此推荐使用第二种方法来删除重复数据。
主键 主键：primary key用来唯一的约束该字段里面的数据，不能重复，不能为空，一张表中最多只能有一个主键，主键所在的列通常是整数类型。...：主键对应的字段中不能重复，一旦重复，操作失败。...2 | +------------------+ 1 row in set (0.00 sec) 唯一键 一张表中有往往有很多字段需要唯一性，数据不能重复，但是一张表中只能有一个主键：唯一键就可以解决表中有多个字段需要唯一性约束的问题...而我们设计员工工号的时候，需要一种约束：而所有的员工工号都不能重复。具体指的是在公司的业务上不能重复，我们设计表的时候，需要这个约束，那么就可以将员工工号设计成为唯 一键。...，提前告诉mysql表之间的约束关系，那么当用户插入不符合业务逻辑的数据的时候，mysql不允许你插入。
datatype 表示列的类型。 character set 字符集，如果没有指定字符集，则以所在数据库的字符集为准。...collate 校验规则，如果没有指定校验规则，则以所在数据库的校验规则为准。...： seletc database();//查看当前使用的数据库 show tables;//查看当前数据库的表 desc user1;//查看user1表 show create table user1...\G //查看当时创建user1这张表时候的操作 查看当前使用的数据库： 查看当前数据库的表： 查看表： 查看建表时的操作： 修改表 修改表的操作有修改某个表的结构，比如字段名字，字段大小...，字段类型，表的字符集类型，表的存储引擎等等。
零、前言 本章主要讲解学习MYSQl数据库中的表的约束 表的约束 真正约束字段的是数据类型，但是数据类型约束很单一，需要有一些额外的约束，更好的保证数据的合法性，从业务逻辑角度保证数据的正确性...主键约束：主键对应的字段中不能重复，一旦重复，操作失败 示例：创建表的时候直接在字段上指定主键 当表创建好以后再次追加主键： alter table 表名 add primary key(...在关系数据库中，索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构，它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单 索引的作用相当于图书的目录...这样可以使对应于表的SQL语句执行得更快，可快速访问数据库表中的特定信息 7、唯一键 一张表中有往往有很多字段需要唯一性，数据不能重复，但是一张表中只能有一个主键：唯一键就可以解决表中有多个字段需要唯一性约束的问题...解决方案就是通过外键完成的。建立外键的本质其实就是把相关性交给mysql去审核了，提前告诉mysql表之间的约束关系，那么当用户插入不符合业务逻辑的数据的时候，mysql不允许你插入
方法如下： 1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断 [sql] view plain copy select * from people where peopleId...in (select peopleId from people group by peopleId having count(peopleId) > 1) 2、删除表中多余的重复记录...and rowid not in (select min(rowid) from people group by peopleId having count(peopleId )>1) 3、查找表中多余的重复记录...a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1) 4、删除表中多余的重复记录...1) and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1) 5、查找表中多余的重复记录
mysql服务无法启动怎么解决_数据库 mysql服务无法启动的解决方法是： 1、配置环境变量； 2、在mysql安装目录下，新建my.ini文件，设置默认字符集、端口、存储引擎等； 3、执行【mysqld...mysql清空表数据命令有以下两种语句： 语句1： delete from 表名; 语句2： truncate table 表名; 比 较：mysql查看数据库命令是什么？..._数据库 mysql查看数据库命令： 1、查看所有数据库命令是：“show databases”。 2、查看当前使用的数据库命令是：“select database()”。...(1)不带where参数的delete语句可以删除mysql表中所有内容，使用truncate table也可以清空mysql表中所有内容。...(3)delete的效果有点像将mysql表中所有记录一条一条删除到删完，而truncate相当于保留mysql表的结构，重新创建了这个表，所有的状态都相当于新表。
专栏持续更新中：MySQL详解 一、背景 先要从 InnoDB 的索引实现说起，InnoDB 有两大类索引： 聚集索引(clustered index) 普通索引 (secondary index...通俗的讲就是，如果索引的列在 select 所需获得的列中（因为在 mysql 中索引是根据索引列的值进行排序的，所以索引节点中存在该列中的部分值）或者根据一次索引查询就能获得记录就不需要回表，如果 select...所需获得列中有大量的非索引列，索引就需要到表中找到相应的列的信息，这就叫回表。...(20) 主键ID username varchar(20) 用户名 password varchar(20) 密码 假如现在有一个用户名为admin，密码为123的用户要登录，那我会先找出username...四、解决办法 使用覆盖索引可以解决上面所说的回表的问题。
MySQL中， 如果表没有主键的时候，会造成主从延迟。 因此我们需要找出没有主键的表，然后人工加个主键。 脚本如下： #!.../bin/bash # 找出没有主键的表 (排除MySQL自带的SCHEMA) source /etc/profile LOG="/tmp/nopk.log_$(date +%F)" user='root...' host='localhost' pass='123456' sock='/tmp/mysql.sock' MYSQL_CMD="mysql -u$user -h$host -p$pass -S$sock..." dbs=$($MYSQL_CMD 2>/dev/null -BNe "select SCHEMA_NAME from information_schema.SCHEMATA where SCHEMA_NAME...not in ('information_schema','performance_schema','mysql','sys')") for db in $dbs; do $MYSQL_CMD information_schema
领取专属 10元无门槛券
手把手带您无忧上云
