曾供职于某世界著名物流公司，负责公司的电子物流系统的数据库开发和维护工作。...2005年创建了个人网 www.HelloDBA.com，致力于数据库底层技术的研究，整理和发布了大量关于数据库系统底层机制、存储结构、性能调优以及基础算法方面的文章，获得广大同行的高度评价。...，这一过程就是索引块分裂（Index Block Splitting）。...1) 叶子节点分裂 当 Insert、Update（实际上就是 Delete+Insert）时，叶子节点块上没有足够空间容纳新的索引条目，就会发生叶子节点分裂： 在10224事件的 trace 文件中可以看到叶子节点块分裂的记录...下面例子中，枝节点和叶子节点都发生了9-1分裂： 注意，这里的统计结果中，枝节点的分裂方式并未显示，但从 Trace 文件中可以看到，新分裂的节点数据块上只有少量数据，发生的是9-1分裂： 5-5分裂
但从功能上来看没有什么问题，但是确实造成了影响，后续迭代发展这里可能埋下隐患） 类名，方法名，常量，异常处理 参数校验尽量提取能抽到一个方法抽取到一个方法中 方法和类上一定要有注释 清楚职能 a调b，b...调c，c调d，d调f 特别糟糕 应该是有一个主方法： a 调 b，c，d，f 提供代码质量：一开始进行类设计的时候没有梳理好，没有想清楚每个类和方法的职能， 就是一条线顺着写下去，a方法调b，b...6.bean注入属性值的时候，可以用构造器，避免多个set 7.三元运算符可以使代码更精简 8.注意命名，思考命名的本质，命名是有确切的业务含义的（比如监控大盘打点的目的是为了上报数据，方法名叫上报就比叫打点好很多...为什么会把已经终态的数据从新扫描出来。 2.现阶段其实学习太多没有呢么重要，重要的是多思考，把事情想明白和透彻。总结和输出文档的时候，把事情想明白说明白的时候都是思考的过程。...如果更新还设置null 就会报错，即使数据库默认值为null，因为sql检查过不去 insertSelective同理 如果数据库设置非空并设置了默认值，用了insert 插入会报错，但是用insertSelective
我们操纵代码时至少需要写一个插入语句和更新语句并且还得单独写方法效验数据是否存在，这种操作完全可以用merge into语句代替，不仅省时省力而且条理更清晰，一个SQL语句直接完成插入，如果有相同主键进行更新操作...2、具体SQL：下边sql是我在工作中最常使用的，功能是对接口表（表B）中通过批次ID查到的合同进行对正式表（表A）插入和更新。除此之外，还可以根据你的想实现功能进行各种条件更新和插入。...只update或者只insert，带条件的update或带条件的insert，全插入insert实现，带delete的update(觉得可以用3来实现) MERGE INTO后是更新的表，USING是对接口表进行筛选...在使用时候，用户通过指定已经定义的存储过程名字并给出相应的存储过程参数,来调用并执行它，从而完成一个或一系列的数据库操作。 ...2、创建：Oracle存储过程包含三部分：过程声明，执行过程部分，存储过程异常。 我在工作中常用的一个存储过程结构如下： --存储过程校验信息，三个入参，一个输入批次。
3)创建函数 (4)创建存储过程 (5)调用存储过程 (6)删除某表上的索引 3️⃣索引失效的情况 3.1 全值匹配我最爱(索引最佳) 3.2 不遵守最左前缀匹配原则 3.3 不按照递增顺序插入主键 3.4...创建往stu表中插入数据的存储过程 #创建往stu表中插入数据的存储过程 DELIMITER // CREATE PROCEDURE insert_stu( START INT , max_num...; 创建往class表中插入数据的存储过程 #执行存储过程，往class表添加随机数据 DELIMITER // CREATE PROCEDURE `insert_class`( max_num INT...; (5)调用存储过程 往class表添加1万条数据 #执行存储过程，往class表添加1万条数据 CALL insert_class(10000); 往stu表添加50万条数据,这个时间会稍微有点长...#执行存储过程，往stu表添加50万条数据 CALL insert_stu(100000,500000); 查询下数据是否插入成功。
例如，可以在books.author_code 列上生成一个插入触发器，如果新值与auths.author_code列中的某值不匹配时，插入被回退。 5. 同步实时地复制表中的数据。 6....，也不能使用采用CALL语句的动态SQL语句，但是允许存储程序通过参数将数据返回触发程序，也就是存储过程或者函数通过OUT或者INOUT类型的参数将数据返回触发器是可以的，但是不能调用直接返回数据的过程...也可以使用存储过程。...commit为异步写，一定程度上减少了等redo日志落地时间； 存储过程最大问题就是给数据库开发工作压力太大，另外架构升级时候会比较难解耦； 触发器不推荐使用，触发操作能在业务层解决就在业务层解决，否则很难维护...触发器和存储过程本身难以开发和维护，不能高效移植。 触发器完全可以用事务替代。 存储过程可以用后端脚本替代。 ?
支持情况： WebSQL 数据库可以在最新版的 Safari, Chrome 和 Opera 浏览器中工作。...核心方法： ① openDatabase：这个方法使用现有的数据库或者新建的数据库创建一个数据库对象。 ② transaction：这个方法让我们能够控制一个事务，以及基于这种情况执行提交或者回滚。...// 分别为：数据库名称、版本号、描述文本、数据库大小、创建回调 执行查询操作： var db = openDatabase('mydb', '1.0', 'Test DB', 2 * 1024 *...我们可以使用每条记录中的某个指定字段作为键值（ keyPath ），也可以使用自动生成的递增数字作为键值（ keyGenerator ），也可以不指定。...选择键的类型不同， objectStore 可以存储的数据结构也有差异。
可不可以一个人一个人的释放占用的内存” “因为我在插入数据到时候报错内存不足，所以我想算一下需要多少。” “标量是不是不建议 load 内存中，感觉几十 G 的内存几下就用完了。”...可以用下面这张图来表示目前常见降低内存使用的方法： 前文也提到，2023 是 AIGC 应用爆发的一年，在做 LLM 应用开发的过程中，大家能直观感受到大模型的响应时间是比较慢的，一般是几百毫秒到几秒。...「插入」：丝滑入库是影响开发体验的第一步 除了查询之外，“插入”应该是使用最多的一个数据库操作，所有后续的工作也是建立在数据成功插入的基础上。...关于这一关键词，和大家分享 3 点关于数据插入的心得： 1. 批量插入快于单条插入，文件导入（bulk_insert）快于批量插入（insert）。...Milvus 用 insert 接口做数据插入时，不会做主键去重，如果希望主键去重，可以使用 upsert 接口。
MyBatis saveBatch 性能调优 4.1 使用批量插入语句 对于不同的数据库，可以使用其提供的批量插入语句，如MySQL的INSERT INTO ......过大的批量插入可能导致数据库连接占用时间过长，而过小的批量插入又可能增加数据库连接获取和释放的频率。...在MyBatis-Plus中，saveBatch方法已经针对性能进行了优化，可以自动判断使用批量插入语句。...性能测试与分析 为了更全面地了解调优效果，我们可以进行性能测试。使用一定数量的数据，分别测试调优前后的性能指标，例如执行时间、数据库连接数、内存占用等。 7....总结 MyBatis的saveBatch操作在批量插入时可能面临性能问题，但通过合理的调优可以有效提高性能。
缺点： 既然一部分数据持久化到了硬盘中，且不能被查看和访问那么就会导致， 在同一时间点我们只能访问一定数量的数据，也就是内存中存储的数据; sheet.clone()方法将不再支持,还是因为持久化的原因...频繁IO操作绝对不行； 5、 导入时300万数据存储到DB如果循环一条条插入也肯定不行； 6、导入时300w数据如果使用Mybatis的批量插入肯定不行，因为Mybatis的批量插入其实就是SQL的循环...针对5： 导入到DB时我们可以将Excel中读取的数据存储到集合中，到了一定数量，直接批量插入到DB中。...事务操作插入300w条数据综合只用时 8.209秒 ------开始读取Excel的Sheet时间(包括导入数据过程):1623127873630ms------ 200000条,开始导入到数据库时间:...4 总结 这次工作中遇到的问题也给我留下了深刻印象,同时也是我职业生涯添彩的一笔。 最起码简历上可以写上你处理过上百万条数据的导入导出。
例如，MyApp.person类的此定义包括Loggevent触发器的定义，在每个成功的数据插入到MyApp.person表之后，将在每个成功的数据插入后调用： Class MyApp.Person Extends...可以使用INFORMATION.SCHEMA.TRIGGERS的ACTIONORIENTATION属性列出每个触发器的Foreach值 下面是可用的触发器及其等价的回调方法: BEFORE INSERT...例如，如果表T1有一个对表T2执行插入操作的触发器，表T2也有一个对表T1执行插入操作的触发器。 当表T1有一个调用例程/过程的触发器，并且该例程/过程执行对T1的插入操作时，也可以发生递归。...注意:对于由串行对象的数组集合创建的子表触发器，触发器逻辑与对象访问/保存一起工作，但与SQL访问(插入或更新)不工作。...对于每个成功执行的INSERT、UPDATE或DELETE语句，都会拉出一次语句触发器，而不管该语句是否实际更改了表数据中的任何行。 INSERT语句拉动相应的插入触发器。
插入角色表 -- 插入角色数据 DELIMITER $$ CREATE PROCEDURE insert_role(max_num INT) BEGIN DECLARE i INT DEFAULT...; 插入用户表 -- 插入用户数据 DELIMITER $$ CREATE PROCEDURE insert_user(START INT, max_num INT) BEGIN DECLARE...; 四、执行存储过程 -- 执行存储过程，往dept表添加10万条数据 CALL insert_role(100000); -- 执行存储过程，往emp表添加100万条数据，编号从100000开始...CALL insert_user(100000,1100000); 小结 执行用时 10w数据差不多半分钟, 100w数据超过了20分钟, 同时 user的存储还卡死很久… 最后都成功新增, 但是自动递增值和行数不一致...null 的选择等 但是如果是 姓名 那么就会让你选择是否唯一 数字的话会让你选择范围, 默认值等 等确定好了, 我们就可以点击右下角进行生成随机测试数据 通过结果可以看到生成十一万测试数据一共用时十一秒
Collections表示集合，类似关系数据库中的表。 Functions表示函数，类似关系数据库中的存储过程与函数。 Users表示用户。 document表示记录，类似关系数据为中的记录或行。...1.2.3、插入数据 a)、db.集合.insert(数据) 这里的数据可以是JSON 先打开shell脚本编写的界面，操作如下： ?...db.products.insert({name:"iphone",price:1988}); 从上图操作可以看出，没有去创建“products”集合，其实通过插入操作也会自动创建 _id，是mongodb...自已生成的，每行数据都会存在，默认是ObjectId，可以在插入数据时插入这个键的值(支持mongodb支持的所有数据类型) 查看数据：db.getCollection('products').find..._id可以自已插入、一个表中不一定要字段都相同，虽然insert和save方法都可以插入数据，当默认的“_id”值已存在时，调用insert方法插入会报错；而save方法不会,会更新相同的_id所在行数据的信息
由用户通过指定存储过程的名称来执行。 触发器是一种特殊类型的存储过程，它不是由用户直接调用的，而是当用户对数据进行操作（包括数据的INSERT ,UPDATE,DELETE操作）时自动执行。...AS sql语句 29.2执行存储过程 对存储在服务器上的存储过程，可以使用exectue命令或者其名称执行 29.3查看存储过程 对用户建立存储过程，可以使用对象资源管理器或系统存储过程查看该存储过程的定义...2， 使用系统存储过程查看存储过程，可以使用SP_HELPTEXT SP_DEPENDS SP_HELP 29.4删除存储过程 可以利用资源管理器或者drop proc 语句将其删除 示例 -...29.6临时表 INSERTED表和DELETED表用于存放对表中数据行的修改信息。他们是触发器执行时自动创建的。当触发器工作完成，他们也被删除。他们只是只读表，不能向他们写入内容。...INSERTED表：用来存储INSERT和UPDATE语句所影响的行的副本。 意思就是在INSERTED表中临时保存了被插入或被更新后的记录行。
根据你的配置、数据库集群架构和你想在哪里执行修改操作，可以有许多种不同的工作模式。 a. 连接到从库，在主库做迁移 这是 gh-ost 默认的工作方式。...（如心跳事件） 在主库切换表 如果你的主库的日志格式是 SBR，工具也可以正常工作。...整个操作过程中，gh-ost 将控制速度保证从库可以及时的进行数据同步 migrate-on-replica 选项让 gh-ost 直接在从库上修改表。...主从复制暂停的状态下，你可以检查和对比这两张表中的数据 关于 GH-OST 数据时序的问题 对与 insert 和 update 是没有问题的，因为无论 copy old row 和 apply binlog...这些语句包括 INSERT、REPLACE 等。需要注意的是：simple inserts 不包含 INSERT...
修改参数 bulk_insert_buffer_size， 调大批量插入的缓存； 其他一些方式 1. 一条SQL语句插入多条数据。...COMMIT; 使用事务可以提高数据的插入效率，这是因为进行一个INSERT操作时，MySQL内部会建立一个事务，在事务内才进行真正插入处理操作。...table,然后 insert. 24.如果使用到了临时表， 在存储过程的最后务必将所有的临时表显式删除， 先 truncate table ,然后 drop table ,这样可以避免系统表的较长时间锁定...28.在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON ,在结束时设置 SET NOCOUNT OFF .无需在执行存储过程和触发器的每个语句后向客户端发送 DONE_IN_PROC...如果不产生大量重复值，可以考虑把子句拆开。拆开的子 句中应该包含索引。
和分区一样，分桶也是一种通过改变表的存储模式，从而完成对表优化的一种调优方式。 但和分区不同的是，分区是将表拆分到不同的子目录中进行存储，而分桶是将表拆分到不同文件中进行存储。 那什么是分桶呢？...而在数据取样过程中，可以直接对某几个桶文件进行取样，缩短取样时间。...分区和分桶是两种不同的优化手段，当然也可以同时进行，即先分区后分桶；最终的存储效果便是在子目录下的数据，被存储为多个桶文件。...分桶表数据插入 分桶表创建完成后，可以插入数据： --再次强调，Hive不建议单条插入，会生成小文件，这里只是方便演示 insert into table tb_buckets values(1, 'zs...); 数据插入后，再进入到HDFS中进行查看，可以看到虽然文件数较多，因为TextFile仅支持追加，每插入一次数据便会生成一个文件，但桶已经可以区分出来了。
缺点： 既然一部分数据持久化到了硬盘中，且不能被查看和访问那么就会导致， 在同一时间点我们只能访问一定数量的数据，也就是内存中存储的数据; sheet.clone()方法将不再支持,还是因为持久化的原因...频繁IO操作绝对不行； 5、 导入时300万数据存储到DB如果循环一条条插入也肯定不行； 6、导入时300w数据如果使用Mybatis的批量插入肯定不行，因为Mybatis的批量插入其实就是SQL的循环...针对5： 导入到DB时我们可以将Excel中读取的数据存储到集合中，到了一定数量，直接批量插入到DB中。...3000调大即可。...可以参考下面链接【Myabtis批量插入和JDBC批量插入性能对比】 3、使用JDBC+事务的批量操作将数据插入到数据库。
有受影响的行数和插入数据的ID，就可以很方便进行后续的一些操作（比如判断是否成功或者继续根据插入数据的ID进行其它操作） 下面，我去数据库服务器中使用Navicate for MySQL工具查询一下...Nodejs 调用带out参数的存储过程，并得到out参数返回值 Nodejs调用存储过程没什么特别，只是调用带out参数存储过程并得到out参数返回值可能有些人比较疑惑，下面用个示例来介绍一下 ...在表中正确插入此数据，而且正确的得到了out参数的值，细心的可能会发现我存储过程中在SET ExtReturnVal = 1表示成功后，多了一句SELECT ExtReturnVal; 这样就可以通地查询得到...结束连接其实有两种方法end()，destory()； end() end()方法在queries都结束后执行，end()方法接收一个回调函数，queries执行出错，仍然后结束连接，错误会返回给回调函数...断线重连 数据库可以因为各种原因导致连接不上，这种就必须有重连接机制！
最近发现，不管是初入职场，还是已经工作很多年的开发同学。虽然接触数据库（尤其是 MySQL）很长时间了，但对于 SQL 语句的执行过程都知之甚少，或者一知半解。...而 MySQL 的执行流程也确实是一个复杂的过程，它涉及多个组件的协同工作，故而在面试或者工作的过程中很容易陷入迷惑和误区。...SQL 执行过程 所以，这篇文章我将以 MySQL 常见的 InnoDB 存储引擎为例，为大家详细介绍 SQL 语句的执行流程。从连接器开始，一直到事务的提交和数据持久化。...记录缓存（Record Cache），查找索引 MySQL 使用记录缓存来存储从数据表中读取的数据行，这个缓存可以加速对频繁读取的数据的访问，避免了每次都要从磁盘读取的开销。...如果写了 redo log 直接提交，不经过 prepare 阶段，那么这个过程在发生故障时，如果 MySQL 部署了主从节点，主节点可以根据 redo log 恢复数据，但从节点就无法同步这部分数据。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
