首页
学习
活动
专区
圈层
工具
发布

OB 运维 | 跑批 SQL 大量超时?集群管理避坑案例

1问题背景 凌晨 04:25 左右,OceanBase 集群业务应用端报错: java.sql.SQLException: Timeout OCP 告警: 04:26 存在大量 easy_connection_on_timeout_conn...2应急方案 由于跑批任务优先级较高,决定暂停合并操作。 05:50 左右,在黑屏中暂停合并操作,跑批任务恢复正常。...-- sys 租户下执行 ALTER SYSTEM SUSPEND MERGE; 待跑批结束,再恢复合并操作。...4优化建议 调整每日合并时间,尽量避免合并期间跑批。 合并时磁盘 IO 压力较大,跑批任务也会消耗系统资源,磁盘性能瓶颈导致 SQL 变慢。 建议:合并与跑批任务分开进行。...降低跑批并发度,并行任务改为串行。 降低跑批对系统资源的压力,避免出现队列积压问题,进而导致跑批超时。 业务拆分。 目前集群体量较大,跑批,合并,备份等时间冲突,建议进行业务拆分。

12900
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    跑批为什么这么难?

    跑批系统比较典型的架构大致如下图:从图上看,数据要从生产数据库取出,存入跑批数据库。跑批数据库通常是关系型的,编写存储过程代码完成跑批计算。...跑批很慢的第一个原因,是用来完成跑批任务的关系数据库入库、出库太慢。...所以,跑批数据库导入文件数据的过程,以及跑批计算结果再导出文件的过程都会很慢。跑批很慢的第二个原因,是存储过程性能差。...应用效果SPL 在技术架构上打破了关系型跑批数据库存在的两大瓶颈,在实际应用中也取得了非常好的效果。L 银行跑批任务采用传统架构,以关系数据库作为跑批数据库,用存储过程编程实现跑批逻辑。...跑批任务采用关系数据库的 SQL 语句实现,运行总时间 7.8 小时,占用了过多的跑批时间,甚至影响了其他的跑批任务,必须优化。

    16310

    Java项目实战之天天酷跑

    ,来躲避 障碍物和吃金币,玩家躲避的障碍物越多跑酷距离越远,玩家吃的金币越多,得分越高。...将天天酷跑的图片(Image)资源解压到桌面后,(Image文件如下图所示:) ? 复制到Eclipse中,单击src,直接Ctrl+V。 ?...线程: Thread类中这样定义: 线程是程序中执行的线程,Java虚拟机允许程序同时运行多个执行线程。 举个例子,你用百度网盘下载一部电影,这就是一个线程。...,功能如下: 跑酷距离、获取玩家的得分。...1、跑酷距离 我是在Person类的玩家移动方法中,添加了一个自增的diatance,只要玩家的图片还在切换,也就是游戏还没有结束,这个distance都在自增,也算是一种间接的实现计算跑酷距离的方法。

    2.6K20

    YashanDB|如何优化跑批性能?这些参数配置值得关注

    为了提升跑批效率、避免瓶颈和异常,合理的参数配置至关重要。本文整理了多个实际项目中的调优建议,供你参考和借鉴。...一、适用版本YashanDB 全版本,建议版本 ≥ 23.2二、跑批性能受影响的常见场景数据写入速度慢;REDO 写入阻塞;checkpoint 频繁,影响事务响应;内存占用异常,或缓存命中率偏低;并行线程调度失衡...表空间与 REDO 规划表空间提前分配,避免跑批过程中动态扩容带来的性能波动;REDO 和数据文件建议分盘部署,减少 IO 争抢;配置足够的 REDO 文件(建议 10 个,每个 2G),避免日志追尾。...快照策略优化跑批前关闭快照或延长快照清理周期(默认 7 天);避免跑批过程中快照清理与业务操作抢占资源。3....统计信息策略跑批前提前收集统计信息;若表数据动态变化较小,可锁定统计信息,防止跑批中执行计划异常变更。

    5800

    【YashanDB知识库】要有好的跑批性能,有哪些参数要注意

    问题的风险及影响影响跑批性能问题影响的版本YashanDB版本:23.2及以上所有版本解决方法及规避方式存储过程跑批在多个客户中出现过,在多次实践中,得出相关最佳配置,供参考如下。...1、空间划分评估好提前规划好表空间,一次性把文件扩好,避免在跑批过程扩文件。...(默认7天)自动清理,避免在跑批的过程,触发了快照清理,影响性能3、统计信息收集在跑批之前,收集统计信息,如果历史数据不足或其他原因会造成统计信息在跑批的过程中生效,需要对相应的表做统计信息的锁定。...checkpoint,如果跑批数据量过大, 则不可避免会发生checkpoint,可以忽略此配置CHECKPOINT_TIMEOUT3600DBWR_BUFFER_SIZE32M(最大值)DBWR_COUNT16...发生宕机可能导致数据不一致, 跑批的场景可以使用,因为发生异常可以重跑,在线交易类不可使用并行MAX_SESSIONS4096OPEN_CURSORS4096MAX_WORKERS1024MAX_PARALLEL_WORKERS1024DEGREE_OF_PARALLELCPU

    6400

    【YashanDB 知识库】要有好的跑批性能,有哪些参数要注意

    问题现象YashanDB 在实际使用中有不少用于跑批量任务的场景,经常有用户咨询我们要取的好的跑批性能,有哪些参数要注意?...这里列举对性能有影响,特别是对跑批有影响的参数,供大家参考,更多性能调优,问题的风险及影响影响跑批性能问题影响的版本YashanDB 版本:23.2 及以上所有版本解决方法及规避方式存储过程跑批在多个客户中出现过...1、空间划分评估好提前规划好表空间,一次性把文件扩好,避免在跑批过程扩文件。...有大量的读写,和 dbfiles 在不同的盘,可以充分利用 IO)REDO 文件个数及大小:10 个 REDO 文件,每个 2G(文件足够大,避免日志追尾)2、后台快照管理关闭快照,或把快照保留较长时间,在跑批完成之后再修改会常规...(默认 7 天)自动清理,避免在跑批的过程,触发了快照清理,影响性能3、统计信息收集在跑批之前,收集统计信息,如果历史数据不足或其他原因会造成统计信息在跑批的过程中生效,需要对相应的表做统计信息的锁定。

    9010

    YashanDB|跑批性能调优必看:这几个参数设置请注意

    在 YashanDB 的实际应用中,大量用户场景涉及批量处理任务(跑批),如定时任务、数据汇总、报表生成等。如果参数设置不当,容易导致跑批速度缓慢,甚至引发资源瓶颈。...一、适用版本适用于 YashanDB 23.2 及以上所有版本二、常见风险与影响跑批任务耗时长;数据导入导出效率低;IO、CPU 占用异常波动,甚至影响系统稳定性。三、关键调优建议1....IO 冲突;REDO 文件配置建议:建议配置 10 个 REDO 文件,每个 2GB;目的是避免跑批高峰期间日志追尾导致性能抖动。...快照策略调整跑批期间建议 关闭快照功能 或 延长保留时间;默认快照保留 7 天,若在跑批中触发清理,会引起额外 IO 竞争;建议在跑批完成后再恢复常规快照设置。3....统计信息管理跑批前务必收集统计信息,以避免执行计划不稳定;若统计信息无法覆盖完整数据量,建议对关键表进行统计信息锁定,避免跑批中动态更新计划造成性能回退。4.

    5500

    Java之面向对象例子(一)

    定义一个人类,给这个类定义一个从身份证获取生日的方法,输入身份证,获取出生年月日 //主方法 package com.hanqi.maya.model; import java.util.Scanner...; import java.util.Scanner; import java.util.Scanner; //定义一个类 public class Person { //定义成员变量 即 属性...注意: 局部变量使用时必须赋初始值 类里的成员变量Java自动给赋值  int型初始值0 bollean型初始值false  String型初始值null  Date型初始值null 写一个简单的计算器...//主方法 package com.hanqi.maya.model; import java.util.Scanner; public class Main { public static...定义一个车类,定义一个显示车类信息的方法,一个根据油耗和里程计算剩余油量的方法 //主方法 package com.hanqi.maya.model; import java.util.Scanner;

    1.1K80

    如何进行千万级别数据跑批优化

    背景 定义:跑批是指在特定日期对大量数据进行定时处理的过程。在金融领域,常见的跑批场景包括分户日结、账务计提、账单逾期处理和不良资产处理等。...跑批具有高度的连贯性,通常在执行完跑批后,还需要对数据进行进一步处理,如发送消息队列(MQ)给下游系统,或由数据仓库进行分析等。...问题 在处理大数据量的跑批任务时,会遇到许多挑战,包括: OOM(内存溢出):如果在查询跑批数据时未进行分片处理,随着业务的发展,数据量增大,很容易导致内存溢出....任务时间上的隔离:通常在大数据量跑批任务之后,还会有其他业务处理任务。因此,需要严格控制跑批任务的时间和健壮性,以避免对后续业务产生影响....(这里以Java为例) 动态调整并发度 跑批任务中能动态调整速度是很重要的,有两个地方可以进行操作: 任务中调用远程接口:这个速度控制其实用Thread.sleep()就好了.

    14110

    java 工厂模式例子_java 工厂模式简单介绍及例子

    java中工厂模式在java ee中经常碰见,是一种常见的模式,其可分为三种:静态工厂模式、工厂方法模式、抽象工厂模式。一下做一简单讲述和例子。...例子如下 Animal类:package com.bean; /** * 动物类 * @author Lyon Yao * */ public abstract class Animal { private...; } } 静态工厂类:package com.factory.sta; import java.lang.reflect.Constructor; import java.lang.reflect.InvocationTargetException...具体代码例子如下:(这里的例子和上面的例子是一起的,具狗生好多小狗,猫生好多小猫的例子,如果不具体那么是母动物都能生的) 母动物接口:package com.factory; import com.bean.Animal...例子如下: 总工厂:package com.factory; import com.bean.Milk; /** * 能产奶的 动物母亲 * 这里继承 AnimalMother 实现 生育小动物 产奶在此接口声明

    54120

    Java项目实战之天天酷跑

    ,来躲避 障碍物和吃金币,玩家躲避的障碍物越多跑酷距离越远,玩家吃的金币越多,得分越高。...将天天酷跑的图片(Image)资源解压到桌面后,(Image文件如下图所示:) ? 复制到Eclipse中,单击src,直接Ctrl+V。 ?...线程: Thread类中这样定义: 线程是程序中执行的线程,Java虚拟机允许程序同时运行多个执行线程。 举个例子,你用百度网盘下载一部电影,这就是一个线程。...,功能如下: 跑酷距离、获取玩家的得分。...1、跑酷距离 我是在Person类的玩家移动方法中,添加了一个自增的diatance,只要玩家的图片还在切换,也就是游戏还没有结束,这个distance都在自增,也算是一种间接的实现计算跑酷距离的方法。

    2.5K20

    征集:那些慢得让你崩溃的查询跑批

    特征:SQL编写,无问单机/集群、无问商用/开源、无问大牌/新秀 现在为啥跑不快? 硬件不变,提速关键在于设计出计算量更少的算法。 然后再用程序语言写出来。...但也不能用Java,虽然写得出,但会累死人。 用SPL!简单代码实现高性能计算 SPL是啥?为啥管用?...再看看这些案例,自己算算提速多少倍 开源 SPL 优化银行预计算固定查询成实时灵活查询 开源 SPL 将银行手机账户查询的预先关联变成实时关联 开源 SPL 优化保险公司跑批优从 2 小时到 17 分钟...业务场景问题描述,包括 简单的业务背景 查询或跑批请求的发起条件 执行频率 主要痛点,等等 选择关键的特性指标,准确描述业务场景的价值,包括: 数据量(<1亿,1亿-10亿,10亿-100亿,100亿以上

    58430
    领券