首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

跑批为什么这么难?

跑批系统比较典型的架构大致如下图:从图上看,数据要从生产数据库取出,存入跑批数据库。跑批数据库通常是关系型的,编写存储过程代码完成跑批计算。...跑批很慢的第一个原因,是用来完成跑批任务的关系数据库入库、出库太慢。...所以,跑批数据库导入文件数据的过程,以及跑批计算结果再导出文件的过程都会很慢。跑批很慢的第二个原因,是存储过程性能差。...应用效果SPL 在技术架构上打破了关系型跑批数据库存在的两大瓶颈,在实际应用中也取得了非常好的效果。L 银行跑批任务采用传统架构,以关系数据库作为跑批数据库,用存储过程编程实现跑批逻辑。...跑批任务采用关系数据库的 SQL 语句实现,运行总时间 7.8 小时,占用了过多的跑批时间,甚至影响了其他的跑批任务,必须优化。

10910

征集:那些慢得让你崩溃的查询跑批

特征:SQL编写,无问单机/集群、无问商用/开源、无问大牌/新秀 现在为啥跑不快? 硬件不变,提速关键在于设计出计算量更少的算法。 然后再用程序语言写出来。...但也不能用Java,虽然写得出,但会累死人。 用SPL!简单代码实现高性能计算 SPL是啥?为啥管用?...再看看这些案例,自己算算提速多少倍 开源 SPL 优化银行预计算固定查询成实时灵活查询 开源 SPL 将银行手机账户查询的预先关联变成实时关联 开源 SPL 优化保险公司跑批优从 2 小时到 17 分钟...业务场景问题描述,包括 简单的业务背景 查询或跑批请求的发起条件 执行频率 主要痛点,等等 选择关键的特性指标,准确描述业务场景的价值,包括: 数据量(<1亿,1亿-10亿,10亿-100亿,100亿以上

55430
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    OB 运维 | 跑批 SQL 大量超时?集群管理避坑案例

    1问题背景 凌晨 04:25 左右,OceanBase 集群业务应用端报错: java.sql.SQLException: Timeout OCP 告警: 04:26 存在大量 easy_connection_on_timeout_conn...2应急方案 由于跑批任务优先级较高,决定暂停合并操作。 05:50 左右,在黑屏中暂停合并操作,跑批任务恢复正常。...-- sys 租户下执行 ALTER SYSTEM SUSPEND MERGE; 待跑批结束,再恢复合并操作。...4优化建议 调整每日合并时间,尽量避免合并期间跑批。 合并时磁盘 IO 压力较大,跑批任务也会消耗系统资源,磁盘性能瓶颈导致 SQL 变慢。 建议:合并与跑批任务分开进行。...降低跑批并发度,并行任务改为串行。 降低跑批对系统资源的压力,避免出现队列积压问题,进而导致跑批超时。 业务拆分。 目前集群体量较大,跑批,合并,备份等时间冲突,建议进行业务拆分。

    5700

    【YashanDB 知识库】要有好的跑批性能,有哪些参数要注意

    问题现象YashanDB 在实际使用中有不少用于跑批量任务的场景,经常有用户咨询我们要取的好的跑批性能,有哪些参数要注意?...这里列举对性能有影响,特别是对跑批有影响的参数,供大家参考,更多性能调优,问题的风险及影响影响跑批性能问题影响的版本YashanDB 版本:23.2 及以上所有版本解决方法及规避方式存储过程跑批在多个客户中出现过...1、空间划分评估好提前规划好表空间,一次性把文件扩好,避免在跑批过程扩文件。...有大量的读写,和 dbfiles 在不同的盘,可以充分利用 IO)REDO 文件个数及大小:10 个 REDO 文件,每个 2G(文件足够大,避免日志追尾)2、后台快照管理关闭快照,或把快照保留较长时间,在跑批完成之后再修改会常规...(默认 7 天)自动清理,避免在跑批的过程,触发了快照清理,影响性能3、统计信息收集在跑批之前,收集统计信息,如果历史数据不足或其他原因会造成统计信息在跑批的过程中生效,需要对相应的表做统计信息的锁定。

    6910

    【YashanDB知识库】要有好的跑批性能,有哪些参数要注意

    问题的风险及影响影响跑批性能问题影响的版本YashanDB版本:23.2及以上所有版本解决方法及规避方式存储过程跑批在多个客户中出现过,在多次实践中,得出相关最佳配置,供参考如下。...1、空间划分评估好提前规划好表空间,一次性把文件扩好,避免在跑批过程扩文件。...(默认7天)自动清理,避免在跑批的过程,触发了快照清理,影响性能3、统计信息收集在跑批之前,收集统计信息,如果历史数据不足或其他原因会造成统计信息在跑批的过程中生效,需要对相应的表做统计信息的锁定。...checkpoint,如果跑批数据量过大, 则不可避免会发生checkpoint,可以忽略此配置CHECKPOINT_TIMEOUT3600DBWR_BUFFER_SIZE32M(最大值)DBWR_COUNT16...发生宕机可能导致数据不一致, 跑批的场景可以使用,因为发生异常可以重跑,在线交易类不可使用并行MAX_SESSIONS4096OPEN_CURSORS4096MAX_WORKERS1024MAX_PARALLEL_WORKERS1024DEGREE_OF_PARALLELCPU

    3300

    Java项目实战之天天酷跑

    来源:blog.csdn.net/qq_45909299 ---- 首先,写一个需求文档: 一、项目名称:《天天酷跑》(RunDay) 二、功能介绍: 闯关类游戏,玩家登录后,选择进入游戏,通过键盘控制玩家的上下左右移动...,来躲避 障碍物和吃金币,玩家躲避的障碍物越多跑酷距离越远,玩家吃的金币越多,得分越高。...将天天酷跑的图片(Image)资源解压到桌面后,(Image文件如下图所示:) ? 复制到Eclipse中,单击src,直接Ctrl+V。 ?...,功能如下: 跑酷距离、获取玩家的得分。...1、跑酷距离 我是在Person类的玩家移动方法中,添加了一个自增的diatance,只要玩家的图片还在切换,也就是游戏还没有结束,这个distance都在自增,也算是一种间接的实现计算跑酷距离的方法。

    2.5K20

    Java项目实战之天天酷跑

    来源:blog.csdn.net/qq_45909299 ---- 首先,写一个需求文档: 一、项目名称:《天天酷跑》(RunDay) 二、功能介绍: 闯关类游戏,玩家登录后,选择进入游戏,通过键盘控制玩家的上下左右移动...,来躲避 障碍物和吃金币,玩家躲避的障碍物越多跑酷距离越远,玩家吃的金币越多,得分越高。...将天天酷跑的图片(Image)资源解压到桌面后,(Image文件如下图所示:) ? 复制到Eclipse中,单击src,直接Ctrl+V。 ?...,功能如下: 跑酷距离、获取玩家的得分。...1、跑酷距离 我是在Person类的玩家移动方法中,添加了一个自增的diatance,只要玩家的图片还在切换,也就是游戏还没有结束,这个distance都在自增,也算是一种间接的实现计算跑酷距离的方法。

    2.5K20

    java开发后端框架_java开发后端框架

    1 java开发后端框架 java从推出到现在技术不断发展,语言也优化的越来越好,对于java工程师来说技术的不断发展,他们需要不断学习java进阶,而对于新手来说就能从基础到核心。...下面小编给大家说说java开发后端框架,希望能对你有些帮助。...Spring在项目中的作用 Spring是一个全方位的整合框架,在项目中对hibernate和struts进行整合,解决层与层之间的耦合问题。...Spring的IoC来实现组件之间的依赖关系注入,上层框架不会渗透到下层组件,提高组件移植性和重用性,使得程序更灵活,上层框架不依赖实现而是依赖于抽象(委托接口)、使得实现类的变化不会影响上层组件,解决了层与层之间的藕合带来的维护或升级困难...是一种对象、关系的映射工具, 提供了从 Java类到数据表的映射,也提供了数据查询和恢复等机制, 大大减少数据访问的复杂度。把对数据库的直接操作 , 转换为对持久对象的操作。

    3.2K30

    天天酷跑,如何用 Java 来实现?(附源码)

    线程: Thread类中这样定义: 线程是程序中执行的线程,Java虚拟机允许程序同时运行多个执行线程。 举个例子,你用百度网盘下载一部电影,这就是一个线程。...GameFrame.java /** * @author Huey *2020-11-27 下午12:40:22 * 游戏主界面:显示窗体,承载游戏的主面板类 */ public class...Person.java /** * @author Huey * @date 2020-11-23 * 玩家的实体类 */ public class Person {//1.声明属性 private...,功能如下: 跑酷距离、获取玩家的得分。...点击主菜单按钮,进入主菜单界面: 1、跑酷距离 我是在Person类的玩家移动方法中,添加了一个自增的diatance,只要玩家的图片还在切换,也就是游戏还没有结束,这个distance都在自增,也算是一种间接的实现计算跑酷距离的方法

    1.5K30

    Java基础类第一批书籍推荐

    《Java语言程序设计.进阶篇(原书第8版)》是Java语言的经典教材,中文版分为《Java语言程序设计基础篇》和《Java语言程序设计进阶篇》,主要介绍程序设计基础、面向对象程序设计、GUI程序设计、...Java领域*有影响力和价值的著作之一,与《Java编程思想》齐名,余年全球畅销不衰,广受好评 根据Java SE 8全面更新,系统全面讲解Java语言的核心概念、语法、重要特性和开发方法,含大量案例,...源码基础,说明Java常见的框架基础知识,比如反射、AOP、ORM、Annotation和配置文件的原理;JDBC、Spring的源码讲解,通过几种不同类型的框架源码,希望读者能体会源码之中的思维方式、...《计算机科学丛书:Java编程思想(第4版)》特点:适合初学者与专业人员的**的面向对象叙述方式,为更新的JavaSE5/6增加了新的示例和章节。 测验框架显示程序输出。...八、Java8实战 ? Java 8的发布使Java程序设计发生了翻天覆地的变化。

    68930

    java 框架_java三大主流框架是什么

    原标题:java三大主流框架是什么 java的三大主流框架指:SSH,即:Spring、Struts、Hibernate。...Spring: Spring是一个开源、轻量级的java框架;它是为了解决企业应用程序开发复杂性而创建的。...框架的主要优势之一就是其分层架构,分层架构允许您选择使用哪一个组件,同时为 J2EE 应用程序开发提供集成的框架。 Spring是一个解决了许多在J2EE开发中常见的问题的强大框架。...Hibernate: HIbernate是一个优秀的持久化框架,负责简化将对象数据保存到数据库中,或从数据库中读取数据并且封装到对象的工作。...HIbernate是一个强大的ORM工具,可以很方便的将数据库记录转化为java的实体实例,然后将java的实体实例很容易的保存到数据库中,如果你不需要很复杂的数据库访问,利用它你根本就不用了解数据库的细节

    1.4K50

    【JAVA】Spring 框架

    前言 本博文专用于软件创新实验室 Spring 框架课堂,由于课堂时间有限,选取了 Spring 框架中比较重点的几个来介绍。...Spring 框架的诞生是为了使开发更加高效简洁,同时减少耦合程度,主要还是思想上的一个转变,想要深入了解 Spring 框架的,可以查阅 Spring 官方文档,也推荐一下狂神老师的视频教学,值得一看...初识Spring 简介 2002年,Rod Jahnson首次推出了 Spring 框架雏形 interface21 框架, 2004年3月24日,Spring 框架以 interface21 框架为基础...每个模块的功能如下: 核心容器(Spring Core)   核心容器提供 Spring 框架的基本功能。Spring 以 bean 的方式组织和管理 Java 应用中的各个组件及其关系。...MyBatis-Spring 需要以下版本: MyBatis-Spring MyBatis Spring 框架 Spring Batch JDK 2.0 3.5+ 5.0+ 4.0+ Java 8+ 1.3

    36110

    Java集合框架

    Java集合框架图片***每博一文案《杀死一只知更鸟》中有这样一段话:“你永远不可能真正地了解一个人,除非你穿上他的鞋子走来走去,站在他的角度思考问题。可真当你走过他的路时,你连路过都觉得难过。”...集合框架概述一个集合框架是用于表示和操作的集合统一架构。所有集合框架包含以下内容:接口 这些是表示集合的抽象数据类型。接口允许独立于它们的表示的细节来操纵集合。...具体的详细内容可以移步至: Java集合 Map 集合 与 操作集合的工具类: Collections 的详细说明_ChinaRainbowSea的博客-CSDN博客Java集合的框架图: 图片图片图片...Java 集合框架的好处Java 集合框架提供了以下好处:减少编程工作量: 通过提供有用的数据结构和算法,集合框架可以让您专注于程序的重要部分,而不是使其工作所需的低级“管道”。...通过促进不相关的 API 之间的互操作性,Java 集合框架免除了编写适配器对象或转换代码来连接 API。提高程序速度和质量: 这个集合框架提供了有用的数据结构和算法的高性能,高质量的实现。

    65210

    Java集合框架

    Java集合框架 集合框架底层数据结构总结 Collection List Arraylist: Object数组 Vector: Object数组 LinkedList: 双向循环链表 Set HashSet...HashTable: 数组+链表组成的,数组是 HashMap 的主体,链表则是主要为了解决哈希冲突而存在的 TreeMap: 红黑树(自平衡的排序二叉树) 集合框架体系如图 集合接口 集合框架定义了一些接口...4 Hashtable Hashtable 是 Dictionary(字典) 类的子类,位于 java.util 包中。...小结 Java集合框架为程序员提供了预先包装的数据结构和算法来操纵他们。 集合是一个对象,可容纳其他对象的引用。集合接口声明对每一种类型的集合可以执行的操作。...集合框架的类和接口均在java.util包中。 任何对象加入集合类后,自动转变为Object类型,所以在取出的时候,需要进行强制类型转换。

    1K10
    领券