首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

任务和调度:理解批量处理的关键设计

TBSchedule中的调度设计 TBSchedule是由Taobao开源的一款非常优秀的高性能分布式调度框架,TBSchedule的使用非常广泛,目前被应用于淘宝、京东、国美、等很多互联网企业的调度系统...TBSchedule的宿主服务器可以进行动态扩容和资源回收,这个特点主要是因为它后端依赖的ZooKeeper,这里的ZooKeeper对于TBSchedule来说是一个NoSQL,用于存储策略、任务、心跳信息数据...下图为TBSchedule的基本结构图,从图上可以到,TBSchedule从整体上来说遵循的是去中心化的调度模式,每个节点都可以从ZooKeeper中拉取任务去执行。 ?...图6 TBSchedule结构图 TBSchedule提供了两个核心组件ScheduleServer、TBScheduleManagerFactory。...TBSchedule的不足 尽管TBSchedule已经很优秀,尤其是资源调度这块,但是TBSchedule也有不足的地方: TBSchedule中对于批量任务开发的指导比较欠缺,这点SpringBatch

4.5K90
您找到你想要的搜索结果了吗?
是的
没有找到

分布式定时任务原理

各个调度器都遵守一个基于数据库锁的操作规则从而保证了操作的唯一性 原理图 缺点:quartz的分布式只是解决了高可用的问题,并没有解决任务分片的问题,还是会有单机处理的极限 2.TBSchedule...TBSchedule是一款非常优秀的高性能分布式调度框架,广泛应用于阿里巴巴、淘宝、支付宝、京东、聚美、汽车之家、国美等很多互联网企业的流程调度系统。...tbschedule在时间调度方面虽然没有quartz强大,但是它支持分片功能。...和quartz不同的是,tbschedule使用ZooKeeper来实现任务调度的高可用和分片 原理图 TBSchedule的分布式机制是通过灵活的Sharding方式实现的,分片的规则由客户端决定,...TBSchedule不仅提供了服务端的高性能调度服务,还提供了一个scheduleConsole的war包,随着宿主应用的部署直接部署到服务器,可以通过web的方式对调度的任务、策略进行监控管理,以及实时更新调整

41020

分布式定时任务调度框架选型

而且TBSchedule作业类型较为单一,只能是获取/处理数据一种模式。还有就是文档缺失比较严重。...tbschedule在时间调度方面虽然没有quartz强大,但是它支持分片功能。和quartz不同的是,tbschedule使用ZooKeeper来实现任务调度的高可用和分片。...TBSchedule的分布式机制是通过灵活的Sharding方式实现的,分片的规则由客户端决定,比如可以按所有数据的ID按10取模分片、按月份分片等等。...TBSchedule的宿主服务器可以进行动态扩容和资源回收,这个特点主要是因为它后端依赖的ZooKeeper,这里的ZooKeeper对于TBSchedule来说是一个NoSQL,用于存储策略、任务、心跳信息数据...TBSchedule会定时扫描当前服务器的数量,重新进行任务分配。

2.9K20
领券