大家好,本文给大家介绍一下Elastic-Job 中使用的分片的概念和在调度系统中如何来获取分片
分布式场景下如何用逻辑分片来进行水平扩展的
文 | 宋小生
7.4 作业分片
分布式场景下的任务执行我们往往会有这样的一些需求...,如何将大批量的任务拆分成多个小任务,又或者在集群环境下我们如何控制哪些进程可以执行一次作业,,哪些进程可以执行多次作业,哪些进程不可以执行作业。...Elastic-Job就是使用了逻辑分片的思想,将一个任务拆分为多个独立的任务项,然后由分布式的服务器分别执行某一个或几个分片项。...使用这种逻辑分片的思想可以帮助我们进行水平扩展,一方面便于拆分作业执行,一方面方便在运行时动态的扩容或者缩容。
例如:有一个遍历数据库某张表的作业,现有2台服务器。...调度系统使用记录在Zookeeper上的逻辑分片来拆分作业和控制集群下作业的有效执行,后面我们再来看如何使用不同的分片算法进行分片。
- END -