我们都知道python因为其GIL锁导致每一个线程被绑定到一个核上，导致python无法通过线程实现真正的平行计算。从而导致大量的核算力的浪费。...但是在提高python的计算性能前，首先要明白自己的程序目前是什么类型？ 对于不同类型的程序，如果安装下述方法进行改造，可能效率并不会提高。 IO密集型：读取文件，读取网络套接字频繁。...如果未指定 超时None，则等待时间没有限制。 如果func调用引发异常，则在从迭代器检索其值时将引发该异常。...如果等待是True那么这种方法将不会返回，直到所有悬而未决的期货执行完毕，并与执行相关的资源已被释放。如果等待，False那么此方法将立即返回，并且当执行所有未决期货时，将释放与执行程序关联的资源。...无论wait的值如何，整个Python程序都不会退出，直到所有待处理的期货都执行完毕。
线程分配、任务处理、拒绝策略、启动停止等过程，其中对Worker内置类进行重点分析，内容不仅包含其工作原理，更对其设计思路进行了一定分析。...if (addWorker(command, true)) // 添加成功则直接返回 return; // 添加失败，重新获取 ctl 的值，防止在添加worker时状态改变...: maximumPoolSize)) return false; // 尝试增加核心线程数，增加成功直接中断最外层死循环，开始创建worker线程 // 增加失败则持续执行循环内逻辑...，则处理失败逻辑 if (!...在关闭线程池的 shutdown() 方法中，有一个步骤是中断所有的空闲 Worker 线程。
最直接的想法是继承ThreadPoolExecutor，重载excute()方法，加入线程池是否已满的检查，若线程池已满，则等待直到上一个任务执行完毕。...当ThreadPoolExecutor.excute执行失败时，会调用的RejectedExecutionHandler，这就是ThreadPoolExecutor的可定制的失败策略机制。...其中值得说的是CallersRunPolicy，它会在excute失败后，尝试使用主线程(就是调用excute方法的线程)去执行它，这样就起到了阻塞的效果！...2013年9月22日更新： 事实证明，除了JDK的CallerRunsPolicy方案，其他的方案都存在一个隐患： 如果线程仍在执行，此时显式调用ExecutorService.shutdown()方法...，会因为还有一个线程阻塞没有入队，而此时线程已经停止了，而这个元素才刚刚入队，最终会导致RejectedExecutionException。
如果remove失败，或者处于Running状态的话，那么就会判断，当前的Worker是否为0，如果为0的话，那么就会以非核心线程的方式，去执行这个Task 如果当前线程没有处于Running状态，或者插入队列失败的话...的话，那么只会判断当前任务队列中是否还有任务，而新添加的任务则不会管，如果队列中还有任务的话，那么就会在线程池停止运行前，将队列中剩余的任务执行完。...如果满足了线程池大小要求，那么就会尝试通过CAS操作增加WorkerCount，如果CAS操作失败了的话，那么就重新检查当前线程池状态。...如果所有任务执行完后，没有出现异常，则会将completedAbruptly设置成false ThreadPoolExecutor中Worker任务处理完成后退出 在Worker执行完所有任务或者在执行任务的时候发生了异常...，那么则判断是否是异常终止的，如果是异常终止的Worker，则直接调用addWorker，看是否还需要添加新的Worker去处理剩余的Task 如果不是异常终止的，那么则判断当前还需要多少个Worker
4.在ThreadPoolExecutor.DiscardOldestPolicy中 ，如果执行程序没有关闭，则工作队列头部的任务被删除，然后重试执行（可能会再次失败，导致重复）。...方法进入该状态，表示不再接收新的任务 //也不处理阻塞队列的任务，同时中断正在处理的任务 private static final int STOP = 1 << COUNT_BITS; //如果所有的任务都停止了...，则worker线程会进行相应的调整，如果可能的话， // 创建并启动worker线程，并运行firstTask作为第一个任务 //如果线程池停止或者正常关闭，则此方法返回false //如果线程返回false...* 如果失败，则说明线程池已经关闭或饱和，因此执行拒绝策略。...线程会进行相应的调整，如果可能的话， // 创建并启动worker线程，并运行firstTask作为第一个任务 //如果线程池停止或者正常关闭，则此方法返回false //如果线程返回false则worker
线程池状态和线程管理 到这里，读者可能会思考一个问题：既然是线程池，那么必然有线程池状态，同时也涉及对其中的工作线程（Worker）的管理，ThreadPoolExecutor是如何做的呢？...，新增失败则执行拒绝策略 } else if (!...，则执行携带的任务）； 控制执行线程的中断状态，保证如果线程池正在停止，则线程必须是中断状态，否则线程必须不是中断状态； 调用task.run()执行任务； 处理工作线程的退出工作。...，如果获取失败则返回null。...shutdown shutdown方法将线程池切换到SHUTDOWN状态（如果已经停止，则不用切换），并调用interruptIdleWorkers方法中断所有空闲的工作线程，最后调用tryTerminate
所有线程都是使用这个工厂创建的(通过方法addWorker)。所有调用者都必须做好addWorker失败的准备，这可能反映了系统或用户限制线程数量的策略。...如果运行的线程少于corePoolSize，则尝试使用给定命令作为其第一个任务启动一个新线程。...所以我们重新检查状态，如有必要则回滚正在排队的if停止，或启动一个新 * 的线程，如果没有。 * 3. 如果不能对任务进行排队，则尝试添加一个新的线程。...则尝试添加一个新的线程。...如果失败，拒绝这个任务。
void shutdown(); //尝试停止所有正在执行的任务，停止等待任务的处理，并返回等待执行的任务列表。 //此方法不等待主动执行的任务终止。...//除了尽最大努力停止处理正在执行的任务之外，没有任何保证. List shutdownNow(); //如果此执行程序已关闭，则返回true。...boolean isShutdown(); //调用shutdown或shutdownNow后，如果所有任务都已完成，则返回true。...（移除失败的唯一可能就是任务已经被执行了） // 或者我们设置核心线程数量为0 // 如果当前工作线程数量为0，则创建一个非核心线程并且传入的任务对象为...作为一种启发式处理方式，预先启动足够多的新的工作线程(直到数量为核心线程池大小)来处理队列中当前的任务，但如果在这样做时队列变为空，则停止创建新的工作线程。
可用来提交Callable或Runnable任务，并返回代表此任务的Future 对象 * 3，shutdown（）：在完成已提交的任务后封闭办事，不再接管新任务, * 4，shutdownNow（）：停止所有正在履行的任务并封闭办事...// 如果增加workerCount失败，则重新获取ctl的值 c = ctl.get(); // 如果当前的运行状态不等于rs，说明状态已被改变，返回第一个...1失败，则返回重试。...，如果在keepAliveTime时间内没有获取到任务，则返回null； //否则通过take方法，如果这时队列为空，则take方法会阻塞直到队列不为空。...workQueue.isEmpty())) return; // 如果线程数量不为0，则中断一个空闲的工作线程，并返回 if (workerCountOf
当前线程被中断，则抛出 InterruptedException 异常，并停止等待，继续执行。...其他等待的线程被中断，则当前线程抛出 BrokenBarrierException 异常，并停止等待，继续执行。...其他等待的线程超时，则当前线程抛出 BrokenBarrierException 异常，并停止等待，继续执行。...其他线程调用 CyclicBarrier.reset() 方法，则当前线程抛出 BrokenBarrierException 异常，并停止等待，继续执行。...使用 getCompletedTaskCount 方法判断：通过计划执行总任务量和已经完成总任务量，来判断线程池的任务是否已经全部执行，如果相等则判定为全部执行完成。
workQueue参数指定，如果入队失败(队列已满)则尝试创建临时线程，但临时线程和核心线程的总数不能超过maximumPoolSize，当线程总数达到maximumPoolSize后会拒绝新任务；所以有两种方式可以让任务绝不被拒绝...说明：1）如果当前运行的线程数小于corePoolSize，则创建新线程来执行任务。...说明：1）如果当前运行的线程数少于corePoolSize（即线程池中无运行的线程），则创建一个新线程来执行任务。.../** * 停止线程池中的所有线程 */ private void stopDownloadThreadTask() {...try { this.fixedThreadPool.shutdown();//尝试停止所有线程 if(!
threadFactory: 线程工厂用来创建线程，通过这个参数可以自定义如何创建线程，例如：你可以给线程指定一个有意义的名字 handler: 拒绝策略，针对当队列满了是 新来任务的处理方式，如果线程池中所有的线程都在忙碌...，尝试新建线程，如果失败则执行拒绝策略。...时，则创建一个新线程运行。...如果任务成功的加入到队列中，则进行双重检查，再次获取线程状态，因为线程的状态可能变成了非运行状态 如果是非运行状态，则尝试创建一个线程，如果失败则执行拒绝策略。...这两个方法有着重要的区别： shutdown()执行后停止接受新任务，会把队列的任务执行完毕。 shutdownNow()也是停止接受新任务，但会中断所有的任务，将线程池的状态改成stop。
如果队列满了，则判断线程池是否已满，如果没满，创建线程执行任务 4....如果队列满了，则判断线程池是否已满，如果没满，创建线程执行任务; 4. 如果线程池也满了，则按照拒绝策略对任务进行处理; 2.1. 添加新的worker 一个worker，即是一个工作线程。...，则必须进行清理，返回失败 if (!...有一个主循环一直进行任务的获取; 2. 针对有超时的设置，会使用poll进行获取任务，如果超时，则 Worker 将会退出循环结束线程; 3....Worker interruptIdleWorkers(false); } 与 shutdown 对应的，有一个 shutdownNow, 其语义是 立即停止所有任务
调用 execute() 将重用以前构造的线程（如果线程可用）。如果现有线程没有可用的，则创建一个新线程并添加到池中。终止并从缓存中移除那些已有 60 秒钟未被使用的线程。...，也就是该线程池只有一个线程在工作，所有的任务是串行执行的，如果这个唯一的线程因为异常结束，那么会有一个新的线程来替代它，此线程池保证所有任务的执行顺序按照任务的提交顺序执行。...如果用于执行任务的线程数量小于maximumPoolSize，则尝试创建新的进程，如果达到maximumPoolSize设置的最大值，则根据你设置的handler执行拒绝策略。...如果workerCount = corePoolSize && workerCount < maximumPoolSize，且线程池内的阻塞队列已满，则创建并启动一个线程来执行新提交的任务。
* @return 计算得出的结果 * @throws 如果无法计算结果，则抛出异常 */ V call() throws Exception; } Runnable自 Java...//这里使用Executors只是方便测试，正常使用时推荐使用ThreadPoolExecutor！...方法二： shutdown() /** * 尝试停止所有正在执行的任务，停止处理等待的任务， * 并返回等待处理的任务列表。...，尝试终止执行器 return tasks; // 返回队列中未被执行的任务列表 } 与shutdown不同的是shutdownNow会尝试终止所有的正在执行的任务，清空队列，停止失败会抛出异常...true；当调用shutdownNow()方法后，成功停止后返回true； 当线程池任务都正常完成的话，则这两种方法均为false。
只要调用了这两个关闭方法的其中一个，isShutdown 方法就会返回 true。当所有的任务都已关闭后,才表示线程池关闭成功，这时调用 isTerminaed 方法会返回 true。...newCachedThreadPool 创建一个可缓存线程池，如果线程池长度超过处理需要，可灵活回收空闲线程，若无可回收，则新建线程。...如果长时间没有往线程池中提交任务，即如果工作线程空闲了指定的时间（默认为 1 分钟），则该工作线程将自动终止。终止后，如果你又提交了新的任务，则线程池重新创建一个工作线程。...所以我们重新检查状态，如果有必要的话，在线程池停止状态时回滚队列，如果没有线程的话，就开始一个新的线程。 如果任务排队失败，那么我们尝试添加一个新的线程。...如果失败了，说明线程池已经关闭了，或者已经饱和了，所以拒绝这个任务。
线程池-intsmaze 线程池的思想是：在系统中开辟一块区域，其中存放一些待命的线程，这个区域被称为线程池。...所以他不保存任务，总是将任务提交给线程执行，如果没有空闲的线程，则创建新的线程，当线程数量达到最大，则执行拒绝策略。...所以我们 重新检查状态，如果有必要的话回滚队列 停止，或者如果没有的话就开始一个新的线程。 * 3....，如果当前机器有4个CPU，则目标的并行级别被设置为4。...当线程池中的所有任务都执行完后，线程池中的所有线程都会死亡；shutdownNow方法会试图停止所有正在执行的活动任务，暂停处理正在等待的任务，并返回等待执行的任务列表。
()：包含固定数量线程并共享无界队列的线程池；当所有线程处于工作状态，有新任务提交时，任务在队列中等待，直到一个线程变为可用状态 newCachedThreadPool()：只有需要时创建新线程的线程池...true，如果取消任务失败则返回 false。...如果任务正在执行，若 mayInterruptIfRunning 设置为 true，则返回true，若 mayInterruptIfRunning 设置为 false，则返回 false； 如果任务已经完成...即如果取消已经完成的任务会返回 false。 isCancelled 方法表示任务是否被取消成功，如果在任务正常完成前被取消成功，则返回 true。...如果运行的线程少于 corePoolSize，则Executor始终首选添加新的线程，而不进行排队。
）； 2.合理利用资源：通过调整线程池大小，让所有处理器尽量保持忙碌，又能防止过多线程产生过多竞争浪费资源； 常用的线程池主要是ThreadPoolExecutor 和 ScheduledThreadPoolExecutor...所谓Executor框架，其实就是定义了一个接口，我们常用的线程池ThreadPoolExecutor 就是对这个接口的一种实现。...int corePoolSize : 核心线程数，有新任务来时，如果当前线程小于核心线程，则新建一个线程来执行该任务 int maximumPoolSize : 最大线程数，线程池最多拥有的线程数 long...（比如队列已满） // 则创建非核心线程去执行任务，这也失败就只能拒绝了 else if (!...如果不想这么麻烦，可以使用ThreadPoolExecutor.submit()来提交任务，这个方法会返回一个 Future 对象，通过这个对象可以知道任务何时被执行完。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
