转载自 https://blog.csdn.net/AJ1101/article/details/81711812
所谓流计算可以理解为对无界数据的计算。在一般意义上，我们处理的数据都是有边界条件的，比如某个时间段的累积，而无界数据在理论上是没有开始也没有结束的边界的。
栈和队列，可以说是除了数组和链表之外最基础的数据结构了，在很多场景中都有用到，后面我们也会陆陆续续的看到。
近年来，图神经网络（GNN）在社交媒体、电子商务、知识图谱、推荐系统、生命科学等领域得到了广泛应用。随着图数据规模的快速增长，亟需发展分布式大规模图神经网络高效训练技术。现有的方法主要采用中心化的参数服务器（PS）架构，计算节点间的大量网络通信成为了训练的性能瓶颈。
为了「防止在使用的时候创建连接和销毁的时间损耗」，于是选择在服务开启的时候就创建一部分连接供后续使用，使用完以后放入池中，形成复用，而出现的池的概念.
SynchronousQueue是无界的，是一种无缓冲的等待队列，但是由于该Queue本身的特性，在某次添加元素后必须等待其他线程取走后才能继续添加；可以认为SynchronousQueue是一个缓存值为1的阻塞队列，但是isEmpty()方法永远返回是true，remainingCapacity() 方法永远返回是0，remove()和removeAll() 方法永远返回是false，iterator()方法永远返回空，peek()方法永远返回null。
通过前面文章的学习，我们对Java中常用队列做了介绍。本文，咱们来对队列做个总结吧。
基于微服务的开发正在改变我们整个行业，超过70%的人正在尝试开发基于微服务的软件。微服务简化了业务、流程、技术和人员的集成，将大爆炸的整体问题分解为一个可以独立处理的小集合。然而，它也带来了管理这些小集合之间关系的问题。我们需要不同的过程、工具、培训、方法和团队来简化微服务开发。
听到队列相信大家对其并不陌生，在我们现实生活中队列随处可见，去超市结账，你会看见大家都会一排排的站得好好的，等待结账，为什么要站得一排排的，你想象一下大家都没有素质，一窝蜂的上去结账，不仅让这个超市崩溃，还会容易造成各种踩踏事件，当然这些事其实在我们现实中也是会经常发生。
熟悉 Java 多线程编程的同学都知道，当我们线程创建过多时，容易引发内存溢出，因此我们就有必要使用线程池的技术了。
这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。
java多线程开发时，常常用到线程池技术，这篇文章是对创建java线程池时的七个参数的详细解释。
总体来说，线程池有如下的优势： （1）降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。 （2）提高响应速度。当任务到达时，任务可以不需要等到线程创建就能立即执行。 （3）提高线程的可管理性。线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控。
锁是用来控制多个线程访问共享资源的方式，一般来说锁能够防止多个线程同时访问共享资源（有的锁可以允许多个线程访问共享资源，比如说读写锁），在Lock接口出现之前，java程序是靠synchronized关键字实现锁功能的，但是在JKD1.5之后并发包中新增了Lock接口及其实现来实现锁的功能。它提供了synchronized关键字类似的功能，但是Lock需要显示的获取锁、释放锁，而synchronized是通过隐式的方式来实现获取、释放锁。
线程池中会维护一个最小的线程数量，即使这些线程处理空闲状态，他们也不会被销毁，除非设置了allowCoreThreadTimeOut。这里的最小线程数量即是corePoolSize。任务提交到线程池后，首先会检查当前线程数是否达到了corePoolSize，如果没有达到的话，则会创建一个新线程来处理这个任务。
Glide的缓存策略 前言 众所周知，图片加载框架的基本模式就是三层缓存。内存、文件和网络。所有图片加载框架的基本思路都是先从内存中寻找需要的数据，如果找不到转到文件中寻找，还是找不到，才会去网络下载。但Glide在缓存策略上，花费了很多心思，从而使得其在加载图片过程中，对内存的使用量非常小。 本文将分享Glide在缓存策略上使用的技巧。 内存低消耗的秘密 在图片加载过程中，通常来讲，内存消耗的部分在于图片的解码。我们需要根据图片的尺寸，创建一个相应尺寸的Bitmap，这个Bitmap会存入内存缓存，然后通
线程池实现只需要一个阻塞队列就可以实现，当线程去阻塞队列拿任务的时候，如果阻塞队列没有任务，那么该线程就阻塞在这里。
先介绍一下我的这个服务。这个服务主要是作为游戏服务器的游戏逻辑部分，包括帧同步逻辑及其他在游戏过程中玩家产生的一些业务逻辑。
我相信大家都了解缓存，了解redis，之前有发过几篇redis的文章忘记的小伙伴可以点击链接看看！
转自：java并发编程实战 5.3阻塞队列和生产者-消费者模式 BlockingQueue阻塞队列提供可阻塞的put和take方法，以及支持定时的offer和poll方法。如果队列已经满了，那么put方法将阻塞直到空间可用；如果队列为空，那么take方法将阻塞直到有元素可用。队列可以是有界的也可以是无界的。 如果生产者生成工作的速率比消费者处理工作的速率款，那么工作项会在队列中累计起来，最终好紧内存。同样，put方法的阻塞特性也极大地简化了生产者的编码。如果使用有界队列，当队列充满时，生产者将阻塞并不能继续
BlockingQueue有这几种类型：ArrayBlockingQueue、LinkedBlockingQueue、SynchronousQueue、PriorityBlockingQueue、DelayedWorkQueue。
线程池中会维护一个最小的线程数量，即使这些线程处理空闲状态，他们也不会 被销毁，除非设置了allowCoreThreadTimeOut。这里的最小线程数量即是corePoolSize。
Executors 是一个Java中的工具类。提供工厂方法来创建不同类型的线程池。
人们经常会问Flink是如何处理背压(backpressure)效应的。 答案很简单：Flink不使用任何复杂的机制，因为它不需要任何处理机制。它只凭借数据流引擎，就可以从容地应对背压。在这篇博文中，我们介绍一下背压。然后，我们深入了解 Flink 运行时如何在任务之间传送缓冲区中的数据，并展示流数传输自然双倍下降的背压机制(how streaming data shipping naturally doubles down as a backpressure mechanism)。 我们最终通过一个小实验展示了这一点。
原文地址：https://dzone.com/articles/visualizing-microservices-designing-a-microservice
经过几年的快速发展，目前前端开发技术栈已经进入成熟期。在React和Vue等框架出现后，前端在代码开发方面的复杂度已经基本得到解决，再加上Node解决前后端分离，前端技术栈本身其实已经非常成熟。因此业内人士普遍认为，未来几年前端本身的开发技术应该不会有大的方向变化，但是将会呈现的发展趋势有哪些呢
学习架构不仅仅是为了成为一名合格的架构师，同时也可以在设计、开发、部署一个系统、甚至一个模块时能够更合理地考虑到其内部的权衡取舍，以及与周边系统的耦合和隔离问题。当然在自己能力不足的情况下，"抄"，绝对是个捷径。伟大的明代著名科学家徐光启就曾说过："欲求超胜,必先会通。会通之前,必先翻译"。
阻塞队列（BlockingQueue）是指当队列满时，队列会阻塞插入元素的线程，直到队列不满；当队列空时，队列会阻塞获得元素的线程，直到队列变非空。阻塞队列就是生产者用来存放元素、消费者用来获取元素的容器。
jdk1.7.0_79 上一节中对并发包中的非阻塞队列ConcurrentLinkedQueue的入队、出队做了一个简要的分析，本文将对并发包中的阻塞队列做一个简要分析。 Java并发包中的阻塞队列一共7个，当然他们都是线程安全的。 ArrayBlockingQueue：一个由数组结构组成的有界阻塞队列。 LinkedBlockingQueue：一个由链表结构组成的有界阻塞队列。 PriorityBlockingQueue：一个支持优先级排序的无界阻塞队列。 DealyQ
最近项目中有个需求，需要用到有界队列对访问请求量进行流量削峰请求，同时作为一个缓冲层对请求处理进行后续处理，Java 内置有界队列 ArrayBlockingQueue 可以满足这方面的需求，但是性能上并不满足，于是使用了 Disruptor，它是英国外汇交易公司 LMAX 开发的一个高性能队列，了解到它内部解决伪共享问题，今天就和大家一起学习缓存行与伪共享相关的知识。
首先，你需要知道需要修复什么，然后再开始修复它。同样的规则也适用于这里。例如，如果您的应用程序通过网络接收数据存储。您应该关注网络的数据传输和数据存储在磁盘上，可能是一个RDBMS。 然后分离出它们，要做到这一点你的架构必须松耦合，比如引入异步等等。
互联网软件神速发展，用户的体验度是判断一个软件好坏的重要原因，所以缓存就是必不可少的一个神器。在多线程高并发场景中往往是离不开cache的，需要根据不同的应用场景来需要选择不同的cache，比如分布式缓存如redis、memcached，还有本地（进程内）缓存如ehcache、GuavaCache、Caffeine。
线程池主要是为了解决 新任务执行时，应用程序为任务创建一个新线程 以及 任务执行完毕时，销毁线程所带来的开销。通过线程池，可以在项目初始化时就创建一个线程集合，然后在需要执行新任务时重用这些线程而不是每次都新建一个线程，一旦任务已经完成了，线程回到线程池中并等待下一次分配任务，达到资源复用的效果。
Puppeteer是一个流行的Node.js库,在开发者中广泛使用的用于网页爬取和自动化任务的工具。它提供两种操作模式，即headfull和headless。在headfull模式下，Puppeteer控制的Chrome或Chromium浏览器是有界面的，也就是可以看到浏览器运行的情况。在此模式下，可以使用浏览器的开发者工具进行调试。这种模式非常适合在本地进行开发和调试。而在headless模式下，它在后台运行，没有用户界面，这种模式非常适合在服务器上运行，因为没有界面，所以可以节省很多资源。该工具还提供缓存资源的选项，这可以帮助减少页面加载时间并提高性能。此外，Puppeteer允许开发人员在页面中执行JavaScript代码，并使用代理更改请求的IP地址，这对于匿名请求或从不同区域访问内容很有用。
实时处理是指从数据产生到根据该数据计算的结果产生之间的这段延迟可以满足业务的需求，假如业务需求是延迟不超过10ms，而你的处理延迟为15ms，就不能算实时处理，而假如业务要求处理数据的延迟为30min，而你的数据可以在20min内计算出来，这也算实时处理。
降低资源消耗： 通过重复利用已创建的线程降低线程创建和销毁造成的消耗 提高响应速度： 当任务到达时，任务可以不需要等待线程创建就能立即执行 提高线程管理性： 线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源还会降低系统的稳定性，使用线程池可以进行统一的分配、调优和监控
历时一个多月，我们终于结束了【企业级360°全方位用户画像】的项目，想看具体详情的朋友，可以移步至博主的大数据项目专栏一饱眼福…
https://juejin.im/post/5b5f10d65188251ad06b78e3
并发编程之阻塞队列 1. 什么是阻塞队列 阻塞队列（BlockingQueue）是 Java 5 并发新特性中的内容，阻塞队列的接口是 java.util.concurrent.BlockingQue
对于操作系统而言，创建一个线程的代价是十分昂贵的, 需要给它分配内存、列入调度，同时在线程切换时要执行内存换页，清空 CPU 缓存，切换回来时还要重新从内存中读取信息，破坏了数据的局部性。因此在并发编程中，当线程创建过多时，会影响程序性能，甚至引起程序崩溃。
本文介绍了UDP协议和TCP协议的区别以及它们在网络编程中的使用场景。TCP协议是面向连接的、可靠的、基于字节流的传输层通信协议，而UDP协议是面向无连接的、不可靠的、基于数据报的传输层协议。TCP协议适用于对可靠性要求高的场景，而UDP协议适用于对实时性要求高、可靠性要求不高的场景。在具体应用中，TCP协议常用于Web服务器和客户端、文件传输、网络电话等，而UDP协议常用于实时音视频传输、在线游戏等。
前言 Java多线程也是面试中经常会提起到的一个点。面试官会问：实现多线程的两种方式以及区别，死锁发生的4个条件以及如何避免发生死锁，死锁和活锁的区别，常见的线程池以及区别，怎么理解有界队列与无界队
它是一个ExecutorService，使用线程池中的线程执行提交的任务。通常我们使用Executors框架，定义使用。
线程池 作用： 增加了线程的复用，降低了系统的开销 原理： 每当一个新的任务要执行的时候，系统会创建一个新的线程去执行任务，直到池中的线程数达到了设置的核心线程数，此时当新的任务要执行的时候，如果线程池中有空闲的线程，就用空闲的线程，如果没有，新来的任务将在等待队列中等待，直到有新的线程被释放到池中。如果无法将任务加入队列（比如使用的是有界队列），则创建新的线程，如果此时线程数大于等于了线程池预设的最大线程数，那么任务将被拒绝。 java.util.concurrent包对线程池的支持： ExecutorService ThreadPoolExecutor （ExecutorService的默认实现类） 1、单线程的线程池实现 Executors.newSingleThreadExecutor 2、固定大小的线程池实现 Executors.newFixedThreadPool 3、可缓存的线程池实现 Executors.newCachedThreadPool 4、可定时执行任务的无大小限制的线程池实现 Executors.newScheduleThreadPool
提起大数据处理引擎，很多人会想到Hadoop或Spark，而在2019年，如果你身处大数据行业却没听说过Flink，那你很可能OUT了！Flink是大数据界冉冉升起的新星，是继Hadoop和Spark之后的新一代大数据处理引擎。2019年初，阿里巴巴以1.033亿美元的价格收购了总部位于德国柏林的初创公司Data Artisans，Data Artisans的核心产品是正是Flink。
1. Disruptor：Apache Storm底层应用了Disruptor来实现worker内部的线程通信；
reactive编程范式是一个异步编程范式，主要涉及数据流及变化的传播，可以看做是观察者设计模式的扩展。
SynchronousQueue没有容量，是无缓冲等待队列，是一个不存储元素的阻塞队列，会直接将任务交给消费者，必须等队列中的添加元素被消费后才能继续添加新的元素。
ThreadPoolExecutor实现的顶层接口是Executor，在接口Executor中用户无需关注如何创建线程，如何调度线程来执行任务，用户只需提供Runnable对象，将任务的运行逻辑提交到执行器Executor中，由Executor框架完成线程的调配和任务的执行部分。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
