从主流的几种MQ消息队列采用的存储方式来看，主要会有三种 分布式KV存储：这种存储方式对于消息读写能力要求不高的情况可以使用，比如ActiveMQ中采用的levelDB。 文件系统存储：这种方案适合对于有高吞吐量要求的消息中间件，因为消息刷盘是一种高效率，高可靠、高性能的持久化方式，除非磁盘出现故障，否则一般是不会出现无法持久化的问题。常见的比如kafka、RocketMQ、RabbitMQ都是采用消息刷盘到所部署的机器上的文件系统来做持久化。 关系型数据库：关系型数据库在单表数据量达到千万级的情况下IO性能会出现瓶颈，比如ActiveMQ可以采用mysql作为消息存储，所以ActiveMQ并不适合于高吞吐量的消息队列场景。 总的来说，对于存储效率，文件系统要优于分布式KV存储，分布式KV存储要优于关系型数据库。
之前就知道系统AutoLayout有拉伸和挤压的设置，平时用Masonry设置优先级也是可以解决这样的挤压和压缩的问题。但是设置Masonry的优先级自己一直设置不好。可能自己太菜了，或者自己对于Masonry研究的不是很精通。
消息中间件的性能好坏，它的消息存储的机制是衡量该性能的最重要指标之一，而 Kafka 具有高性能、高吞吐、低延时的特点，动不动可以上到几十上百万 TPS，离不开它优秀的消息存储设计。下面我按照自己的理解为大家讲解 Kafka 消息存储设计的那些事。
JVM 调优是一个很大的话题，在回答“如何进行 JVM 调优？”之前，首先我们要回答一个更为关键的问题，那就是，我们为什么要进行 JVM 调优？
max_conecctions：整个MySQL允许的最大连接数 这个参数主要影响的是整个MySQL应用的并发处理能力，当系统中实际需要的连接量大于max_conecctions时，必然会产生连接请求的等待，从而限制了相应的并发量。只要主机性能允许，可将该参数设置得尽可能大一点，500到800左右是一个比较合适的参考值 max_user_connections：每个用户允许的最大连接数 max_user_connections是针对单个用户的连接限制。在一般情况下可能较少使用这个限制，可能只有在一些专门提供M
上午刚到公司，准备开始一天的摸鱼之旅时突然收到了一封监控中心的邮件。 心中暗道不好，因为监控系统从来不会告诉我应用完美无 bug，其实系统挺猥琐。 打开邮件一看，果然告知我有一个应用的线程池队列达到阈值触发了报警。 由于这个应用出问题非常影响用户体验；于是立马让运维保留现场 dump 线程和内存同时重启应用，还好重启之后恢复正常。于是开始着手排查问题。
最近遇到了一个和kafka相关的问题，具体是在spark任务在一定并行度的情况下， 偶现个别executor因kafka消息发送超时导致失败的情况。正所谓磨刀不误砍柴工，为了能较好的定位问题，因此先对kafka客户端消息发送相关逻辑的代码进行了走读，本文就是对相关原理的一些总结。
由于这个应用出问题非常影响用户体验；于是立马让运维保留现场 dump 线程和内存同时重启应用，还好重启之后恢复正常。于是开始着手排查问题。
分区的作用就是提供负载均衡的能力，或者说对数据进行分区的主要原因，就是为了实现系统的高伸缩性（Scalability）。不同的分区能够被放置到不同节点的机器上，而数据的读写操作也都是针对分区这个粒度而进行的，这样每个节点的机器都能独立地执行各自分区的读写请求处理。并且，还可以通过添加新的节点机器来增加整体系统的吞吐量。
最近，遇到某个集群的生产端发送延迟特别高，而且吞吐量上不去，检查集群负载却很低，且集群机器配置非常好，网络带宽也很大，于是使用 Kafka 压测脚本进行了压测。
Java应用程序将数据存储在Java对象中。这些Java对象通过网络，作为参数传递给方法，并存在于Java EE应用程序的不同层中。为了保持数据完整性，数据验证是应用程序逻辑的主要要求。开发人员需要在应用程序的不同层中编写数据验证代码以进行数据验证，这容易出错并且非常耗时。提供bean验证API规范是为了避免代码重复并简化数据验证。 Bean验证是一种通过使用可以应用预定义约束的内置和自定义注释来验证Java对象中的数据的模型。 Bean验证对于Java EE和Java Web应用程序的所有层都是通用的。 Java在JSR 349中提供了bean验证1.1 API .JPA通过bean验证API支持实体类的运行时验证。 JBoss EAP完全符合JSR 349。
调整进程可打开文件最大数 临时修改 执行如下命令(65535替换为自己想要的值） ulimit -n 65535 永久修改，编辑文件/etc/security/limits.conf,添加如下内容（100000替换为自己想要的值） * hard nofile 100000 * soft nofile 100000 编辑文件/etc/sysctl.conf中的相关内核参数 修改完毕之后，调用命令 sysctl -p 使修改立即生效 sh# net.core.wmem_default 发送缓存区预留内
-1或all： producer发送过来的数据，Leader和ISR队列满足最小应答数后才应答，其中ISR队列满足最小应答数可以通过min.insync.replicas参数设置。
由于默认的Linux内核参数考虑的是最通用场景，这明显不符合用于支持高并发访问的Web服务器的定义，所以需要修改Linux内核参数，是的Nginx可以拥有更高的性能；
可以利用当前流行的监控工具，如Prometheus和Grafana，以及JDK自带的命令行工具，例如jps、jstat、jinfo、jstack等，来分析JVM的运行状态。
在上一章中我们介绍了 Hash的一些内部原理（《你确定不来了解一下Redis中Hash的原理吗》）,在这一章中我们再来讨论在五种数据结构中 List 的基本使用和一些内部实现.
可以看出对ble设备，ATT_MTU的默认大小是23字节，换言之，如果不修改MTU大小的，那么一包数据最多发送23个字节。
准备对每一个参数进行详细的介绍，并且给出一些我所了解到的小技巧。 懂原理才能更好的使用嘛，推荐大家先把Java 使用熟练，然后好好看看JVM 原理相关的东西，最后再根据原理&使用 对于JVM进行更高效的利用。 下面开始介绍。 非标准参数（Non-Standard）： -XBatch 虚拟机的缺省运行方式是在后台编译类代码，然后在前台执行代码，使用-XBatch参数时，会关闭虚拟机后台编译，在前台编译完成后再执行。 -Xbootclasspath:path -Xbootclasspath/a:path -Xbootclasspath/p:path 上面三个参数其实是一个参数。什么作用呢，挺简单的。就是改变虚拟机装载jar的方式，原本虚拟机是缺省系统运行包rt.jar，指定之后按照classpath中设定的搜索路径中装载系统运行类，除非我们需要写一个运行时，否则不会用到该参数。 其中存在 /a，/p 两个选项： /a：在缺省搜索路径后架上 -Xcheck:jni 是否调用JNI函数进行附加的检查，特别地虚拟机将校验传递给JNI函数参数的合法性，在本地代码中遇到非法数据时，虚拟机将会报一个致命错误然后终止。使用该参数会造成性能下降不少。谨慎使用～ -Xcomp、-Xmixed、-Xint 这三个参数放在一块儿说吧，作用很简单就是用来指定Java bytecode的运行方式。 其中-Xint全部使用字节码解释执行，这个是最慢的，慢的惊人，通常要比其他方式慢一个数量级左右。 -Xcomp相反，全部被编译成机器码执行，速度是很快的，但是存在一个缺陷，-Xcomp的策略过于简单，无法使用JIT的全部特性。比如 JIT会对在运行时对每个方法做统计，然后会有一些比如分支预测之类的自优化策略，但是使用-Xcomp时这个特性就无法生效了。还存在这样的一种情况，有些方法的调用比较少，但是也去做编译和优化的话，编译带来的开销还不如直接去解释执行那一块的代码，这样就产生一些不必要的开销了。这两种方式分场景来进行使用，针对合适的场景选择对应的模式。适合的才是最好的。还有一个参数，就是一种自适应的方式，有的地方解释执行，有的地方编译执行，具体的策略要依据profile的统计分析来判断。 注：中间提到了一个JIT，可能有的同学对这个不是非常熟悉。JIT 的全称是Just in time，也就是 “即时” ，这是一种即时编译技术，能够通过保存之前编译得到的机器码来替代对应字节码的解释执行操作及一些分支预测等自优化功能来加快Java 程序的执行速度。具体是怎么做到的呢。请看 Java 系列中的JIT技术。 -Xdebug 这个选项，其实什么也没做。仅仅是为了向后兼容而已。 -Xdiag 显示额外的诊断信息，如果出现问题你又觉着信息不够全面时。 -Xfuture 对类文件进行严格格式的检查，以保证类代码符合类代码规范。如果为缺省则不进行严格格式检查。 -Xinternalversion 显示比版本选项更详细的JVM版本信息，然后退出。 这个常用于 -version之后，看到的信息不够充分，你就可以使用它了，使用场景比较少 -Xloggc:filename 用于指定虚拟机每次垃圾回收时将回收的信息写到日志文件中，文件名由filename 指定 -Xmaxjitcodesize=size 为jit编译的代码指定最大代码缓存大小缺省单位为字节，也可以是k、m。默认的最大代码缓存大小为240 MB;如果使用选项- xx:- tiered编译禁用分层编译，那么默认大小是48 MB: -Xmaxjitcodesize = 240 这个选项相当于- xx:ReservedCodeCacheSize（下一篇会有具体的介绍）。 -Xmnsize 用于设置堆内新生代的大小，缺省单位为字节，也可以是k、m，后面有对应最大的虚拟机内存堆的最大可用大小，减去-Xmn就是老年代的大小。 -Xmssize 设置虚拟机内存堆的初始大小，缺省单位为字节（值必须为1024的整数倍，然后大于2m），当然也可以自行指定单位，比如说 k、m。缺省时，默认大小为2m。 -Xmxsize 设置虚拟机内存堆的最大可用大小，缺省单位为字节（值必须为1024的整数倍，然后大于2m），当然也可以自行指定单位，比如说 k、m。缺省时 默认最大为64m。 最常见的，如果我们运行的程序体量很庞大，64m已经远不够使用时，启动一段时间后可能会出现OOM，这时候就需要手动的去设置可用的堆内存的大小了。 -Xnoclassgc 关闭虚拟机对Class的垃圾回收功能。 -Xprof 输出CPU运行时的诊断信息。 -Xrs 减少虚拟机中操作系统信号的使用，这种参数 通常用于以后台服务方式运行，最经典的比如Servlet -Xshare:
最近，换了一个工作环境去做研究，当然啦，新公司新作风，需要研究python并行分布式框架：Celery，不用多说，干呗。
为了避免意外宕机以后丢失信息，需要做到重启后可以恢复消息队列，消息系统一般都会采用持久化机制
max_allowed_packet 参数的作用是，用来控制其通信缓冲区的最大长度。
通道分为缓冲通道和无缓冲通道两种，在使用make内置函数创建通道大小的时候，会出现两个常见的错误：1. 是选择缓冲通道还是无缓冲通道？2. 如果是使用缓冲通道，通道的大小应该设置为多少？本节内容将深入研究这些问题。
有序的、可以重复,根据不同的实现,底层可以是数组(ArrayList、Vector)或者链表(LinkedList)。
问题导读： 1 Kafka集群有什么优势？ 2 集群中部署多少个节点合适？ 3 集群针对系统如何调优？ Kafka集群 对于本地的开发工作或者概念性的验证工作，单个Kafka服务器就可以支撑
SQL Server 数据库采取预先分配空间的方法来建立数据库的数据文件或者日志文件，比如数据文件的空间分配了300MB，而实际上只占用了20MB空间，这样就会造成磁盘存储空间的浪费。可以通过数据库收缩技术对数据库中的每个文件进行收缩，删除已经分配但没有使用的页。从而节省服务器的存储的成本。
Celery是Python开发的分布式任务调度模块，今天抽空看了一下，果然接口简单，开发容易，5分钟就写出了一个异步发送邮件的服务。
**1、ArrayList:** Arraylist 默认大小是10 ArrayLIst扩容过程：在add的时候会先做判断：如果先加+1的容量大于默认存储大小则要调用grow()方法，grow（）方法会扩容到原来大小的1.5倍，然后调用Arrays.copyof()传入旧数据和新容量，该方法的内部调用的是System.arrayCopy()方法创建新数组并且返回。
将元素的字体大小设置为 medium 可以将其设为浏览器默认大小，通常为16 px。 以下是设置元素字体大小的 CSS 代码示例：
所有的文件都是以 block 块的方式存放在 HDFS 文件系统当中, 在 Hadoop1当中, 文件的 block 块默认大小是 64M, hadoop2 当中, 文件的 block块大小默认是 128M, block 块的大小可以通过 hdfs-site.xml当中的配置文件进行指定
如图所示，每次在栈中添加元素或者取出元素时，只能在栈顶进行操作，这就是后进先出的原则
在默认情况下msmq 3.0（windows xp ,windows 2003）最大单个消息(Message size)大小4M;（包括正文和全部指定属性的消息的大小不能超过 4 MB。 来自windows 2003帮助文件的说明。） 4M的限制对于一些普通的应用来说已经足够，而且作为消息传递，报文交换，我们推荐的是不要使用超过1M大小的报文。这样可以很好的利用网络带宽，和提高系统的处理性能。 但对于一些特别少数的应用仍然存在大报文的需求，而msmq作为一个消息中间件有很多优势。所以
Kafka的bin目录下shell脚本是kafka自带的管理工具，提供topic的创建/删除/配置修改、消费者的监控、分区重载、集群健康监控、收发端TPS压测、跨机房同步等能力，Kafka运维者可以使用这些工具进行集群的管理。
Celery是Python开发的分布式任务调度模块，今天抽空看了一下，果然接口简单，开发容易，5分钟就写出了一个异步发送邮件的服务。 Celery本身不含消息服务，它使用第三方消息服务来传递任务，目前，Celery支持的消息服务有RabbitMQ、Redis甚至是数据库，当然Redis应该是最佳选择。 安装Celery 用pip或easy_install安装： $ sudo pip install Celery 或着： $ sudo easy_install Celery 使用Redis作为Broker时
Image组件是Unity里显示图片的组件，可以将Sprite类型的图片显示在Canvas下。
虽然这样的人为设置无实际意义，但证明了：View的最终宽 / 高 与 测量宽 / 高是可以不一样
Hashmap是新框架中用来取代hashtable的，所以肯定用的更多，那么两者有什么区别呢 Hashmap###是不同步的，###Hashtable###是同步的 类似Vector和arrayList 感兴趣的同学可以去找一下源码看看，除构造函数外，Hashtable的所有 public 方法声明中都有 synchronized 关键字，而HashMap的源代码中则连 synchronized 的影子都没有 Hashmap###允许null，###Hashtable###不允许 哈希值的使用不同，Has
缓冲区的出现，提高了对数据的读写效率对应的类：BufferedWriter,BufferedReader
前面我们已经分享过几篇Kafka的文章，最近简单梳理了下Kafka内核相关的知识，涵盖了Kafka架构总结，副本机制，控制器，高水位机制，日志或消息存储，消息发送与消费机制等方面知识。文末含对应的Kafka内核思维导图，供参考。
ArrayList 的底层是数组队列，相当于动态数组。与 Java 中的数组相比，它的容量能动态增长。在添加大量元素前，应用程序可以使用ensureCapacity操作来增加 ArrayList 实例的容量。这可以减少递增式再分配的数量。
Kafka 的消息存储会按照该 Topic 的 Partition 进行保存，即每个 Partition 都有属于自己的日志，在 Kafka 中被称为分区日志（partition log）。
public class Hashtable extends Dictionary implements Map
Hashtable 中的方法是同步的，而HashMap中的方法在缺省情况下是非同步的。Hashtable的所有 public 方法声明中都有 synchronized 关键字。在多线程并发的环境下，可以直接使用Hashtable，但是要使用HashMap的话就要自己增加同步处理了。
HashTable 和HashMap区别 HashTable最早的版本是JDK1.1 ，HashMap最早版本是1.2 HashTable继承的是Dictionary抽象类 ， HashMap继承的是AbstractMap HashTable是线程安全的，HashMap 是线程不安全 HashTable key value 都不能为Null,HashMap key value可以为Null HashTable散列算法是取余，HashMap 是按位与（取模算法） HashTable初始化默认大小是11，HashMap初始化默认大小是16 这里还需要考虑为什么取余算法 默认就是11，每次扩容都是*2， 应该和HashMap扩容有关 HashTable 内部迭代实现用的是枚举迭代（Enmeration,第一代迭代器）,HashMap内部迭代实现用的迭代器（Iterator） HashTable 内部Node是链表结构，HashMap 1.8新特性 内部Node对象链表长度超过8后，会变更为红黑树,树节点小于6的时候，会转换成链表
RTMP协议是Real Time Message Protocol(实时信息传输协议)的缩写，它是由Adobe公司提出的一种应用层的协议，用来解决多媒体数据传输流的多路复用（Multiplexing）和分包（packetizing）的问题。
EFCore2.0 为DbContext引入新的注册方式：透明地注册了 DbContext实例池
使用gdb进行调试后，定位到错误。当程序执行 return 1 + my_strlen（p++）这条语句时，会出现以下的段错误情况。
一位2年工作经验的小伙伴面试时被问到，说，HashMap什么时候扩容，为什么要扩容？这个问题本身不是很难，但是这位小伙伴对底层实现原理没有太多关注，所以，被这个问题难住了。
因为硬盘每次读写都会寻址和写入，其中寻址是一个耗时的操作。所以为了提高读写硬盘的速度，Kafka使用顺序I/O，来减少了寻址时间：收到消息后Kafka会把数据插入到文件末尾，每个消费者（Consumer）对每个Topic都有一个offset用来表示读取的进度。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
