自从上次学习了TCP/IP的拥塞控制算法后，我越发想要更加深入的了解TCP/IP的一些底层原理，搜索了很多网络上的资料，看到了陶辉大神关于高性能网络编程的专栏，收益颇多。今天就总结一下，并且加上自己的一些思考。
在一些物理内存为8g的服务器上，主要运行一个Java服务，系统内存分配如下：Java服务的JVM堆大小设置为6g，一个监控进程占用大约 600m，Linux自身使用大约800m。
在一些物理内存为8g的服务器上，主要运行一个Java服务，系统内存分配如下：Java服务的JVM堆大小设置为6g，一个监控进程占用大约 600m，Linux自身使用大约800m。从表面上，物理内存应该是足够使用的;但实际运行的情况是，会发生大量使用SWAP(说明物理内存不够使用 了)，如下图所示。同时，由于SWAP和GC同时发生会致使JVM严重卡顿，所以我们要追问：内存究竟去哪儿了要分析这个问题，理解JVM和操作系统之间的内存关系非常重要。接下来主要就Linux与JVM之间的内存关系进行一些分析。 一、Li
在一些物理内存为8g的服务器上，主要运行一个Java服务，系统内存分配如下：Java服务的JVM堆大小设置为6g，一个监控进程占用大约 600m，Linux自身使用大约800m。从表面上，物理内存应该
在一些物理内存为8g的服务器上，主要运行一个Java服务，系统内存分配如下：Java服务的JVM堆大小设置为6g，一个监控进程占用大约 600m，Linux自身使用大约800m。从表面上，物理内存应该是足够使用的；但实际运行的情况是，会发生大量使用SWAP(说明物理内存不够使用 了)，如下图所示。由于SWAP和GC同时发生会致使JVM严重卡顿，所以我们要追问：内存究竟去哪儿了？
引言 在一些物理内存为8g的服务器上，主要运行一个Java服务，系统内存分配如下：Java服务的JVM堆大小设置为6g，一个监控进程占用大约600m，Linux自身使用大约800m。从表面上，物理内存
当用户线程调用了 read 系统调用，内核（kernel）就开始了 IO 的第一个阶段：准备数据。很多时候，数据在一开始还没有到达（比如，还没有收到一个完整的Socket数据包），这个时候 kernel 就要等待足够的数据到来。
IO 是计算机体系中重要的一部分 。不同的 IO 设备有着不同的特点：数据率不一样、传送单位不一样，数据表示不一样，等等。所以，很难实现一种统一的输入输出方法。
https://prestodb.io/docs/current/installation/deployment.html#installing-presto
JVM本质就是一个进程，因此其内存空间（也称之为运行时数据区，注意与JMM的区别）也有进程的一般特点。深入浅出 Java 中 JVM 内存管理，这篇参考下。
IO的实现依赖于系统调用，系统调用需要从用户态切换到内核态，会消耗系统资源，白白浪费掉若干机器周期。 IO是慢操作，一个线程去等待IO的完成，极可能会造成阻塞。 一个文件的IO至少需要一次系统IO调用，在用户态作事件轮询可能会触发多次系统调用。 内核函数select/poll/epoll就是把原本一个文件IO的完成需要多次系统调用降到了恒定的1次或2次，它的实现原理就是将IO状态的轮询操作从用户态转移到了内核态，极大减少内核切换。 在内核态对IO状态的问询时，一旦发现有IO事件在内核里数据缓冲完毕就会立即返
arena.go文件实现了Go语言的堆内存管理器，它提供了跨平台的内存分配和回收服务。目的是管理堆内存区域，以保证高效、可扩展、可配置和可靠的使用。arena.go中的代码实现了跨平台内存管理器对应的核心功能，包括内存分配、内存回收、内存对齐、内存复制、内存对齐以及并发的分配和回收操作。
因为内存分期和垃圾回收算法都依赖要连续的地址, 所以在初始化阶段, 预先保留了很大的一段虚拟地址空间.
Android是如何实现跨进程通信的，大家熟悉的Binder是什么，怎么设计的，进程间的数据如何发送接收的。本文将以及解析，并对Binder驱动实现、Native层实现、Java层实现三块做一个总结分析。
最近在看《大型分布式网站架构－设计与实践》这本书时，文中提到阻塞式IO，其实之前我在看一些书籍时也经常听到同步（synchronous） IO和异步（asynchronous） IO，阻塞（blocking） IO和非阻塞（non-blocking）IO这些词。 那么同步IO和异步IO，阻塞IO和非阻塞IO分别是什么，到底有什么区别呢？ 一、网络IO操作过程 对于一个网络IO (这里我们以read举例)，它会涉及到两个系统对象，一个是调用这个IO的过程process (or thread)，另一个就是系统
这篇文章将试图说明应用程序如何接收网络上发送过来的TCP消息流，由于篇幅所限，暂时忽略ACK报文的回复和接收窗口的滑动。
heartbleed可能会影响到很多客户端软件，包括网络、邮件、聊天工具、FTP、移动应用、VPN、甚至软件升级工具等等。简单来讲，任何通过有漏洞的OpenSSL(开放源代码的安全套接层)，或使用SSL/TLS安全协议进行通讯的客户，都有可能会遭到网络攻击。 Heartbleed不仅会对网页服务器造成威胁，同时还会威胁到其他很多类型的服务器的安全，其中包括代理服务器、介质服务器、游戏服务器、数据库服务器、聊天服务器以及FTP服务器等。总之，该漏洞可以对几乎所有硬件设备带来安全威胁，例如路由器、程控交换机(商
FINS（factoryinterface network service）通信协议是欧姆龙公司开发的用于工业自动化控制网络的指令/响应系统。使用FINS指令可实现各种网络间的无缝通信，包括用于信息网络的Ethernet（以太网），用于控制网络的ControllerLink和SYSMAC LINK。通过编程发送FINS指令，上位机或PLC就能够读写另一个PLC数据区的内容，甚至控制其运行状态，从而简化了用户程序。FINS协议支持工业以太网，这就为OMRON PLC与上位机以太网通信的实现提供了可能。
在使用 docker 运行容器时，默认的情况下，docker没有对容器进行硬件资源的限制，当一台主机上运行几百个容器，这些容器虽然互相隔离，但是底层却使用着相同的 CPU、内存和磁盘资源。如果不对容器使用的资源进行限制，那么容器之间会互相影响，小的来说会导致容器资源使用不公平；大的来说，可能会导致主机和集群资源耗尽，服务完全不可用。
为了控制进程的执行，内核必须有能力挂起正在CPU上运行的进程，并恢复以前挂起的某个进程的执行。这种行为被称为进程切换。
同步（synchronous） IO和异步（asynchronous） IO，阻塞（blocking） IO和非阻塞（non-blocking）IO分别是什么，到底有什么区别？这个问题其实不同的人给出的答案都可能不同，比如wiki，就认为asynchronous IO和non-blocking IO是一个东西。这其实是因为不同的人的知识背景不同，并且在讨论这个问题的时候上下文(context)也不相同。所以，为了更好的回答这个问题，我先限定一下本文的上下文。 本文讨论的背景是Linux环境下的network IO。 本文最重要的参考文献是Richard Stevens的“UNIX® Network Programming Volume 1, Third Edition: The Sockets Networking ”，6.2节“I/O Models ”，Stevens在这节中详细说明了各种IO的特点和区别，如果英文够好的话，推荐直接阅读。Stevens的文风是有名的深入浅出，所以不用担心看不懂。本文中的流程图也是截取自参考文献。
很多的小伙伴，被java IO 模型，搞得有点儿晕，一会儿是4种模型，一会儿又变成了5种模型。
尽管脚本可能是有效的 JavaScript，没有逻辑错误，并且代表服务器的一组有效指令，但在并行化和执行计算时，生成的对象可能太大、太多或计算时间太长。在这种情况下，您将收到一条错误消息，表明该算法无法缩放。这些错误通常是最难诊断和解决的。此类错误的示例包括：
每周二，由老曹带领大家一步一步进入到自动化控制系统的奇妙世界；一步一步告诉大家如何从一张P & ID（Piping and Instrumentation diagram）图设计一套PLC控制系统，其中包括：IO点统计、PLC选型、IO表设计、IO端子图设计、机柜布置图设计、总线设计、网络设计、PLC程序编制、上位机画面编制、文档制作；让你轻轻松松完整以PLC为主控制器的控制系统设计。
认为的先规划成两部分，用户的物理内存和内核的物理内存，专项专用，内核有方法去占用用户的内存，但是规定两部分内存是专用的，内核只使用自己的物理内存。
我一个SocketServer有500个链接连过来了，我想让500个链接都是并发的，每一个链接都需要操作IO，但是单线程下IO都是串行的，我实现多路的，看起来像是并发的效果，这就是多路复用！
前几期的分享，我们站在编码视角去聊 Java IO，旨在理解与编码，本次从 Linux 操作系统层面了解一下 IO 模型，这样方能做到知其然，知其所以然。
网络IO会涉及到同步，异步，阻塞，非阻塞等几个概念。一个网络IO读取过程是数据从 网卡 到 内核缓冲区 到 用户内存 的过程。同步和异步区别在于数据从内核到用户内存的过程是否需要用户进行等待。
内核和处理器负责将虚拟内存映射到物理内存。为了提高效率，会在称为页面的内存组中创建内存映射，其中每个页面的大小是处理器的详细信息。尽管大多数处理器也支持更大的容量，但通常有4 KB，Linux称其为 hugepage大页面。内核可以从其自己的空闲列表中为物理内存页面请求提供服务，内核为每个DRAM组和CPU维护这些请求以提高效率。内核自己的软件也通常通过内核分配器(例如slab分配器)从这些空闲列表中消耗内存。
它是一种数据的流从源头流到目的地。比如文件拷贝，输入流和输出流都包括了。输入流从文件中读取数据存储到进程(process)中，输出流从进程中读取数据然后写入到目标文件。
在上面的示例代码中，我们展示了三种加密方法的实现示例，每种加密方法用于加密解密以及数据伪造的检测。 你可以使用“图 5.6-1”，“图 5.6-2”，根据你的应用粗略选择使用哪种加密方法。 另一方面，加密方法的更加精细的选择，需要更详细地比较各种方法的特征。 在下面我们考虑一些这样的比较。
IO模型介绍 为了更好地了解IO模型，我们需要事先回顾下：同步、异步、阻塞、非阻塞 同步（synchronous） IO和异步（asynchronous） IO，阻塞（blocking） IO和非阻塞（non-blocking）IO分别是什么，到底有什么区别？这个问题其实不同的人给出的答案都可能不同，比如wiki，就认为asynchronous IO和non-blocking IO是一个东西。这其实是因为不同的人的知识背景不同，并且在讨论这个问题的时候上下文(context)也不相同。所以，为了更好
说起当前主流NoSql数据库非 Redis 莫属。因为它读写速度极快，一般用于缓存热点数据加快查询速度，大家在工作里面也肯定和 Redis 打过交道，但是对于Redis 为什么快，除了对八股文的背诵，好像都还没特别深入的了解。
从本篇开始回顾总结Netty通信框架，尝试为读者揭开它的神秘面纱。Flink内部节点之间的通信是用Akka，比如JobManager和TaskManager之间的通信。而operator之间的数据传输是利用Netty。
Cgorup文档: https://www.kernel.org/doc/Documentation/cgroup-v1/memory.txt
已经过去的中间件性能挑战赛，和正在进行中的 第一届 PolarDB 数据性能大赛 都涉及到了文件操作，合理地设计架构以及正确地压榨机器的读写性能成了比赛中获取较好成绩的关键。正在参赛的我收到了几位公众号读者朋友的反馈，他们大多表达出了这样的烦恼：“对比赛很感兴趣，但不知道怎么入门”，“能跑出成绩，但相比前排的选手，成绩相差10倍有余”…为了能让更多的读者参与到之后相类似的比赛中来，我简单整理一些文件IO操作的最佳实践，而不涉及整体系统的架构设计，希望通过这篇文章的介绍，让你能够欢快地参与到之后类似的性能挑战赛之中来。
Apache Spark是目前大数据领域主流的内存计算引擎，无论是在批处理还是实时流处理方面都有着广泛的应用。我们跑作业的时候，首先要给Spark Job分配一定的资源，比如一个executor分配5G内存，有时候我们会纠结于executor的内存有多少用于了实际计算。因此就需要了解一下Spark的内存管理，还有就是掌握了Spark的内存模型对于优化我们的作业也至关重要。
在linux中，默认情况下所有的socket都是blocking;当 用户进程调用了recvfrom这个系统调用，kernel就开始了IO的第一个阶段：准备数据。对于network io来说，很多时候数据在一开始还没有到达（比如，还没有收到一个完整的UDP包），这个时候kernel就要等待足够的数据到来。而在用户进程这边，整 个进程会被阻塞。当kernel一直等到数据准备好了，它就会将数据从kernel中拷贝到用户内存，然后kernel返回结果，用户进程才解除 block的状态，重新运行起来。 所以，blocking IO的特点就是在IO执行的两个阶段（等待数据和拷贝数据两个阶段）都被block了。
Android应用中使用多进程只有一个办法（用NDK的fork来做除外），就是在AndroidManifest.xml中声明组件时，用android:process属性来指定。
我们都知道unix世界里、一切皆文件、而文件是什么呢？文件就是一串二进制流而已、不管socket、还是FIFO、管道、终端、对我们来说、一切都是文件、一切都是流、在信息交换的过程中、我们都是对这些流进行数据的收发操作、简称为I/O操作(input and output)、往流中读出数据、系统调用read、写入数据、系统调用write、不过话说回来了、计算机里有这么多的流、我怎么知道要操作哪个流呢？做到这个的就是文件描述符、即通常所说的fd(file descriptor)、一个fd就是一个整数、所以对这个整数的操作、就是对这个文件（流）的操作、我们创建一个socket、通过系统调用会返回一个文件描述符、那么剩下对socket的操作就会转化为对这个描述符的操作、不能不说这又是一种分层和抽象的思想、
docker run -it --rm -m 100M --memory-swap -1 ubuntu-stress:latest /bin/bash
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
