在应用程序设计过程中，内存是很重要的资源，而计算机主机的内存资源时有限的。一般而言我们可以申请到的内存是有限的，并不是想申请多大就有多大就可以申请多大的。/proc/buddyinfo文件里，就记录着系统的内存资源。
熊军（老熊） 云和恩墨西区总经理 Oracle ACED，ACOUG核心会员 PC Server发展到今天，在性能方面有着长足的进步。64位的CPU在数年前都已经进入到寻常的家用PC之中，更别说是更高端的PC Server；在Intel和AMD两大处理器巨头的努力下，x86 CPU在处理能力上不断提升；同时随着制造工艺的发展，在PC Server上能够安装的内存容量也越来越大，现在随处可见数十G内存的PC Server。正是硬件的发展，使得PC Server的处理能力越来越强大，性能越来越高。而在稳定性
前面已经将所有的硬件驱动实现，验证了硬件功能。但是每一个硬件都是单独测试的，而且并不完善。下一步，我们需要对各个驱动进行整合完善。在整合之前，需要做一些基础工作。其中之一就是实现内存管理。什么叫内存管理呢？为什么要做内存管理？前面我们已经大概了解了程序中的变量现在我们复习一下：局部变量、全局变量。
c语言中，void的意思是“无类型”，相应的“void *”为无类型指针，常用在程序编写中对定义函数的参数类型、返回值、函数中指针类型进行声明，其作用是对函数返回和参数的进行限定。
上一次咱们分析了 Linux 的启动流程和初始化流程，今天主要分析一下内存方面的初始化和常见的内存分配方式。
在《一文读懂 HugePages的原理》一文中介绍了 HugePages（大内存页）的原理和使用，现在我们来分析一下 Linux 内核是怎么实现 HugePages 分配的。
来源 | https://zhenbianshu.github.io/ 前不久组内又有一次我比较期待的分享：”Linux 的虚拟内存”。是某天晚上加班时，我们讨论虚拟内存的概念时，leader 发现几位同事对虚拟内存认识不清后，特意给这位同学挑选的主题（笑）。 之前了解一些操作系统的概念，主要是毕业后对自己大学四年的荒废比较懊恼，觉得自己有些对不起计算机专业出身，于是在工作之余抽出时间看了哈工大在网易云课堂的操作系统公开课，自己也读了一本讲操作系统比较浅的书 《Linux内核设计与实现》，而且去年自己用 C
究其原因，监控系统计算的可用内存算法有偏差，他只关注了计算机的“实际”内存，忽略了计算机的虚拟内存。
在用户的视角里，每个进程都有自己独立的地址空间，A进程的4GB和B进程4GB是完全独立不相关的，他们看到的都是操作系统虚拟出来的地址空间。但是呢，虚拟地址最终还是要落在实际内存的物理地址上进行操作的。操作系统就会通过页表的机制来实现进程的虚拟地址到物理地址的翻译工作。其中每一页的大小都是固定的。这一段我不想介绍的太过于详细，对这个概念不熟悉的同学回去翻一下操作系统的教材。
爱可生 DBA 团队成员，负责项目日常问题处理及公司平台问题排查。热爱 IT，喜欢在互联网里畅游，擅长摄影、厨艺，不会厨艺的 DBA 不是好司机，didi~
网上的答案大多是说XMX和XMS设置为一样大，但是没有说到底XMX设置多大比较好。
其实说到对JVM进行性能调优早已是一个老生常谈的话题，如果你所在的技术团队还暂时达不到淘宝团队那样的高度，无法满足在OpenJDK的基础之上根据自身业务进行针对性的二次开发和定制调优，那么对于你来说，唯一的选择就是尽可能的熟悉JVM的内存布局，以及熟练掌握与GC相关的那些选项配置，否则JVM的基础性能调优不是痴人说梦？
2017年末，手Q春节红包项目期间，为保障活动期间服务正常稳定，我对性能不佳的Ark Server进行了改造和重写。重编发布一段时间后，结果发现新发布的Svr的机器内存一直在上涨。如下图示：
写在前面 Android开发中我们常常会遇到不合理的内存分配导致的问题，或是频繁GC，或是OOM。按照常规的套路我们需要打开Android Studio录制内存分配或者dump内存，然后人工分析，逐个排查问题所在。这些方法是官方提供的能力，可以帮助我们排查问题，但难免有些繁琐，效率比较低。 如果可以自动识别出不合理的Java(含Kotlin)对象分配，这样繁琐的工作将会变得简单。 本文介绍了一种在Art虚拟机上实时记录对象分配的实现方案，基于此方案就可以实现不合理对象分配的自动化的识别。 常规
大页内存(HugePages)，有时也叫“大内存页”、“内存大页”、“标准大页”。操作系统以内存页为单位管理内存，内存页的大小对系统性能有影响。内存页设得太小，内存页会很多，管理内存页的数组会比较大，耗内存，同时TLB(Translation Lookaside Buffer，页表寄存缓冲器，可理解为页表缓冲)大小是固定的，导致TLB MISS增加。在不同的应用场合，内存页的大小的最优值是不同的。所以一般的系统都支持多种内存页的取值。
笔者非科班转行，两个月拿了十多个offer，其中包括了互联网大厂，央企，国企，银行等，下面看看都面了什么(部分回忆)。总之，在面试国企等企业时，会有一些有意思的问题，也会出现群面的场景。 1 阿里一面 指针和引用的区别 define和const 内联函数和define c++内存管理 栈和堆区别，全局变量和局部变量 c++多态，虚函数，纯虚函数 多态的好处 数据库索引，给一个语句问有没有用到索引，底层怎么实现的 B树和B+树 哈希冲突 说一说常见的排序算法和时间，空间复杂度 TCP,UDP,可靠传输，网络什
1. 集群规划 ---- 1. 我们需要多大规模的集群 思考方向： 当前的数据量有多大？数据增长情况如何？ 你的机器配置如何？cpu、多大内存、多大硬盘容量？ 推算依据： ES JVM heap 最大 32G，30G heap 大概能处理的数据量 10T。 如果内存很大，如 128G，可在一台机器上运行多个 ES 节点实例。 2. 集群中的节点角色如何分配 节点角色 Master Node：设置 node.master: true 时，节点可作为主节点。 DataNode Node：
估计所有的spark开发者都很关心spark的硬件要求。恰当的硬件配置需要具体情况具体分析，在这里给出以下建议。主要译自官网
但凡初次接触MongoDB的人，无不惊讶于它对内存的贪得无厌，至于个中缘由，我先讲讲Linux是如何管理内存的，再说说MongoDB是如何使用内存的，答案自然就清楚了。
估计所有的spark开发者都很关心spark的硬件要求。恰当的硬件配置需要具体情况具体分析，浪尖在这里给出以下建议。 一，存储系统 因为因为大多数Spark工作可能需要从外部存储系统（例如Hadoop文件系统或HBase）中读取输入数据，所以将其尽可能靠近该系统很重要。所以，有如下建议： 1，如果可能，在与HDFS相同的节点上运行Spark。最简单的方式是将spark 的Standalone集群和hadoop集群安装在相同的节点，同时配置好Spark和hadoop的内存使用，避免相互干扰(对于hadoop，
根据数据体量，结合集群各节点的CPU、内存、磁盘的表现，合理优化设置kudu参数，让集群飞起来~
任何新的业务系统在上线以前都需要去估算服务器配置和 JVM 的内存参数，这个容量与资源规划并不仅仅是系统架构师的随意估算的，需要根据系统所在业务场景去估算，推断出来一个系统运行模型，评估 JVM 性能和 GC 频率等等指标。
现在的服务器大部分都是运行在Linux上面的，所以，作为一个程序员有必要简单地了解一下系统是如何运行的。对于内存部分需要知道：
现在的服务器大部分都是运行在Linux上面的，所以，作为一个程序员有必要简单地了解一下系统是如何运行的。对于内存部分需要知道： 地址映射 内存管理的方式 缺页异常 先来看一些基本的知识，在进程看来，内
Random-access memory(RAM)在任何软件开发环境都是稀有资源，在移动操作系统物理内存有限的情况下将显得更加珍贵.虽然Android的Dalvik虚拟机优化了内存回收机制，但我们也要关注你的app的内存分配和释放。
MYSQL 8 已经上线一段时间了,每个数据库系统的内存方面都有自己的特点,MYSQL的内存的特点,下面总结了一些同学们经常会问的一些内存方面的问题.
本文介绍了 ulimit 内键指令的主要功能以及用于改善系统性能的 ulimit 用法。通过这篇文章，读者不仅能够了解 ulimit 所起的作用。而且能够学会怎样更好地通过 ulimit 限制资源的使用来改善系统性能。
个人博客纯净版：https://www.fangzhipeng.com/db/2019/09/03/es-optimized.html
传统的存储设备例如HDD，SSD，nvme，SAN LUNS等以blocks为单位提供存储功能。Block以字节为单位的可寻址存储单元。传统的硬盘的block大小是512字节。Newer设备通常是4K或者8K，但也可以选择逻辑/模拟的512字节的block。
要想一个系统不崩溃，性能还得好，同步技术是非常关键的。但是，完全避免竞态条件几乎是难于上青天。因为它要求对内核各个功能模块之间的交互得有一个清晰深刻的理解。下面我们看一下Linux内核中一些具体保护数据访问的示例，加深对其理解，甚至可以在自己的内核设计上借鉴一下。
默认情况下，容器是没有资源限制的，它会尽可能地使用宿主机能够分配给它的资源。Docker提供了一种控制分配多少量的内存、CPU或阻塞I/O给一个容器的方式，即通过在docker run或docker create命令时设置运行时配置的标志。
libpcap为了提高效率，调用setsockopt(handle->fd, SOL_PACKET, PACKET_RX_RING,(void *) &req, sizeof(req))时采用kmalloc分配内存。 可以参考: https://www.kernel.org/doc/Documentation/networking/packet_mmap.txt kmalloc底层依赖linux的slab内存分配机制，在2.6.22内核之后，slub取代slab成为默认的内存分配器。空间和时间上都有所提升。
1. 本项目基于google公司的开源项目tcmalloc作为背景，简化实现一个高并发内存池，用该项目可以替代传统的malloc free函数来申请和释放内存，malloc和free作为我们最开始接触内存管理的元老级函数是在熟悉不过的了，有人说已经有malloc和free这样的内存管理函数了，我们搞一个tcmalloc真的有意义吗？其实不然，像malloc和free这种的函数是通用级别的，而通用的东西往往都带有一个特性，那就是适用性强，可移植性强，但是随之而带来的缺点就是针对性不够明显，比如对于某些高并发项目场景，项目内的线程数量众多，不断的调用malloc，可能会涉及到频繁的加锁和解锁，这对于项目性能的影响是不可小觑的，所以在某些高并发场景，同时对性能要求又高的情况下，malloc和free就显的没那么能打了，此时google公司召集了一批顶尖的cpp高手写出来了tcmalloc这样高效的内存管理项目，而我们的这个项目只是从tcmalloc里面摘取了精华部分，目的就是学习和理解高效的内存管理应该是什么样子的，而不是造一个更好的轮子出来。
今天，我们来了解一下计算机中的存储模型，大雄将这部分知识分成了三块，也就是我们会对这部分的知识推送三次。
一个CPU core同一时间只能执行一个线程。而每个Executor进程上分配到的多个task，都是以每个task一条线程的方式，多线程并发运行的。
本篇内容涉及Docker的内存与CPU限制，可以用于在实际开发中为指定容器设置限制最大使用的资源量，预计阅读时间为5分钟。
很多时候我们为了缩短单次请求的时间，就需要去分析请求在哪一步耗时比较大，一般越靠近应用层优化效果越大，后端程序就是请求到达路由解析到返回结果这一步骤了。
我们过一下元空间内存分配流程，我们会忽略一些 GC 相关的还有并发安全的细节，否则涉及的概念太多，一下说不过来，这些细节，会在以后的系列中详细提到。
对性能不佳的Ark Server进行了改造和重写。重编发布一段时间后，结果发现新发布的Svr的机器内存一直在上涨。如下图示：
前言：本来我是做电视应用的，但是因为公司要出手机，人员紧张，所以就抽调我去支援一下，谁叫俺是雷锋呢！ 我做的一个功能就是处理手机中的应用ICON，处理无非就是美化一下，重新与底板进行合成和裁剪，用到了很多Bitmap的知识。本来之前一直想写一些关于Bitmap的博客，正好这是个机会，因此Bitmap那些事系列博客诞生了。这个系列我会把学习Bitmap的一些知识发布出来供大家参考和交流。 在手机中图片一般都是指Bitmap图片，为什么要说Bitmap呢？因为大家在开发应用的时候，都会使用一些图片来表现UI，
上周知识星球的同学在阿里云技术面终面的时候被问到这么一个问题：假设一个每天100w次登陆请求的平台，一个服务节点 8G 内存，该如何设置JVM参数？ 觉得回答的不太理想，过来找我复盘。
有一个不会经常深入讨论但非常重要的方面是大内存页（Hugepages）和转译后备缓冲器（Translation Lookaside Buffer，TLB）的作用。在本系列文章中，我们将解释它们是什么，为什么它们重要，以及如何使用它们。我们将关注运行在64位X86硬件上的 Linux 操作系统，但是大多数观点也适用于其他体系结构。
G1有一个参数-XX:InitiatingHeapOccupancyPercent，他的默认是45%，他的含义就是老年代到了45%的时候，就会进行混合回收,比如有2048个region,其中老年代占据了有1000个region,就会混合回收.
当Linux服务器的TIME_WAIT过多时， 通常会想到去修改参数降低TIME_WAIT时长， 以减少TIME_WAIT数量，但Linux并没有提供这样的接口， 除非重新编译内核。 Linux默认的TIME_WAIT时长一般是60秒， 定义在内核的include/net/tcp.h文件中： #define TCP_TIMEWAIT_LEN (60*HZ) /* how long to wait to destroy TIME-WAIT state, * about 60 seconds */ #define TCP_FIN_TIMEOUT TCP_TIMEWAIT_LEN /* BSD style FIN_WAIT2 deadlock breaker. * It used to be 3min, new value is 60sec, * to combine FIN-WAIT-2 timeout with * TIME-WAIT timer. */ 注意tcp_fin_timeout不是TIME_WAIT时间： # cat /proc/sys/net/ipv4/tcp_fin_timeout 60 tcp_fin_timeout实为FIN_WAIT_2状态的时长， Linux没有提供修改TIME_WAIT时长接口，除非修改宏的定义重新编译内核。 但Windows可以修改注册表中的TcpTimedWaitDelay值来控制TIME_WAIT时长。 RTO：超时重传（Retransmission Timeout） TIME_WAIT是一个常见经常的问题，相关内容（/etc/sysctl.conf或/proc/sys/net/ipv4）: 1) net.ipv4.tcp_timestamps 为1表示开启TCP时间戳，用来计算往返时间RTT（Round-Trip Time）和防止序列号回绕 2) net.ipv4.tcp_tw_reuse 为1表示允许将TIME-WAIT的句柄重新用于新的TCP连接 3) net.ipv4.tcp_tw_recycle 为1表示开启TCP连接中TIME-WAIT的快速回收，NAT环境可能导致DROP掉SYN包（回复RST） 4) net.ipv4.tcp_fin_timeout FIN_WAIT_2状态的超时时长 5) net.ipv4.tcp_syncookies 为1时SYN Cookies，当SYN等待队列溢出时启用cookies来处理，可防范少量SYN攻击 6) net.ipv4.tcp_max_tw_buckets 保持TIME_WAIT套接字的最大个数，超过这个数字TIME_WAIT套接字将立刻被清除并打印警告信息 7) net.ipv4.ip_local_port_range 8) net.ipv4.tcp_max_syn_backlog 端口最大backlog内核限制，防止占用过大内核内存 9) net.ipv4.tcp_syn_retries 对一个新建连接，内核要发送多少个SYN连接请求才决定放弃，不应该大于255 10) net.ipv4.tcp_retries1 放弃回应一个TCP连接请求前﹐需要进行多少次重试，RFC规定最低的数值是3，这也是默认值 11) net.ipv4.tcp_retries2 在丢弃激活（已建立通讯状况）的TCP连接之前﹐需要进行多少次重试，默认值为15 12) net.ipv4.tcp_synack_retries TCP三次握手的SYN/ACK阶段重试次数，缺省5 13) net.ipv4.tcp_max_orphans 不属于任何进程（已经从进程上下文中删除）的sockets最大个数，超过这个值会被立即RESET，并同时显示警告信息 14) net.ipv4.tcp_orphan_retries 孤儿sockets废弃前重试的次数，缺省值是7 15) net.ipv4.tcp_mem 内核分配给TCP连接的内存，单位是page： 第一个数字表示TCP使用的page少于此值时，内核不进行任何处理（干预）， 第二个数字表示TCP使用的page超过此值时，内核进入“memory pressure”压力模式， 第三个数字表示TCP使用的page超过些值时，报“Out of socket memory”错误，TCP 连接将被拒绝 16) net.ipv4.tcp_rmem 为每个TCP连接分配的读缓冲区内存大小，单位是byte 17) net.ipv4.tcp_wmem 为每个TCP
一 自我介绍二 面试情况三 相关知识点汇总1 c/c++相关2 计算机网络3 数据结构相关4 数据库相关5 操作系统6 Linux基础知识及应用编程(后台必备！)7 大数问题8 手撕算法(递归非递归)9 针对项目相关10 场景题11 架构/分布式/中间件相关12 总结
版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
