版权声明：本文为博主原创文章，转载请注明源地址。 https://blog.csdn.net/10km/article/details/83820080
一、TCMalloc介绍 1、TCMalloc介绍 TCMalloc的全称是Thread-Caching Malloc，是谷歌开发的开源工具google-perftools中的一个成员。与标准的glibc库的Malloc相比，TCMalloc库在内存分配效率和速度上要高很多，这在很大程序上提高了服务器在高并发情况下的性能，从而降低系统的负载。 如何为Nginx添加TCMalloc库支持，要安装TCMalloc库，需要安装libunwind和gperftools两个软件包，libunwind库为基于64为C
TcMalloc（Thread-CachingMalloc）是google-perftools工具中的一个内存管理库，所以一般提到tcmalloc,其实就是指使用gperftools，编译tcmalloc也就是编译gperftools。 第一次使用tcmalloc,网上找了好多关于使用tcmalloc的文章，都讲到了如何安装，如何使用，对于编译都是一笔带过。。。但是是真正实战的时候，发现如果对tcmalloc的代码结构不熟悉，这编译tcmalloc也是不小的坑。本文不涉及安装和使用，只根据自己今天的实际经历说说如何在在windows平台用msvc(准确地说是VS2015)编译tcmalloc。
step 1. 因为是64位的系统，所以先要安装libunwind,32位系统可以忽略此步
在《内存问题分析的利器——valgraind的memcheck》一文中，我们介绍了如何使用valgrind分析各种内存问题。valgrind是基于模拟器的技术实现，而本文介绍的gperftools则是通过在用户代码中嵌入检测代码实现的。（转载请指明出于breaksoftware的csdn博客）
之前介绍了多种nginx调试工具，今天介绍nginx性能分析工具——gperftools
gperftools是一个很好用的性能分析工具，但没有提供官方的用于查找profiler库的cmake脚本，所以在基于cmake管理的项目中如果要在系统查找libprofiler库就就要自己写FindPROFILER.cmake脚本。 将脚本所在的文件夹加入CMAKE_MODULE_PATH,调用find_package(PROFILER)，就会找到系统中安装的gperftools的libprofiler库， 脚本不仅按传统方式输出LIBPROFILER_xxx系列变量，还会创建gperftools::profiler INTERFACE target.方便在项目中引用。
64位操作系统请先安装libunwind库，32位操作系统不要安装。libunwind库为基于64位CPU和操作系统的程序提供了基本的堆栈辗转开解功能，其中包括用于输出堆栈跟踪的API、用于以编程方式辗转开解堆栈的API以及支持C++异常处理机制的API。
为了更好地实现对项目的管理，我们将组内一个项目迁移到MDP框架（基于Spring Boot），随后我们就发现系统会频繁报出Swap区域使用量过高的异常。笔者被叫去帮忙查看原因，发现配置了4G堆内内存，但是实际使用的物理内存竟然高达7G，确实不正常。JVM参数配置是“-XX:MetaspaceSize=256M -XX:MaxMetaspaceSize=256M -XX:+AlwaysPreTouch -XX:ReservedCodeCacheSize=128m -XX:InitialCodeCacheSize=128m, -Xss512k -Xmx4g -Xms4g,-XX:+UseG1GC -XX:G1HeapRegionSize=4M”，实际使用的物理内存如下图所示：
nginx，作为一个自由的、开源的web服务器，由于其高并发、反向代理、扩展丰富、资源占用少等特点，有越来越多的用户开始使用。nginx相对apache来说，相同环境配置下的并发请求量大概是6-10倍的样子，而内存、CPU消耗为1/5、1/10，一个nginx进程差不多15M内存左右，所以对于一个运维人来说，nginx安装是必须会的。
在项目迁移到Spring Boot之后，发生内存使用量过高的问题。本文介绍了整个排查过程以及使用到的工具，也非常适用于其他堆外内存排查。
TCMalloc的全称为Thread-Caching Malloc，是谷歌开发的开源工具google-perftools中的一个成员。与标准的glibc库的Malloc相比，TCMalloc库在内存分配效率和速度上要高很多，这在很大程度上提高了服务器在高并发情况下的性能，从而降低了系统的负载。下面简单介绍如何为Nginx添加TCMalloc库支持。 要安装TCMalloc库，需要安装libunwind（32位操作系统不需要安装）和google-perftools两个软件包，libunwind库为基于64位C
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
发现配置的4G堆内内存，但是实际使用的物理内存高达7G，确实有点不正常，JVM参数配置是“-XX:MetaspaceSize=256M -XX:MaxMetaspaceSize=256M -XX:+AlwaysPreTouch -XX:ReservedCodeCacheSize=128m -XX:InitialCodeCacheSize=128m, -Xss512k -Xmx4g -Xms4g,-XX:+UseG1GC -XX:G1HeapRegionSize=4M”，但是使用的虚拟内存和物理内存使用情况如下：
前言：在互联网发展迅速的网络时代下，现在每个人都会通过服务器在搭建网站，不管是商用也好，还是学习也好，都会受到来自互联网的非法请求。非法请求又分为很多种，今天我们重点介绍服务器受到DDOS和CC攻击怎么来防御。科普DDoS和CC防御可以百度一下。其实防御都可以通过花钱升级防护来解决，但是很多人都是一些小网站，用更高的金钱来做防护，这显然是不现实的。而vDDoS是一款免费的用来防御和减轻DDOS攻击的脚本。官方更直接说了这是“HTTP(S) DDoS保护反向代理”下面我们来介绍一下安装方法。
算法通信协议定了一个大pb，然后往pb里面塞入各种特征。这些特征会去不同的redis表查询获取。redis查询不同表，解析返回数据，因为回调函数做成了并发异步，所以不是各个特征请求间不是串行序列化进行，所以会存在一个并发竞争问题。
在Linux下开发是幸福的，尤其是在发生问题的时候。永远忘不了在Windows下应用发生问题时那种无助的感觉。
安装linux批量部署 yum groupinstall -y "Development Tools" "Development Libraries"
性能测试工具有gperf、gperftools、oprofile、intel vtune amplifier 等。Gperf是GNU自带工具，可以通过编译的时候加-pg加载进去，缺点是不能测试动态库。Oprofile是免费工具，一般Linux系统自带，嵌入到内核中，缺点是不能再虚拟机上运行。Gperftools是Google出的工具，主要提供高性能内存管理，性能测试只是4个主要功能中的一个，缺点是需要再链接的加入gperftools的库。intel vtune amplifier是商用软件，站在一个正规软件公司的角度，在没有购买到授权前，暂不考虑使用。几个工具实现的原理可以参考https://www.cnblogs.com/likwo/archive/2012/12/20/2826988.html。
功能：ProcessHacker 是一款不错的进程分析工具，可查看所有进程信息，包括进程加载的 dll、进程打开的文件、进程读写的注册表……，也可以将特定进程的内存空间 Dump 到本地，此外还可以查看网络连接。
版权声明：本文为博主原创文章，转载请注明源地址。 https://blog.csdn.net/10km/article/details/50401005
Surelog是一个支持SystemVerilog 2017的Pre-processor、Parser、UHDM Compiler，可用于语法检查、仿真、综合、形式验证工具的前端。
Running transaction Installing: gperftools-libs-2.6.1-1.el7.x86_64 1/14Installing: libxslt-1.1.28-5.el7.x86_64 2/14Installing:2:libpng-1.5.13-7.el7_2.x86_64 3/14Installing:1:nginx-filesystem-1.12.2-2.el7.noarch 4/14Installing: libXpm-3.5.12-1.el7.x86_64 5/14Installing: gd-2.0.35-26.el7.x86_64 6/14Installing:1:nginx-mod-mail-1.12.2-2.el7.x86_64 7/14Installing:1:nginx-mod-http-geoip-1.12.2-2.el7.x86_64 8/14Installing:1:nginx-mod-http-xslt-filter-1.12.2-2.el7.x86_64 9/14Installing:1:nginx-mod-http-perl-1.12.2-2.el7.x86_64 10/14Installing:1:nginx-mod-stream-1.12.2-2.el7.x86_64 11/14Installing:1:nginx-1.12.2-2.el7.x86_64 12/14Installing:1:nginx-mod-http-image-filter-1.12.2-2.el7.x86_64 13/14Installing:1:nginx-all-modules-1.12.2-2.el7.noarch 14/14Verifying: libXpm-3.5.12-1.el7.x86_64 1/14Verifying:1:nginx-filesystem-1.12.2-2.el7.noarch 2/14Verifying: gd-2.0.35-26.el7.x86_64 3/14Verifying:2:libpng-1.5.13-7.el7_2.x86_64 4/14Verifying: libxslt-1.1.28-5.el7.x86_64 5/14Verifying: gperftools-libs-2.6.1-1.el7.x86_64 6/14Verifying:1:nginx-1.12.2-2.el7.x86_64 7/14Verifying:1:nginx-mod-mail-1.12.2-2.el7.x86_64 8/14Verifying:1:nginx-all-modules-1.12.2-2.el7.noarch 9/14Verifying:1:nginx-mod-http-geoip-1.12.2-2.el7.x86_64 10/14Verifying:1:nginx-mod-http-xslt-filter-1.12.2-2.el7.x86_64 11/14Verifying:1:nginx-mod-http-image-filter-1.12.2-2.el7.x86_64 12/14Verifying:1:nginx-mod-http-perl-1.12.2-2.el7.x86_64 13/14Verify
“工欲善其事必先利其器”，这是我写这个系列的主要原因。（转载请指明出于breaksoftware的csdn博客）
当我们拿到一个比较大的项目源码时，往往需要总览代码的结构，理清脉络，发现核心点。如果没有前人给出的经验，我们该如何找到关键的函数和模块呢？这个时候我们就可以借助一些工具来生成“调用图”（Call Graph）。图中函数和模块的连线比较多，说明其被使用的很多，需要重点关注；图中函数和模块位于很多调用栈中，说明该函数是有关“脉络”的信息，也要重点关注。
在《内存泄漏分析的利器——gperftools的Heap Checker》一文中，我们介绍了如何使用gperftools分析内存泄漏。本文将介绍其另一个强大的工具——Heap Profiler去分析堆的变化过程。（转载请指明出于breaksoftware的csdn博客）
LNMP(Linux-Nginx-MySQL-PHP)，本文在CentOS 7.0上编译LNMP尝尝鲜，全文基本上都是采用手动编译部署，依赖yum帮我安装了GCC和automake。写这个东西耗时有点久了。太花时间啦。
[root@ipython ~]# yum install gcc-c++ automake autoconf bzip2 zlib库（提供数据压缩用的函式库）:
本系列为高阶干货，面向深度学习从业者，栏目会定期分享PaddlePaddle研发工程师和产品经理的行业经验。本篇和内存泄漏分析相关，适合中高阶深度学习工程师仔细阅读，预计阅读时间5分钟
背景： 生产上发现有套MySQL实例的内存占有率一直在涨，这台机器日常只有连接（查询、修改数据）
前端时间把公司的一个分布式定时调度的系统弄上了容器云，部署在kubernetes，在容器运行的动不动就出现问题，特别容易jvm溢出，导致程序不可用，终端无法进入，日志一直在刷错误，kubernetes也没有将该容器自动重启。业务方基本每天都在反馈task不稳定，后续就协助接手看了下，先主要讲下该程序的架构吧。
-> FinishedDependencyResolutionDependenciesResolved ================================================================================ PackageArchVersionRepositorySize ================================================================================ Installing: nginx x86_64 1:1.12.2-2.el7 epel 530 k Installingfordependencies: gd x86_64 2.0.35-26.el7 base 146 k gperftools-libs x86_64 2.6.1-1.el7 base 272 k libXpm x86_64 3.5.12-1.el7 base 55 k libpng x86_64 2:1.5.13-7.el7_2 base 213 k libxslt x86_64 1.1.28-5.el7 base 242 k nginx-all-modules noarch 1:1.12.2-2.el7 epel 16 k nginx-filesystem noarch 1:1.12.2-2.el7 epel 17 k nginx-mod-http-geoip x86_64 1:1.12.2-2.el7 epel 23 k nginx-mod-http-image-filter x86_64 1:1.12.2-2.el7 epel 26 k nginx-mod-http-perl x86_64 1:1.12.2-2.el7 epel 36 k nginx-mod-http-xslt-filter x86_64 1:1.12.2-2.el7 epel 26 k nginx-mod-mail x86_64 1:1.12.2-2.el7 epel 54 k nginx-mod-stream x86_64 1:1.12.2-2.el7 epel 76 k TransactionSummary ================================================================================ Install1Package (+13Dependent packages) Total download size:1.7MInstalledsize:4.9MDownloadingpackages: (1/14): libXpm-3.5.12-1.el7.x86_64.rpm | 55 kB 00:00 (2/14): gd-2.0.35-26.el7.x86_64.rpm | 146 kB 00:00 (3/14): gperftools-libs-2.6.1-1.el7.x86_64.rpm | 272 kB 00:00 (4/14): libxslt-1.1.28-5.el7.x86_64.rpm | 242 kB 00:00 (5/14): nginx-filesystem-1.12.2-2.el7.noarch.rpm | 17 kB 00:00 (6/14): nginx-mod-http-image-f
注意，本教程安装环境为centos7，使用nginx官网压缩包编译安装(非rpm或apt),本人亲测有效～
在《动态执行流程分析和性能瓶颈分析的利器——valgraind的callgrind》中，我们领略了valgrind对流程和性能瓶颈分析的强大能力。本文将介绍拥有相似能力的gperftools的Cpu Profiler。（转载请指明出于breaksoftware的csdn博客）
nginx是一款非常好用的反向代理服务器，web服务器，很多人都在使用nginx作为网络服务器，要知其然还要知所以然，所以源码安装是一切实践的基础，让我们动手搞起来。
上述代码在申请一段内存后直接返回，这样申请到的这块内存在代码中再也没有机会释放掉了，这就是内存泄漏。 内存泄漏是一类极为常见的问题，尤其对于不支持自动垃圾回收的语言来说，但并不是说自带垃圾回收的语言像 Java 等就不会有内存泄漏，这类语言同样会遇到内存泄漏问题。 有内存泄漏问题的程序会不断的申请内存，但不去释放，这会导致进程的堆区越来越大直到进程被操作系统 Kill 掉，在 Linux 系统中这就是有名的 OOM 机制，Out Of Memory Killer。
Nginx正向代理，通过服务器代理客户端去重定向请求访问到目标服务器的一种代理服务。对于目标服务器来说浏览器/客户端是隐藏的。Nginx 正向代理默认只支持http 协议，不支持 https 协议，需借助"ngx_http_proxy_connect_module"模块实现https 正向代理。
系统长时间运行之后，可用内存越来越少，甚至导致了某些服务失败，这就是典型的内存泄漏问题。这类问题通常难以预测，也很难通过静态代码梳理的方式定位。Heap Profiling 就是帮助我们解决此类问题的。
如果文章出现不完整，可以去我的个人博客查看，个人博客地址：https://blog.97hjh.cn
将tcmalloc作为动态库使用，非常方便，网上有很多资料介绍了。tcmalloc.a也可以以静态链接的方式加入应用程序中，大概因为使用太方便，网上关于这方面的介绍都是一笔带过，但是如果要在动态 库(so)中静态编译tcmalloc,却是有所不同的。 我的项目中有一个so动态库，需要在java中通过jni调用，因为涉及频繁的内存分配操作所以这个so希望用tcmalloc管理内存池以提高系统运行效率，如果使用以动态库方式使用tcmalloc。那么在应用服务器(tomcat)启动的时候，需要先设置LD_PRELOAD参数指向tcmalloc.so，然后执行startup.sh启动tomcat。这样以来，不仅是我的so库，整java程序在运行过程中的所有向操作系统申请释放内存的过程都交给了tcmalloc管理了，其实挺好的。使用这种方案，我的so库代码不需要在编译时链接tcmalloc,什么都不用改变，就能使用tcmalloc。 但是凡事有利就有弊，这个方案带的成本就是在系统安装、维护时稍显复杂：需要在服务器上安装tcmalloc和libunwind(应用系统运行在64位操作系统下)，还可能需要修改tomcat启动脚本以加入LD_PRELOAD参数，对工程实施人员的要求比较高。
TCMalloc全称Thread-Caching Malloc，即线程缓存的malloc，实现了高效的多线程内存管理，用于替代系统的内存分配相关的函数（malloc、free，new，new[]等）。
在三者之间，.NET 使用 libunwind库，因为它是最时髦，最广泛和最方便的解决方案。 它也比第二种方法的backtrace更灵活，可以够提供额外的信息，例如每个堆栈帧的CPU的寄存器值。
#!/bin/sh # add fastrepo #/bin/echo "nameserver 202.96.128.86" >> /etc/resolv.conf PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin export PATH dir=/usr/local/src function install_rest() { echo "nameserver 202.96.128.86">> /etc
前几天我尝试去创建一个仅包含我们经常在 CentOS 7 下使用的软件的本地仓库。当然，我们可以使用 curl 或者 wget 下载任何软件包，然而这些命令并不能下载要求的依赖软件包。你必须去花一些时间而且手动的去寻找和下载被安装的软件所依赖的软件包。然而，我们并不是必须这样。在这个简短的教程中，我将会带领你以两种方式下载软件包及其所有依赖包。我已经在 CentOS 7 下进行了测试，不过这些相同的步骤或许在其他基于 RPM 管理系统的发行版上也可以工作，例如 RHEL，Fedora 和 Scientifi
内存泄漏并不是 Rust 语言要解决的问题，但是 Rust 语言也不大容易发生内存泄漏。
直接访问官方文档，中文的官方文档对于阅读是比较友好的，正常情况下直接对照文档建议的来基本上不会存在大问题。编译部分官方推荐使用官方提供的 Docker 镜像（Dockerfile），这样省去了编译环节中出现的各种环境问题。使用直接编译方式需要注意第三方包的下载一定要下载指定连接的包且务必完整，推荐使用 Docker 镜像方式进行编译，这样不仅可以省去环境的配置，同时编译的时候还省去了不太好下载的几十个三方包的下载。
年前去过上海掌门集团（做无线wifi万能钥匙的那一家）和百度面试过一次，前者问了linux下gcc的malloc函数如何分配内存的，后者在二面时通过一个链表的数据结构也间接地问到了这个问题。我面试的职位是后台C++开发。 且不说面试会可能会遇到这个问题，我们很多服务器程序在长周期或者大量访问的情况后会变得反应迟钝，排查原因发现占用内存会随着请求数量的增多不规律而且不正常地增长，和内存泄漏一样。如果使用valgrind这样的内存泄露工具排查却发现并无内存泄露，其根本原因是内存碎片造成的。这也是我们在开发高性
upstream_check_module模块可以用来检测后端服务的健康状态，如果后端服务器不可用，则所有的请求不转发到这台服务器 upstream_check_module模块是第三方模块，并不是Nginx提供的 模块地址 https://github.com/yaoweibin/nginx_upstream_check_module
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
