DPDK是C语言写的，编译需要gcc，DPDK自带很多工具脚本，会调用到其他命令行工具 numactl numactl-devel pciutils net-tools。
前面章节我们简单的介绍了dperf的相关基础概念，本章节我们将要讲述如何编译和使用dperf这款DPDK的性能压测工具。
Gatekeeper是目前第一个开源的DoS拒绝服务攻击防护系统。该系统被设计成可以扩展到任何峰值的带宽，因此它可以抵御目前的DoS拒绝服务攻击攻击。尽管Gatekeeper的体系结构在地理上是分布式的，但描述所有传入流量的网络策略必须是集中式的。这种集中化策略使网络运营商能够利用在很高延迟下不可行的分布式算法（例如分布式数据库），并同时抵御DoS拒绝服务攻击。
以前经常遇到2C3G的vmware续集上环境上安装上vpp后，能直接运行，而每次当系统重启后总是报内存不足的问题。当把系统内存调整到4G后，就能正常运行了。一直也不清楚原因。最近工作中遇到一个问题在2c2g的环境上跑vpp，一段时间后，总是报内存不足。后来查询发现hugepage内存大小是1G，但是只使用了不到三分之一的大页内存。
Linux处理Packets主逻辑 系统接受数据包的过程 当网卡收到第一个包时候,通过DMA把这个包发送给接受队列(rx) 系统通过中断的方式通知新数据包的到来,同时也需要把数据包传递给内核的buffer(每个包一个buffer,sk_buff struct).一个数据包到来会触发多次的中断，内核处理完毕后，数据包再次传输到用户态空间 瓶颈分析 内核在处理很多包的时候，会消耗非常多的资源，同时也会触发很多次中断，这会严重影响系统处理数据包的性能 内核的sk_buff的设计是为了内核协议栈兼容多个协议。因此所
最近有同事问了几个关于大内存页(HugePage)的问题，就顺便复习并拓展的看了下相关的内容，根据自己的理解做个简单总结，如有纰漏欢迎指正。
在 Linux 下 free 命令可以看出系统当前内存状况，附上 -k , -m , -g 可以分别输出对应单位的内存状况：
PBLE: Physical Buffer List Entry 物理缓冲区列表条目
前面提到了虚拟内存需要映射物理内存才能使用，这个映射关系被保存在内存中的页表（Page Table）。现代 CPU 架构中一般有 TLB （Translation Lookaside Buffer，翻译后备缓冲，也称为页表寄存器缓冲）存在，在里面保存了经常使用的页表映射项。TLB 的大小有限，一般 TLB 如果只能容纳小于 100 个页表映射项。 我们能让程序的虚拟内存对应的页表映射项都处于 TLB 中，那么能大大提升程序性能，这就要尽量减少页表映射项的个数：页表项个数 = 程序所需内存大小 / 页大小。我们要么缩小程序所需内存，要么增大页大小。我们一般会考虑增加页大小，这就大页分配的由来，JVM 对于堆内存分配也支持大页分配，用于优化大堆内存的分配。那么 Linux 环境中有哪些大页分配的方式呢？
Facebook的Roman Gushcin发送的这个patch把Gigantic巨页（SIZE：1GB）与CMA进行了一个完美的结合：
若上面的操作是在vmware上操作，需要加上上面额外的参数pmu=off，为了规避vmware的bug。若不加会报下面的错误：
VFIO(Versatile Framework for userspace I/O) : 用户空间 I/O 的多功能框架
/proc/meminfo是了解Linux系统内存使用状况的主要接口，我们最常用的”free”、”vmstat”等命令就是通过它获取数据的 ，/proc/meminfo所包含的信息比”free”等命令要丰富得多，然而真正理解它并不容易，比如我们知道”Cached”统计的是文件缓存页，manpage上说是“In-memory cache for files read from the disk (the page cache)”，那为什么它不等于[Active(file)+Inactive(file)]？AnonHugePages与AnonPages、HugePages_Total有什么联系和区别？很多细节在手册中并没有讲清楚，本文对此做了一点探究。
这篇文章中介绍下如何使用 JDK 自带工具来分析和定位 Java 程序的问题。 使用 JDK 自带工具查看 JVM 情况 JDK 自带了很多命令行甚至是图形界面工具，帮助我们查看 JVM 的一些信息。比如，在我的机器上运行 ls 命令，可以看到 JDK 8 提供了非常多的工具或程序： 图片 接下来，我会与你介绍些常用的监控工具。你也可以先通过下面这张图了解下各种工具的基本作用： 图片 为了测试这些工具，我们先来写一段代码：启动 10 个死循环的线程，每个线程分配一个 10MB 左右的字符串，然后休眠 1
我们查看文件属性时可以看到很多文件和大小是以kb来显示的，很多朋友都知道电脑中文件大小、容量等采用的是字节、kb、MB、GB
JVM 内存究竟包括哪些，可能网上众说纷纭。我们这里由官方提供的一个查看 JVM 内存占用的工具引入，即 Native Memory Tracking。不过要注意的一点是，这个只能监控 JVM 原生申请的内存大小，如果是通过 JDK 封装的系统 API 申请的内存，是统计不到的，例如 Java JDK 中的 DirectBuffer 以及 MappedByteBuffer 这两个（当然，对于这两个，我们后面也有其他的办法去看到当前使用的大小。当然xigao dog 啥都不会）。以及如果你自己封装 JNI 调用系统调用去申请内存，都是 Native Memory Tracking 无法涵盖的。这点要注意。
序 本文主要研究一下jvm的CompressedClassSpace java-on-linux-for-devs-and-ops-2-638.jpg CompressedClassSpace java8移除了permanent generation，然后class metadata存储在native memory中，其大小默认是不受限的，可以通过-XX:MaxMetaspaceSize来限制 如果开启了-XX:+UseCompressedOops及-XX:+UseCompressedClassesPo
本文介绍如何在腾讯云主机上快速部署 F-Stack HTTP 服务。首先，介绍了 F-Stack 的基本概念和架构。然后，详细说明了如何在腾讯云主机上安装和配置 F-Stack，包括编译和安装 DPDK、配置网络、编译和安装 Nginx、配置和启动 F-Stack 等步骤。最后，介绍了如何配置和启动 Nginx，以及如何进行性能优化和调试。
我们有一个线上的项目，刚启动完就占用了使用 top 命令查看 RES 占用了超过 1.5G，这明显不合理，于是进行了一些分析找到了根本的原因，下面是完整的分析过程，希望对你有所帮助。
最近的OpenStack nova版本增加了对实时实例的支持，即提供实时应用所需的确定性和性能保证的实例。这项工作在OpenStack Ocata发行版中最终标记为完成。
前段时间在vpp交流群讨论bihash在默认条件下初始化的时候使用的是系统内存，还是大页内存。讨论也修正我的知识库，对bihash的理解也还停留在20.09版本之前。
前段时间有哥们在vpp群里分享了基于VPP的src/plugins/linux-cp/插件复制的一个临时插件lcpng，作者做了很多方面的验证和修改，并且后期计划合入到vpp主分支上去。本文主要基于ubuntu20.4.3lts系统搭建环境，验证一下基于lcpng插件和frr bgpd配合测试。
注: 若想添加为系统服务，使用systemctl指令来控制服务的启停，可以参考官方文档 (opens new window)。如下（个人觉得没必要配置）：
Hey，大家好，我是码农星期八，终于到了Go中最牛掰的地方，并发，这也是Go为什么能快速火的原因。
透明巨页(Transparent hugepage, THP)特性自动化了创建和管理巨页的任务。内核守护进程(khugepage)在后台运行，将空闲页面拼接在一起形成/free大页面。
vpp注册字节mempool 操作函数，后续创建mempool时，会通过name=“vpp”，索引到mempool ops的索引，设置操作入队与出队的操作接口。所以这里并不会使用dpdk的ring队列（应该是从vpp-19.04版本伴随着dpdk增加了ops操作接口后，修改成这样的。）
熊军（老熊） 云和恩墨西区总经理 Oracle ACED，ACOUG核心会员 PC Server发展到今天，在性能方面有着长足的进步。64位的CPU在数年前都已经进入到寻常的家用PC之中，更别说是更高端的PC Server；在Intel和AMD两大处理器巨头的努力下，x86 CPU在处理能力上不断提升；同时随着制造工艺的发展，在PC Server上能够安装的内存容量也越来越大，现在随处可见数十G内存的PC Server。正是硬件的发展，使得PC Server的处理能力越来越强大，性能越来越高。而在稳定性
QNSM(IQIYI Network Security Monitor) 是一个旁路部署的全流量，实时，高性能网络安全监控引擎，基于DPDK开发，集成了DDOS检测和IDPS模块。
用户经常因为OOM killer造成数据库崩溃问题来找我们寻求帮助。Out Of Memory killer会杀死PG进程，并且是我们遇到的数据库崩溃问题中首要原因。主机内存不足的原因可能有多种，最常见的有：
free 命令可以显示系统已用和空闲的内存情况。包括物理内存、交互区内存(swap)和内核缓冲区内存（buffer）。共享内存将被忽略。在Linux系统监控的工具中，free命令是最经常使用的命令之一。
在 Linux 中大页分为两种： Huge pages (标准大页) 和 Transparent Huge pages(透明大页)。
参考MOS的文档Doc ID 361468.1进行配置后，再次查询内存里的Hugepage如下：
" 如果你怀念 SDN 领域丰富的网络能力却在云原生领域苦苦追寻而不得，那么 Kube-OVN 将是你的最佳选择。本系列我们将逐个介绍Kube-OVN高级功能的工作原理及使用路径，帮你尽快征服容器网络难题！"
文章目录 一、查看 x86_64 架构体系内存分布 二、/proc/meminfo 重要字段解析 一、查看 x86_64 架构体系内存分布 ---- 执行 cat /proc/meminfo 命令 , 可以查看 " x86_64 架构体系内存分布 " ; 执行结果参考 : root@ubuntu:~/kernel/linux-5.6.14# cat /proc/meminfo MemTotal: 4001788 kB MemFree: 2312852 kB MemAvaila
内存是计算机的重要资源，虽然今天大多数的服务对内存的需求都没有那么高，但是数据库以及 Hadoop 全家桶这些服务却是消耗内存的大户，它们在生产环境动辄占用 GB 和 TB 量级的内存来提升计算的速度，Linux 操作系统为了更好、更快地管理这些内存并降低开销引入了很多策略，我们今天要介绍的是 HugePages，也就是大页[^1]。
概述 数据平面开发套件(DPDK)可提供高性能的数据包处理库和用户空间驱动程序。自Open vSwitch(OVS)2.4版 (http://openvswitch.org/releases/NEWS-2.4.0)起，我们将可在OVS中使用DPDK优化的vHost路径。OVS自2.2版起开始提供DPDK支持。 将DPDK与OVS结合使用可为我们带来诸多性能优势。与其他基于DPDK的应用相同，我们可以在OVS中看到网络包吞吐量显著提升，延迟显著降低。 此外，DPDK包处理库还对OVS内的多个性能热点区域进行了
本文转载来源于个人博客--https://blog.csdn.net/sjin_1314
本文列举四个比较经典的 Linux 收包引擎，如果还有其他你觉得ok的可以留言。这四个分别是：
在管理 Linux 内核时，开发者常常面临着很多问题，比如定位 TCP 协议栈中导致数据包丢失的环节，这些问题可能需要专业的知识和经验才能解决。还有些场景缺乏必要的工具来解决问题，甚至有时即使有相应的工具，也很难使用。
相对传统的基于内核的网络数据处理，dpdk 对从内核层到用户层的网络数据流程进行了重大突破，我们先看看传统的数据流程和 dpdk 中的网络流程有什么不同。
系统内存是硬件系统中必不可少的部分，定时查看系统内存资源运行情况，可以帮助我们及时发现内存资源是否存在异常占用，确保业务的稳定运行。
strace会追踪程序运行时的整个生命周期， 输出每一个系统调用的名字、参数、返回值和执行所消耗的时间等，是高级运维和开发人员排查问题的杀手铜。https://www.cnblogs.com/fadewalk/p/10847068.html
随着计算需求规模的不断增大，应用程序对内存的需求也越来越大。为了实现虚拟内存管理机制，操作系统对内存实行分页管理。自内存“分页机制”提出之始，内存页面的默认大小便被设置为 4096 字节（4KB），虽然原则上内存页面大小是可配置的，但绝大多数的操作系统实现中仍然采用默认的 4KB 页面。 4KB 大小的页面在“分页机制”提出的时候是合理的，因为当时的内存大小不过几十兆字节，然而当物理内存容量增长到几 G 甚至几十 G 的时候，操作系统仍然以 4KB 大小为页面的基本单位，是否依然合理呢？
https://www.percona.com/blog/why-linux-hugepages-are-super-important-for-database-servers-a-case-with-postgresql/
在介绍 HugePages 之前，我们先来回顾一下 Linux 下 虚拟内存 与 物理内存 之间的关系。
最近一直在做性能压测相关的事情，有公众号的读者朋友咨询有赞的数据库服务器有没有开启huge page，我听说过huge page会对性能有所提升，本文就一探究竟。对过程没有兴趣的可以直接看结论。
在 vhost_net 的方案中，由于 vhost_net 实现在内核中，guest 与 vhost_net 的通信，相较于原生的 virtio 方式性能上有了一定程度的提升，从 guest 到 kvm.ko 的交互只有一次用户态的切换以及数据拷贝。这个方案对于不同 host 之间的通信，或者 guest 到 host nic 之间的通信是比较好的，但是对于某些用户态进程间的通信，比如数据面的通信方案，openvswitch 和与之类似的 SDN 的解决方案，guest 需要和 host 用户态的 vswitch 进行数据交换，如果采用 vhost_net 的方案，guest 和 host 之间又存在多次的上下文切换和数据拷贝，为了避免这种情况，业界就想出将 vhost_net从内核态移到用户态。这就是 vhost-user 的实现。
free 命令用于显示内存的使用情况，显示可用和已用物理内存和交换内存的总数，以及内核使用的缓冲区。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
