Linux进程间通信的方式： 管道（Pipe）、信号（Signal）、消息队列（Message）、共享内存（Share Memory）、套接字（Socket、中断 Binder： Binder 通信机制是在OpenBinder的基础上实现的，采用CS通信方式。 OpenBinder是一种进程间通信机制，它最初是由Be公司开发的，后来由Palm公司接手开发和维护，最后Google公司对其进行改造，并应用在Android系统中。
传统的 Linux 操作系统的标准 I/O 接口是基于数据拷贝操作的，即 I/O 操作会导致数据在操作系统内核地址空间的缓冲区和应用程序地址空间定义的缓冲区之间进行传输。这样做最大的好处是可以减少磁盘 I/O 的操作，因为如果所请求的数据已经存放在操作系统的高速缓冲存储器中，那么就不需要再进行实际的物理磁盘 I/O 操作。但是数据传输过程中的数据拷贝操作却导致了极大的 CPU 开销，限制了操作系统有效进行数据传输操作的能力。
作者：mosun，腾讯 PCG 后台开发工程师 一、虚拟内存 1.1 虚拟内存引入 我们知道计算机由 CPU、存储器、输入/输出设备三大核心部分组成，如下： CPU 运行速度很快，在完全理想的状态下，存储器应该要同时具备以下三种特性： 速度足够快：这样 CPU 的效率才不会受限于存储器； 容量足够大：容量能够存储计算机所需的全部数据； 价格足够便宜：价格低廉，所有类型的计算机都能配备； 然而，出于成本考虑，当前计算机体系中，存储都是采用分层设计的，常见层次如下： 上图分别为寄存器、高速缓存、主存和磁盘，
本文列举四个比较经典的 Linux 收包引擎，如果还有其他你觉得ok的可以留言。这四个分别是：
假设B复制了A，当修改A时，看B是否会发生变化。如果B也跟着变了，说明这是浅拷贝；如果B没变，那就是深拷贝。
本文我们将介绍如何对离线的系统进行升级或者更新，本方法对基于 Debian 的系统均有效。这一次我们会更新、升级整个操作系统。这个方法在你的主机没有网络连接，或者网络速度很慢时，十分有用。
这篇文章是对 Linux 内存相关问题的集合，工作中会有很大的帮助。关注公号的朋友应该知道之前我写过从内核态到用户态 Linux 内存管理相关的基础文章，在阅读前最好浏览下，链接如下：
零拷贝是一种计算机操作，其中计算机的操作系统减少了在从一个应用程序到另一个或从应用程序到操作系统的数据传输过程中所需的数据复制次数。这种技术尤其在处理大量数据时非常有用，因为它可以显著减少CPU的使用率，减少上下文切换，以及减少数据在系统中的传输时间。
在上一期，我们留下了一个问题：如何通过让专业的人做专业的事，提升虚拟化网元vSwitch的性能？
linux 内存是后台开发人员，需要深入了解的计算机资源。合理的使用内存，有助于提升机器的性能和稳定性。本文主要介绍 linux 内存组织结构和页面布局，内存碎片产生原因和优化算法，linux 内核几种内存管理的方法，内存使用场景以及内存使用的那些坑。从内存的原理和结构，到内存的算法优化，再到使用场景，去探寻内存管理的机制和奥秘。
这本书属于学习Linux内核原理必读推荐书目之一！对Linux内核的设计原理进行了细致的说明，也有具体实现部分的介绍，结合源码能很好的理解Linux内核；
导语 linux 内存是后台开发人员，需要深入了解的计算机资源。合理的使用内存，有助于提升机器的性能和稳定性。本文主要介绍 linux 内存组织结构和页面布局，内存碎片产生原因和优化算法，linux
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
导言 | 本文邀请到腾讯CSIG后台开发工程师kevineluo从文件传输场景以及零拷贝技术深究Linux I/O的发展过程、优化手段以及实际应用。I/O相关的各类优化已经深入到了日常开发者接触到的语言、中间件以及数据库的方方面面。通过了解和学习相关技术和思想，开发者能对日后自己的程序设计以及性能优化上有所启发。 前言 存储器是计算机的核心部件之一，在完全理想的状态下，存储器应该要同时具备以下三种特性：第一，速度足够快：存储器的存取速度应当快于CPU执行一条指令，这样CPU的效率才不会受限于存储器；第二，
作者：kevineluo，腾讯 CSIG 后台开发工程师 本文将从文件传输场景以及零拷贝技术深究 Linux I/O 的发展过程、优化手段以及实际应用。 前言 存储器是计算机的核心部件之一，在完全理想的状态下，存储器应该要同时具备以下三种特性： 速度足够快：存储器的存取速度应当快于 CPU 执行一条指令，这样 CPU 的效率才不会受限于存储器； 容量足够大：容量能够存储计算机所需的全部数据； 价格足够便宜：价格低廉，所有类型的计算机都能配备。 但是现实往往是残酷的，我们目前的计算机技术无法同时满足上述的三个
原文链接：https://blog.csdn.net/dog250/article/details/46666029
存储器是计算机的核心部件之一，在完全理想的状态下，存储器应该要同时具备以下三种特性：
进程是Unix操作系统最基本的抽象之一。一个进程就是处于执行期的程序(目标码存放在某种存储介质上)。但进程并不仅仅局限于一段可执行程序代码(Unix称其为代码段(textsection))。通常进程还要包含其他资源，像用来存放全局变量的数据段(text section)、打开的文件、挂起的信号等，当然还包含地址空间及一个 或几个执行线程(threads of execution)。
a) 如果当前连续内存块足够 realloc 的话，只是将 p 所指向的空间扩大，并返回 p 的指针地址。这个时候 q 和 p 指向的地址是一样的
操作系统作为所有程序的载体，对应用的性能影响是非常重要的。然而计算机各个组件之间的速度，是非常不均衡的。拿CPU和硬盘的速度来说，比兔子和乌龟的速度差别还要大。
DPDK与SR-IOV两者目前主要用于提高IDC（数据中心）中的网络数据包的加速。但是在NFV（网络功能虚拟化）场景下DPDK与SR-IOV各自的使用场景是怎样的？以及各自的优缺点？
Redis是什么？ Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。是NoSql之一，也被称作结构化数据库。 官网:https://redis.io/ 中文官网:http://www.redis.cn/
epoll是一种I/O事件通知机制，是linux 内核实现IO多路复用的一个实现。IO多路复用是指，在一个操作里同时监听多个输入输出源，在其中一个或多个输入输出源可用的时候返回，然后对其的进行读写操作。 epoll有两种工作方式， LT-水平触发 和ET-边缘触发(默认工作方式),主要区别是： LT，内核通知你fd是否就绪，如果没有处理，则会持续通知。而ET，内核只通知一次。 什么是I/O？ 输入输出(input/output)的对象可以是文件(file)， 网络(socket)，进程之间的管道(pipe)。在linux系统中，都用文件描述符(fd)来表示。 什么是事件？ IO中涉及到的行为，建立连接、读操作、写操作等抽象出一个概念，就是事件，在jdk中用类SelectionKey.java来表示，例如：可读事件，当文件描述符关联的内核读缓冲区可读，则触发可读事件（可读：内核缓冲区非空，有数据可以读取）；可写事件，当文件描述符关联的内核写缓冲区可写，则触发可写事件（可写：内核缓冲区不满，有空闲空间可以写入）。 什么是通知机制？ 通知机制，就是当事件发生的时候，则主动通知。通知机制的反面，就是轮询机制。
Compiler: gcc (Ubuntu 7.4.0-1ubuntu1~18.04.1) 7.4.0
传统IO的工作方式是，数据读取和写入是从用户空间和内核空间来回复制，内核空间的数据时通过操作系统层面的IO接口从磁盘读取或写入。
最近在读一本<<软件架构设计:大型网站技术架构与业务融合之道>>,它就像是把你平时一点点积累的知识有条理且有深度的整合。一步一步的将读者断断续续的知识接起来。以下文章是记录书本中的一些知识并加以拓展。
操作系统对内存的使用是按段的，例如: 我们编写的一个程序被操作系统加载到内存是按照数据段，代码段等形式分段载入。而操作系统自身的代码也是按段载入的，为了确保安全性，我们用户编写的程序是不能直接访问操作系统的相关段的，因此需要给不同段赋予不同的特权级。
本章分为两节，第一节介绍数据平面开发套件DPDK（Data Plane Development Kit）的基础知识，第二节介绍DPDK盒子的使用方法。 一、DPDK简介 本节首先介绍DPDK出现的行业背景，然后介绍DPDK概述、DPDK关键技术、DPDK开源代码，最后介绍DPDK Lib库。 1.1 DPDK背景 在过去10年里，以太网接口技术也经历了飞速发展。从早期主流的10Mbit/s与100Mbit/s，发展到千兆网（1Gbit/s）。到如今，万兆（10Gbit/s）网卡技术成为数据中心服务器的主流
上一篇所说的micr-batch 其实主要是针对producer 来实现的，Kafka整体吞吐量高可不只是依赖于micr-batch这一点，还有broker端及consumer端。
作为一个计算机底层小白，在了解一个知识点的时候时常需要恶补很多基础知识。 本文记录在了解LMDB过程中接触的知识点。
oracle各个版本间的主要技术更新 oracle 8 增加数据库创建和存储对象 oracle 8i 整体性能提升 oracle9i 实施应用集群 oracle 10g 支持网格计算 oracle 11g 自我调整 自我管理 oracle后缀中的字母含义： i : 包含internet部署的新功能 g: 专注于新兴的网格计算模型 c: 云服务 cloud oracle中数据库与实例的概念 数据库：信息的物理存储。数据库是物理的，由存储在磁盘中的文件组成 实例：服务器上运行的软件，提供了对数据库的信息的访问
自从 cpu及内存后，GPU 这个词对于 PC 性能测试者也不陌生了，什么 3Dmax，安兔兔之类的第三方软件让 GPU 在移动端性能测试领域都知晓，但对于应用的 GPU 该如何来测试呢，我们先引入几个名词：
前一段时间研究了大规模日志流高吞吐并行存储，通过深入研究Kafka的底层存储机制。我们发现Kafka的Zero-Copy零拷贝技术采用的是Java底层FileTransferTo方法，后期我们尝试了对TransferTo性能及其并行性能进行测试。以及后面在Kafka上面实现了并行TransferTo方法，并应有到了Apache Kafka系统中。
昨晚读了一篇Paper：https://penberg.org/parakernel-hotos19.pdf
下面操作在linux环境下完成。如果您的电脑没有虚拟机环境，可以参考VMware软件下载（含秘钥）.zip_免费高速下载|百度网盘-分享无限制 (baidu.com)配置。这里我们部署三台虚拟机环境，使用xshell工具对其进行统一的操作。关于使用xshell的原因和安装使用方法可用参考博客：XShell的安装和使用 - 简书 (jianshu.com)。
一. linux内核简介 1. linux简介 1.1 unix的特点 unix很简洁，仅提供几百个系统调用，并有非常明确的设计目的 unix所有东西都当作文件对待，这种抽象使对数据和设备都通过一套相同的系统调用接口进行 内核用C语言编写，移植能力很强 进程创建迅速，独特的fork调用 提供了简洁但是稳定的进程间通讯原语 1.2 unix和linux linux克隆unix，但不是unix linux借鉴了unix很多的设计，并且实现了 unix的api linux没有直接使用unix的源代码，但完整表达了
目前，有大量的网络应用在处理数据包的时候只需要处理数据包头，而不会操作数据负载部分，例如防火墙、TCP/IP协议栈和软件交换机。对这类网络应用而言， 包头处理产生的开销（称为“per-packet overhead”）占了整体开销的大部分。因此，如何减少包头处理开销是优化这类应用性能的关键。
运维工程师（Operations）是负责维护并确保整个服务的高可用性，同时不断优化系统架构提升部署效率、优化资源利用率提高整体的ROI的专业人员。他们的基本职责是负责服务的稳定性，确保服务可以7*24H不间断地为用户提供服务。
3、将公钥加入到Github账户信息Account Settings->SSH Key
引言 传统的 Linux 操作系统的标准 I/O 接口是基于数据拷贝操作的，即 I/O 操作会导致数据在操作系统内核地址空间的缓冲区和应用程序地址空间定义的缓冲区之间进行传输。这样做最大的好处是可以减少磁盘 I/O 的操作，因为如果所请求的数据已经存放在操作系统的高速缓冲存储器中，那么就不需要再进行实际的物理磁盘 I/O 操作。但是数据传输过程中的数据拷贝操作却导致了极大的 CPU 开销，限制了操作系统有效进行数据传输操作的能力。 零拷贝（ zero-copy ）技术可以有效地改善数据传输的性能，在内核驱动程序（比如网络堆栈或者磁盘存储驱动程序）处理 I/O 数据的时候，零拷贝技术可以在某种程度上减少甚至完全避免不必要 CPU 数据拷贝操作。
Linux系统是虚拟内存系统，虚拟内存并不是真正的物理内存，而是虚拟的连续内存地址空间。虚拟内存又分为内核空间和用户空间，内核空间是内核程序运行的地方，用户空间是用户进程代码运行的地方，只有内核才能直接访问物理内存并为用户空间映射物理内存(MMU)。内核会为每个进程分配独立的连续的虚拟内存空间，并且在需要的时候映射物理内存，为了完成内存映射，内核为每个进程都维护了一张页表，记录虚拟地址与物理地址的映射关系，这个页表就是存在于MMU中；用户进程访问内存的时候，通过页表把虚拟内存地址转换为物理内存地址进而访问数据；其实对于用户进程而言，虚拟内存就是内存一般的存在(当作内存看待就好)。这样的设计可以把用户程序和系统程序分开，互不影响；内核可以对所有的用户程序进行管理，比如限制内存滥用等
高速缓存：可以保存数据拷贝的高速内存。高速缓存拷贝的访问要比原始数据访问更为高效。
http://blog.csdn.net/jnu_simba/article/details/11759809
注：本分类下文章大多整理自《深入分析linux内核源代码》一书，另有参考其他一些资料如《linux内核完全剖析》、《linux c 编程一站式学习》等，只是为了更好地理清系统编程和网络编程中的一些概
一、initramfs是什么 在2.6版本的linux内核中，都包含一个压缩过的cpio格式的打包文件。当内核启动时，会从这个打包文件中导出文件到内核的rootfs文件系统，然后内核检查rootfs中是否包含有init文件，如果有则执行它，作为PID为1的第一个进程。这个init进程负责启动系统后续的工作，包括定位、挂载“真正的”根文件系统设备（如果有的话）。如果内核没有在rootfs中找到init文件，则内核会按以前版本的方式定位、挂载根分区，然后执行 /sbin/init程序完成系统的后续初始化工作。 这个压缩过的cpio格式的打包文件就是initramfs。编译2.6版本的linux内核时，编译系统总会创建initramfs，然后把它与编译好的内核连接在一起。内核源代码树中的usr目录就是专门用于构建内核中的initramfs的，其中的initramfs_data.cpio.gz文件就是initramfs。缺省情况下，initramfs是空的，X86架构下的文件大小是134个字节。
这是向MIPS架构移植软件的问题系列之第二篇。上一篇《MIPS架构深入理解8-向MIPS架构移植软件之大小端问题》中，我们讨论了大小端对于移植代码的影响。那么本文，我们再从Cache理解一下对于移植代码的影响，尤指底层代码或操作系统代码。
在日常开发中一些看似司空见惯的问题上，我觉得可能大多数人其实并没有真正理解，或者理解的不够透彻。不信我们来看以下一段简单的读取文件的代码：
1. 如果没有fork创建子进程的步骤，无论是运行进程还是将运行结果重定向到log.txt文件，两者输出结果都是相同的，均为4条打印信息
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
