最近要给团队做一个长期的内部分享，主题就是Linux内核中数据包的处理流程。 这几天抽空画了一部分流程图。...内核网络模块非常复杂，完整的流程图需要慢慢完善，以后会借内部分享的机会不断完善这个流程图，欢迎大家指正和提出宝贵意见。...我本人对网卡驱动兴趣不大，但skb path又无法脱离网卡驱动，这里选择了Intel的e1000网卡驱动：原因有二，一是Intel网卡驱动是内核里面写得最清楚，可读性最高的；二是e1000是Intel里面比较简单的驱动
当向外界主机发送数据时，在它从网卡流入后需要对它做路由决策，根据其目标决定是流入本机数据还是转发给其他主机，如果是流入本机的数据，则数据会从内核空间进入用户空间(被应用程序接收、处理)。...但Linux主机默认未开启ip_forward功能，这使得数据包无法转发而被丢弃。...Linux主机和路由器不同，路由器本身就是为了转发数据包，所以路由器内部默认就能在不同网卡间转发数据包，而Linux主机默认则不能转发。...如下图： 另外，IP地址是属于内核的(不仅如此，整个tcp/ip协议栈都属于内核，包括端口号)，只要能和其中一个地址通信，就能和另一个地址通信(这么说是不准确的，即使地址属于内核，但还存在一个检查数据包是否丢弃的问题...，结果将是通的，因为地址属于内核，从eth1进来的数据包被内核分析时，发现目标地址为本机地址，直接就回应192.168.100.22，回应数据包继续从eth1出去。
本系列文章1-4，来源于陈莉君老师公众号“Linux内核之旅” 1....前言 本文首先从宏观上概述了数据包发送的流程，接着分析了协议层注册进内核以及被socket的过程，最后介绍了通过 socket 发送网络数据的过程。 2....family）系统 协议族处理：数据穿过协议层，这一过程（在许多情况下）会将数据（data）转换成数据包（packet） 数据穿过路由层，这会涉及路由缓存和 ARP 缓存的更新；如果目的 MAC 不在...作为结果之一，会看到内核中的所有系统调用都带 sys_前缀。 sendto 代码会先将数据整理成底层可以处理的格式，然后调用 sock_sendmsg。...sendmsg()函数作为分界点，处理逻辑从 AF_INET 协议族通用处理转移到具体的 UDP 协议的处理。 5. 总结 了解Linux内核网络数据包发送的详细过程，有助于我们进行网络监控和调优。
缺页中断处理一般流程： 1.硬件陷入内核，在堆栈中保存程序计数器，大多数当前指令的各种状态信息保存在特殊的cpu寄存器中。 2.启动一个汇编例程保存通用寄存器和其他易丢失信息，以免被操作系统破坏。...linux内核对缺页异常的处理流程很复杂，但是基本思想和上述流程差不多。...下面看linux的基本处理流程： 内核处理缺页异常的主函数就是do_page_fault: /* * 缺页异常处理函数 * pt_regs 各个寄存器的值 * error_code,由硬件产生:...下面看内核态缺页异常具体的处理函数，内核态分为当前进程的页表内核映射部分没更新到最新的，此时需要进行页表同步，调用vmalloc_fault /* * 处理vmalloc异常或者模块区域映射异常 *...内核的缺页异常处理有了一个比较深入的理解，当然还有很多细枝末节没分析到，但是整个处理逻辑已经分析完了。
原文：linux内核启动流程 本文以Linux3.14版本源码为例分析其启动流程。各版本启动代码略有不同，但核心流程与思想万变不离其宗。 内核映像被加载到内存并获得控制权之后，内核启动流程开始。...得到内核入口函数为 stext（linux/arch/arm/kernel/head.S） 内核引导阶段 ENTRY(stext) 。 。 。...bl __lookup_processor_type @ r5=procinfo r9=cpuid //处理器是否支持 movs r10, r5...kernel_init进程处发起 cpu_startup_entry(CPUHP_ONLINE); } kernel_init函数将完成设备驱动程序的初始化，并调用init_post函数启动用户进程 部分书籍介绍的内核启动流程基于经典的...以下为内核启动流程图： 发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/163595.html原文链接：https://javaforall.cn
为了统一处理这些硬件，Linux内核使用了面向对象的编程思想，构建了一个PIC对象，包含PIC名称和7个PIC标准方法。...多核系统中的IRQ分配 我们知道SMP的全称是对称多处理系统，这意味，Linux内核不应该对一个CPU有任何偏向。于是，内核在CPU之间采用循环法（round-robin）分配IRQ。...因此，Linux2.6内核使用一个特定的内核线程叫kirqd进行纠正IRQ的自动分配（如果有必要的话）。...设置了IRQ_INPROGRESS 多核系统中，此时可能另外一个CPU可能正在处理先前发生的相同中断。Linux对此的处理方式就是延后处理。...比如我们以Linux4.4.203内核对于中断的处理为例，与上面的处理过程进行比较，理解其主要变化。 调用do_IRQ函数。其入口位于entry_32.S文件中，是C语言实现的。
异常处理的基本过程 当异常发生时，Linux内核给造成异常的进程发送一个信号，告知其发生了异常。...但是，除了这些常规的异常以外，Linux有时候会特意利用某些CPU异常管理硬件资源。...异常处理程序一般会执行下面三步： 保存内核态堆栈中的大部分寄存器内容（这一部分一般是汇编语言编写）； 处理异常（一般使用C语言函数实现）； 退出异常处理程序（调用ret_from_exception()...异常处理程序基本上都是下面这样的代码：（所有的异常和中断处理函数都可以在linux\arch\x86\entry\entry_32.S文件中找到） handler_name: pushl $0...如果进程是在用户态，则信号交给进程自身的信号处理程序（如果存在的话）；如果是在内核态，则内核通常会杀死进程。 最后异常处理程序跳转到ret_from_exception()函数地址处，从异常状态返回。
Linux 支持流量控制（traffic control）的功能，此功能允许系统管理员控制数据包如何从机器发送出去。流量控制系统包含几组不同的 queue system，每种有不同的排队特征。...可以将 qdisc 视为调度程序， qdisc 决定数据包的发送时间和方式。 Linux 上每个 device 都有一个与之关联的默认 qdisc。...当 flow 的所有 outstanding（需要确认的）数据包都已确认时，TCP 协议层将设置此标志。当发生这种情况时，内核可以为此数据包选择不同的 TX 队列。...2.2.1 Transmit Packet Steering (XPS) 发送数据包控制（XPS）是一项功能，允许系统管理员配置哪些 CPU 可以处理网卡的哪些发送 队列。...这允许 运行 qdisc 的程序在处理数据包的同时，与较少量的程序竞争第二个主锁。随着竞争者数量 的减少，这种技巧增加了吞吐量。
尽管每个进程独立拥有3GB的可访问地址空间，但是这些资源都是内核开出的空头支票，也就是说进程手握着和自己相关的一个个虚拟内存区域(vma)，但是这些虚拟内存区域并不会在创建的时候就和物理页框挂钩，由于程序的局部性原理...，程序在一定时间内所访问的内存往往是有限的，因此内核只会在进程确确实实需要访问物理内存时才会将相应的虚拟内存区域与物理内存进行关联(为相应的地址分配页表项，并将页表项映射到物理内存)，也就是说这种缺页异常是正常的...，而第一种缺页异常是不正常的，内核要采取各种可行的手段将这种异常带来的破坏减到最小。...缺页异常的处理函数为do_page_fault()，该函数是和体系结构相关的一个函数，缺页异常的来源可分为两种，一种是内核空间(访问了线性地址空间的第4个GB)，一种是用户空间(访问了线性地址空间的0~...3GB)，以X86架构为例，先来看内核空间异常的处理。
硬件中断 当一个硬件设备想要告诉 CPU 某一需要处理的数据已经准备好后（例如：当键盘被按下或者一个数据包到了网络接口处），它将会发送一个中断请求（IRQ）来告诉 CPU 数据是可用的。...接下来会调用在内核启动时设备驱动注册的对应的中断服务程序（ISR）。 软件中断 当你在播放一个视频时，音频和视频是同步播放是相当重要的，这样音乐的速度才不会变化。...你可以在 Linux 基金会的文章中找到更多相关信息：面向嵌入式开发者的实时 Linux 介绍。 异常 异常(exception)是你可能之前就知道的中断类型。...Linux 中定义了从 0 到 256 的 IRQ 向量。...其中一些在 Linux 内核源树中的Linux IRQ 向量布局中指定。 如果要实时获取该表，请运行如下命令： watch -n1 "cat /proc/interrupts"
由之前的文章 linux内核启动流程分析 - efi_stub_entry 可知，rsi中存放的是boot_params的地址，而BP_kernel_alignment又是boot_params中的kernel_alignment...init_size值是大于bzImage文件的大小的，因为bzImage是一个压缩过的内核，如果我们想要执行到真正的内核，还要在内存中对bzImage解压缩，init_size指定的多余的空间就是为了解压缩用的...当我们要把bzImage移动到init_size的结尾部分时，其实只要移动bzImage里的compressed部分就好，因为这里有我们真正需要解压缩的内核及其相关代码。
定义函数: int stat(const char *file_name, struct stat *buf);
上次我们写过了 Linux 启动详细流程，这次单独解析 start_kernel 函数。...原来的文章如下： Linux 内核入口分析 手把手教你分析 Linux 启动流程 如下请参考注释： Linux kernel-6.1/init/main.c asmlinkage __visible void...set_task_stack_end_magic(&init_task);/*设置任务栈结束魔术数，用于栈溢出检测*/ smp_setup_processor_id();/*跟 SMP 有关(多核处理器...)，设置处理器 ID*/ debug_objects_early_init();/* 做一些和 debug 有关的初始化 */ init_vmlinux_build_id(); cgroup_init_early...内核使用 irq_desc 来描述一个中断。
上一篇文章 linux内核启动流程分析 - efi_stub_entry 中，为了叙述方便，我们只是粗略的讲了下efi_main函数，这里我们再具体看下。 ?...有关boot_params的创建及其hdr的初始化，我们在 linux内核启动流程分析 - efi_pe_entry 中有讲到，这里就不再赘述。 继续看该函数的其余部分。 ?...而710行中的image_offset是kernel在内存的起始地址到compressed部分起始地址（startup_32的地址）的偏移量，这个在 linux内核启动流程分析 - efi_pe_entry...linux内核构建结束后，最终生成的文件是 arch/x86/boot/bzImage，这其实是个压缩过的内核，在kernel启动过程中，还要在内存中对内核进行解压，进而得到真正的内核。...714到717行是一些条件判断，在这些条件下，需要拷贝内存中的内核到合适的位置上。
本文以centos7 3.10.0-957.21.3.el7.x86_64内核为例介绍linux内核nfs v4.0 处理状态为RPC_TASK_ASYNC的async rpc task的工作机制。...抓取rpc调用的相关perf event 内核rpc处理关键函数调用了trace event，因此可以通过perf event来跟踪rpc task的执行流程 # perf list | grep sunrpc...rpc_async_schedule后 添加到rpciod_workqueue工作队列, 然后唤醒内核线程处理rpciod_workqueue工作队列上的async rpc task 工作任务处理函数rpc_async_schedule...rpc_async_schedule，并且会唤醒内核线程来调用执行 该工作任务处理函数rpc_async_schedule。...当rpc task收到server端的响应后会被从xprt_pending等待队列中移除， 并唤醒内核线程处理关联该rpc task的工作任务处理rpc_async_schedule函数
前言 本文分享了Linux内核网络数据包发送在UDP协议层的处理，主要分析了udp_sendmsg和udp_send_skb函数，并分享了UDP层的数据统计和监控以及socket发送队列大小的调优。...而辅助消息允许在每个数据包级别设置 TTL 和 TOS 值。Linux 内核会使用一个数组将 TOS 转换为优先级，后者会影响数据包如何以及何时从 qdisc 中发送出去。...如果为空，意味着没有 cork 数据等待处理，因此调用 ip_setup_cork 来设置 corking 一旦处理了上述条件，就调用__ip_append_data 函数，该函数包含用于将数据处理成数据包的大量逻辑...支持该特性的网卡可以处理数据 被分散到多个 buffer 的数据包;内核不需要花时间将多个缓冲区合并成一个缓冲区中。...接下来看看如何在 Linux 内核中监视和调优 UDP 协议层。 4.
接上一篇文章 linux内核启动流程分析 - efi_pe_entry，我们继续看efi_stub_entry函数。 ? 该函数比较特殊，是用汇编写的，下面我们来逐行分析下。...对于c语言来说，我们其实可以不用关心这个，因为编译器比如gcc等会将我们写的c语言，转化成符合上述calling convention的汇编代码，一切都在gcc里帮我们处理好了。...那对于x64的linux内核来说，calling convention具体是怎么约定的呢？
最近打算写一个系列文章，主要讲linux内核的启动流程。 网上类似标题的文章很多，但大都是从start_kernel讲起，我觉得这是远远不够的。...linux内核的启动流程涉及的东西非常多，而且偏硬件，比较难理解，写这个系列其实还是挺有难度的，我会尽量讲的透彻一点，尽量不敷衍每个细节。 好，那今天我们就从如何找到efi stub的入口函数讲起。...linux内核。...该方式为我们研究内核启动降低了不少难度，我们不用再去看类似于grub等boot loader的代码了，从开机到启动完毕的所有流程代码，在内核里都可以找到，完美。...或者说，在 uefi 平台上，以 efi stub形式启动内核时，开机后内核执行的第一个方法就是该方法。 以这里为起点，我们就可以开始探索linux内核的完整启动流程了。
前言 Linux内核网络 UDP 协议层通过调用 ip_send_skb 将 skb 交给 IP 协议层，本文通过分析内核 IP 协议层的关键函数来分享内核数据包发送在 IP 协议层的处理，并分享了监控...出于讨论目的，我们假设 nf_hook 返回 1，表示调用者（在这种情况下是 IP 协议层）应该自己发送数据包。 3.2 目的（路由）缓存 dst 代码在 Linux 内核中实现协议无关的目标缓存。...以上两种情况，最后都会到 dev_queue_xmit，它将 skb 发送给 Linux 网络设备子系统，在它 进入设备驱动程序层之前将对其进行更多处理。...总结 Linux内核网络数据包发送时，主要用到 ip_send_skb、 ip_local_out、ip_output、ip_finish_output、ip_finish_output2、 dst_neigh_output...等函数，本文通过分析这些函数来分享Linux内核数据包发送在 IP 层的处理，并对 IP 层进行了数据监控。
接上一篇文章 linux内核启动流程分析 - efistub的入口函数，我们继续看efi_pe_entry这个函数。 ?...由上一篇文章我们知道，bzImage是由build.c这个工具，将setup部分和compressed部分顺序拼接在一起的，并没有做什么特殊处理。...既然build.c只是将setup和compressed部分顺序拼接，并没有做地址的转换处理，那理应efi_pe_entry函数里使用的startup_32函数的地址就是0。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
