Linux内核对网络驱动程序使用统一的接口，并且对于网络设备采用面向对象的思想设计。
在深入探讨Linux虚拟网络设备的底层原理之前，重要的是要理解这些设备如何在Linux内核中实现，以及它们如何与操作系统的其他部分交互以提供高效且灵活的网络功能。虚拟网络设备在现代网络架构中发挥着关键作用🔑，特别是在云计算☁️、容器化📦和网络功能虚拟化（NFV）环境中。
1. Node之间的网络是未知的，有可能是物理服务器直接联网，有可能是虚拟机通过VPC互联，也可以是物理服务器以裸金属方式接入VPC；
传统的Linux内核网络协议栈由于更加注重通用性，其网络处理存在着固有的性能瓶颈，随着10G、25G、40G、100G甚至更高速率的网卡出现，这种性能瓶颈变得更加突出，传统内核网络协议栈已经难以满足高性能网络处理的要求。
BPF通过一种软件定义的方式，将内核的行为和数据暴露给用户空间，开发者可以通过在用户空间编写BPF程序，加载到内核空间执行，进而实现对内核行为的灵活管理和控制
最近要给团队做一个长期的内部分享，主题就是Linux内核中数据包的处理流程。
参照官方文档：在 Kubernetes 集群中使用 sysctl | Kubernetes
大家好，今天我们学习一下如何从Elrepo或者源代码来安装最新的Linux内核4.0。代号为‘Hurr durr I'm a sheep’的Linux内核4.0是目前为止最新的主干内核。它是稳定版3.19.4之后发布的内核。4月12日是所有的开源运动爱好者的大日 子，Linux Torvalds宣布了Linux内核4.0的发布，它现在就已经可用了。由于包括了一些很棒的功能，例如无重启补丁(实时补丁)，新的升级驱动，最新的 硬件支持以及很多有趣的功能都有新的版本，它原本被期望是一次重要版本。但是实际上内核4.0并不认为是期望中的重要版本，Linus 表示期望4.1会是一个更重要的版本。实时补丁功能已经集成到了SUSE企业版Linux操作系统上。你可以在发布公告上查看关于这次发布的更多详细内容。
这篇文章我打算从一个初学者的角度开始聊起，让大家了解下我眼里的socket是什么以及socket的原理和内核实现。
在现代计算环境中，尤其是云计算☁️、容器化📦和微服务架构🏗️大行其道的时代，了解和掌握Linux虚拟网络设备变得极为重要。本文将深入探讨Linux虚拟网络设备的世界，带你了解它们是什么、包含哪些类型、为什么需要它们，以及如何在应用开发中充分利用它们。
我相信大家刚开始学网络编程中socket的时候，都跟我一样对书上所讲的socket概念云里雾里的、似懂非懂，很是困扰。
-多年互联网运维工作经验，曾负责过大规模集群架构自动化运维管理工作。 -擅长Web集群架构与自动化运维，曾负责国内某大型金融公司运维工作。 -devops项目经理兼DBA。 -开发过一套自动化运维平台（功能如下）： 1)整合了各个公有云API，自主创建云主机。 2)ELK自动化收集日志功能。 3)Saltstack自动化运维统一配置管理工具。 4)Git、Jenkins自动化代码上线及自动化测试平台。 5)堡垒机，连接Linux、Windows平台及日志审计。 6)SQL执行及审批流程。 7)慢查询日志分析web界面。
目前的 Linux 内核的开发速度是前所未有的，大概每2到3个月就会有一个主要的版本发布。每个发布都带来几个的新的功能和改进，可以让很多人的处理体验更快、更有效率、或者其它的方面更好。
大家对于 TCP 的三次握手应该都比较熟悉了，对于服务端，收到 SYN 包后该怎么处理，收到 Establish 之后又该怎么处理，或者说这些连接放在哪里，其实这也是之前面试问过的问题
上面服务端和客户端都启动以后，看一下node1内核网络状态netstat -natp
看起来，在不同的linux发行版里，bpftool在不同的软件包里，ubuntu 22上，bpftool是linux-tools-generic的一部分，而树莓派里bpftool是一个单独的软件包。
Tethering技术在移动平台上已经运用的越来越广泛了。它能够把移动设备当做一个接入点，其它的设备能够通过Wi-Fi。USB或是Bluetooth等方式连接到此移动设备。在Android中能够将Wifi设为AP模式作为WLAN接入点。从而与其它设备共享Android的互联网连接。Android成为接入点后。就无法通过WLAN连接使用Android的应用程序訪问互联网，但能够通过其它方式如以太网或移动网络訪问互联网。
首先，DPDK和内核网络协议栈不是对等的概念。 DPDK只是单纯的从驱动拿数据，然后组织成数据块给人用，跑在用户态。功能相当于linux的设备无关接口层，处于socket之下，驱动之上。只不过linux协议栈的这部分在核心态。 你说的包处理器，很多时候是不用linux内核协议栈的，而是用专用包处理程序，类似于DPDK加上层应用处理。通常会有些硬件加速器，包处理效率更高些。缺点是一旦用不上某些功能，那些加速器就白费了。而纯软件处理就非常灵活，不过代价就是功耗和性能。 纯DPDK性能非常高，intel自己给出的数据是，处理一个包80时钟周期。一个3.6Ghz的单核双线程至强，64字节小包，纯转发能力超过90Mpps，也就是每秒9千万包。 不知你有没有看出来，80周期是一个非常惊人的数字？正常情况下，处理器访问一下ddr3内存都需要200个周期，而包处理程序所需要操作的数据，是从pcie设备送到ddr内存的，然后再由处理器读出来，也就是说，通常至少需要200周期。为啥现在80周期就能完成所有处理？我查了下文档，发现原因是使用了stashing或者叫direct cache access技术，对于PCIe网卡发过来的包，会存在一个特殊字段。x86的pcie控制器看到这个字段后，会把包头自动塞到处理器的缓存，无序处理器来干预。由于包头肯定是会被读取的，这样相当于提前预测，访问的时间大大缩短。 如果加上linux socket协议栈，比如跑个纯http包反弹，那么根据我的测量，会掉到3000-4000周期处理一个包，单核双线程在2.4Mpps，每秒两百四十万包，性能差40倍。 性能高在哪？关键一点，DPDK并没有做socket层的协议处理，当然快。其他的，主要是使用轮询替代中断，还有避免核心态到用户态拷贝，并绑定核，避免线程切换开销，还有避免进入系统调用的开销，使用巨页等。 还有很关键的一点，当线程数大于12的时候，使用linux协议栈会遇到互斥的瓶颈，用性能工具看的话，你会发现大部分的时间消耗在spin_lock上。解决方法之一是如github上面的fastsocket，改写内核协议栈，使包始终在一个核上处理，避免竞争等。缺点是需要经常自己改协议栈，且应用程序兼容性不够。 另外一个方法是使用虚拟机，每个特征流只在一个核处理，并用虚拟机隔绝竞争，底层用dpdk做转发，上层用虚拟机做包处理，这样保证了原生的linux协议栈被调用，做到完全兼容应用程序。不过这种方法好像还没有人做成开源的，最近似的是dpdk+虚拟交换机ovs的一个项目。 如果你只想要dpdk的高性能加tcp/ip/udp的处理，不考虑兼容性，那么还可以去买商业代码，我看了下供应商的网站介绍，纯转发性能大概在500-1000周期左右一个包。
首先介绍一下自己的来路，我是一个纯粹的开发出身，比较熟悉的开发语言是Java和Python。之前的工作也基本上都是和开发相关，对于云计算仅仅懂得“调用调用API”。 和很多初入云计算和SDN的人一样，随着工作和“云计算”的关系越来越深入，特别是自己加入到电信之后发现对“网络”的要求越来越高。没有任何传统网络基础的我是一脸懵逼，凭借着大学时候学过《计算机网络》的一点基础知识通过很长时间的摸爬滚打有那么一点“感悟”。现在把自己的“感悟”分享出来，希望能对“在路上”的朋友有点帮助。 我先分享一下自己对SDN和做S
大海是我多年老友，六七年前我们因OpenStack而相识，然后一起北上创业。创业结束后，他加入了某大厂，成为一名运维骨干。他做事负责，为人靠谱；勤于学习，从OpenStack运维，到K8S和云原生应用运维，不断更新自己的技术栈；喜欢写代码，笃信“能用代码做的事情就不人工做”，经常说“嗨，你看看我新写的这个工具...”；还喜欢分享，写过不少技术文章，我们也常夜聊技术。技术一直在变，我们对技术的热情不变，我们的友情也不变。
本文列举四个比较经典的 Linux 收包引擎，如果还有其他你觉得ok的可以留言。这四个分别是：
https://github.com/nevermosby/linux-bpf-learning
第10届ACM多媒体系统会议(MMSys，ACM Multimedia Systems Conference)于2019年6月18-21日在美国马萨诸塞州举行。会上，Dave Oran发表关于“计算、网络之超级融合”的主题演讲。本文对演讲的主要内容进行简析，并在最后附上演讲PPT的全文。
原文地址：牛客网论坛最具争议的Linux内核成神笔记，GitHub已下载量已过百万
所以，当网卡接收到数据包后，要通知 Linux 内核有数据需要处理。另外，网卡驱动应该提供让 Linux 内核把数据把发送出去的接口。
近两年BPF技术跃然成为了一项热门技术，在刚刚结束的KubeCon 2020 Europe会议上有7个关于BPF的技术分享， 而在KubeCon 2020 China会议上也已有了3个关于BPF技术的中文分享，分别来自腾讯和PingCAP，涉足网络优化和系统追踪等领域。在中文社区里，包括阿里巴巴、网易、字节跳动等国内第一梯队IT公司也越来越关注BPF这项新技术。本文主要介绍BPF技术发展和应用，以及我是如何学习BPF技术的。
洪志国，腾讯云工程师，负责 TKE 产品容器运行时，K8s，Mesh 数据面等基础组件研发。 陈鹏，腾讯云工程师，负责腾讯云 TKE 的售中、售后的技术支持，根据客户需求输出合理技术方案与最佳实践，为客户业务保驾护航。 容器的底层实现深度依赖于内核的众多特性，如 overlay 文件系统，namespace，cgroup 等，因此内核的功能和稳定性，在很大程度上，决定了整个容器 PaaS 平台的功能和稳定性。从 TKE 上线三年多以来，上万集群，数十万个节点的运营经验来看，内核问题约占所有节点问题的三分之
Linux 用户态和内核态由于 CPU 权限的限制，通信并不像想象中的使用进程间通信方式那么简单，今天这篇文章就来看看 Linux 用户态和内核态究竟有哪些通信方式。
在上篇《IPv6技术详解：基本概念、应用现状、技术实践（上篇）》，我们讲解了IPV6的基本概念。
作者简介：冯龙飞，上海酷栈科技有限公司SDN产品经理，多年从事网络虚拟化相关功能的开发、定义、产品设计等相关工作，具有丰富的虚拟化网络技术和SDN产品设计经验。
Docker作为一个开源的应用容器引擎，设计思想来自于集装箱，集装箱解决了什么问题？在一艘大船上，可以把货物规整的摆放起来。并且各种各样的货物被集装箱标准化了，集装箱和集装箱之间不会互相影响。那么我就不需要专门运送水果的船和专门运送辣条的船。只要这些货物在集装箱里封装得好好的，我可以用一艘大船把他们都运走。将一整套环境打包封装成镜像，无需重复配置环境，解决环境带来的种种问题。Docker容器间是进程隔离的，谁也不会影响谁。
白嘉庆，西邮陈莉君教授门下研一学生。曾在华为西安研究所任C++开发一职，目前兴趣是学习Linux内核网络安全相关内容。
本文首先从宏观上概述了数据包发送的流程，接着分析了协议层注册进内核以及被socket的过程，最后介绍了通过 socket 发送网络数据的过程。
P99 Conf[1] 是一个由 Scylladb[2] 组织的新的跨行业的线上Conf，为工程师而设。该活动以低延迟、高性能设计为中心，范围包括操作系统（内核、eBPF、IO_uring）、CPU（Arm、Intel、OpenRisc）、中间件和语言（Go、Rust、JVM、DPDK）、数据库和可观测性方法。P99 CONF只面向技术人员，你的老板不在邀请之列。
Kubernetes在2017年赢得了容器编排之战，使得基于容器+Kubernetes来构建PaaS平台成为了云计算的主流方式。在人们把关注的目光都聚焦在Kubernetes上时，容器技术领域在2018年也发生了很多创新，包括amazon最近开源的轻量级虚拟机管理器 Firecracker，Google在今年5月份开源的基于用户态操作系统内核的 gVisor 容器，还有更早开源的虚拟化容器项目 KataContainers，可谓百花齐放。一般的开发者可能认为容器就等于Docker，没想到容器领域还在发生着这么多创新。我在了解这些项目时，发现如果没有一些背景知识，很难get到它们的创新点。我试着通过这篇文章进行一次背景知识的梳理。让我们先从最基本的问题开始：操作系统是怎么工作的？
George Zhao，目前任职华为在美国的研发公司 Futurewei Technologies，主要从事网络开源与生态发展。曾经担任过 OpenDaylight 董事，技术指导委员会成员，社区经理和版本经理，目前是DPDK 董事会董事 和FD.io 技术指导委员会成员。
这些问题虽然在线上经常看到，但我们似乎很少去深究。如果真的能透彻地把这些问题理解到位，我们对性能的掌控能力将会变得更强。
Netfilter （配合 iptables）使得用户空间应用程序可以注册内核网络栈在处理数据包时应用的处理规则，实现高效的网络转发和过滤。很多常见的主机防火墙程序以及 Kubernetes 的 Service 转发都是通过 iptables 来实现的。
在DPDK使用环境中，物理网卡收到的报文不再进入内核协议栈，而是直接到达DPDK应用。但是在有些场景中，用户希望把报文（如控制报文）再次发送至内核协议栈进行处理。报文从用户空间再次进入内核的过程在DPDK中称为exception path。
关于 netfilter 的介绍文章大部分只描述了抽象的概念，实际上其内核代码的基本实现不算复杂，本文主要参考 Linux 内核 2.6 版本代码（早期版本较为简单），与最新的 5.x 版本在实现上可能有较大差异，但基本设计变化不大，不影响理解其原理。
封装：当应用程序用 TCP 协议传送数据时，数据首先进入内核网络协议栈中，然后逐一通过 TCP/IP 协议族的每层直到被当作一串比特流送入网络。对于每一层而言，对收到的数据都会封装相应的协议首部信息（有时还会增加尾部信息）。TCP 协议传给 IP 协议的数据单元称作 TCP 报文段，或简称 TCP 段（TCP segment）。IP 传给数据链路层的数据单元称作 IP 数据报（IP datagram），最后通过以太网传输的比特流称作帧（Frame）。
本文是“Linux内核分析”系列文章的第一篇，会以内核的核心功能为出发点，描述Linux内核的整体架构，以及架构之下主要的软件子系统。之后，会介绍Linux内核源文件的目录结构，并和各个软件子系统对应。
从 开发角度 看 , 基于 过程 结构 , 开发人员可以参与 整体 Linux 内核的开发过程 , 这是一个 开放式的结构 , 允许任何开发人员对其进行 修改 ;
抽象网络设备的原理及使用 网络虚拟化是 Cloud 中的一个重要部分。作为基础知识，本文详细讲述 Linux 抽象出来的各种网络设备的原理、用法、数据流向。您通过此文，能够知道如何使用 Linux 的基础网络设备进行配置以达到特定的目的，分析出 Linux 可能的网络故障原因。 Linux 抽象网络设备简介 和磁盘设备类似，Linux 用户想要使用网络功能，不能通过直接操作硬件完成，而需要直接或间接的操作一个 Linux 为我们抽象出来的设备，既通用的 Linux 网络设备来完成。一个常见的情况是，系统里装
Linux内核分为CPU调度、内存管理、网络和存储四大子系统，针对硬件的驱动成百上千。代码的数量更是大的惊人。
毛艳清，富士康工业互联网科技服务事业群运维中心主管，现负责公有云和私有云的运维工作，聚焦在云计算和云原生领域，主要关注企业迁云的策略与业务价值、云计算解决方案、云计算实施与运维管理，以及云原生技术的布道和落地实践。
客座撰稿人：Karen Bruner，StackRox技术专员。原文可以在这里找到。
第一种方法纵向或者横向来读都可以，因为代码量不是很大。《linux内核完全剖析》《linux内核完全注释》是引导你横向阅读的书，《linux内核设计的艺术》是引导你纵向阅读的书。建议横向纵向结合着来，纵向跟着bochs调试工具来是必不可少的，当遇到问题时进入到相应的功能模块横向拓展一下。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
