背景 在云函数的日常运营中，经常有用户提出要求协助排查网络问题。一般的手段就是使用 tcpdump 抓包，但是部署抓包往往是在问题发生之后，而且抓包后复现的时机也不确定，往往费时费力。...本文讲述使用 BPF 记录 TCP 的重传和丢包记录，作为定位网络问题的一种辅助手段。...[Tracepoint event] tcp:tcp_rcv_space_adjust [Tracepoint event] tcp:tcp_receive_reset...[Tracepoint event] tcp:tcp_retransmit_synack [Tracepoint event] tcp:tcp_send_reset...2452 TCP_ESTABLISHED 结论 本文讲述使用 BPF 带来的可观测性能力，获取 TCP 的重传及丢包记录，作为辅助定位网络问题的手段。
activated.Issue Ctrl-C to stop monitoring1 drops at skb_queue_purge+18 (0xffffffff92a42868)........案例一iptables 导致丢包
要排查Linux系统网络丢包问题，可以按照以下步骤进行： 1. 确认网络丢包问题是否存在。可以使用ping命令测试网络连接并查看是否出现丢包情况。...查看网络设备是否存在问题。可以使用ifconfig命令或ip命令查看网络设备的状态，看看是否出现错误。例如：ifconfig eth0 或 ip addr show eth0。 3....检查网络路由是否正确。可以使用route命令查看当前系统的路由情况，确保路由表中的网关正确且可达。例如：route -n。 4. 检查系统内核参数是否合适。...可以通过/sys/class/net//statistics目录查看网络设备的统计信息，例如查看接收包的丢弃数量。如果出现了大量的丢弃，可能需要调整内核参数。 5....检查网络互联设备的状态，例如交换机、路由器等。可以使用ping或traceroute命令测试网络设备的连通性，以检查是否存在网络瓶颈或故障。
一、回答这个问题之前，要考虑TCP协议为什么会丢包，在什么样的情况下会丢包。...2、TCP是基于不可靠的网路实现可靠传输，肯定会存在丢包问题。 3、如果在通信过程中，发现缺少数据或者丢包，那边么最大的可能性是程序发送过程或者接受过程中出现问题。...A服务器发送数据给B服务器频率过高时，B服务器来不及处理，造成数据丢包。...就会造成丢失数据 二、TCP协议丢包后，如何解决丢包的问题 为了满足TCP协议不丢包。...； 6、重复处理：作为IP数据报来传输的TCP分片会发生重复，TCP的接收端必须丢弃重复的数据； 7、数据校验：TCP将保持它首部和数据的检验和，这是一个端到端的检验和，目的是检测数据在传输过程中的任何变化
然而，传统的TCP协议具有固有的性能瓶颈，特别是对于具有高往返时间(RTT)和丢包的高带宽网络上最为显著。...TCP的这种拥塞算法是为了避免Internet整体拥塞而设计的，因为在互联网的早期，数据传送网络都是基于电缆固定网络，传输中出现丢包就可以100%的认为是传输通道出现了拥塞。...事实上，TCP AIMD算法本身也会造成丢包，导致网络出现瓶颈。在提高传输速率直到发生丢失时，AIMD过于激进地探测可用带宽导致丢包。...在某些情况下，这种由于激进探测带宽引发的丢包损耗实际上超过了来自其它原因(例如物理介质或交叉业务突发)的损耗，并且以不可预测的损耗比将"无损耗通信信道"变为"不可靠的信道"。...TCP AIMD中基于丢包的拥塞控制对网络端到端传输吞吐量具有致命的影响:当一个分组丢失需要重传时，TCP大幅降低发送数据甚至停止发送数据到接收应用，直到重传确认。
所以，本文不会面面俱到，只是对TCP协议、算法和原理的科普。 我本来只想写一个篇幅的文章的，但是TCP真TMD的复杂，比C++复杂多了，这30多年来，各种优化变种争论和修改。...上篇中，主要向你介绍TCP协议的定义和丢包时的重传机制 下篇中，重点介绍TCP的流迭、拥塞处理。...Acknowledgement Number就是ACK——用于确认收到，用来解决不丢包的问题。...，所以这个SACK就是D-SACK——旨在告诉发送端我收到了重复的数据，而且我们的发送端还知道，数据包没有丢，丢的是ACK包。...示例二，网络延误 下面的示例中，网络包（1000-1499）被网络给延误了，导致发送方没有收到ACK，而后面到达的三个包触发了“Fast Retransmit算法”，所以重传，但重传时，被延误的包又到了
流量控制丢包 应用层能发网络数据包的软件有那么多，如果所有数据不加控制一股脑冲入到网卡，网卡会吃不消，那怎么办？...接收缓冲区丢包 我们一般使用TCP socket进行网络编程的时候，内核都会分配一个发送缓冲区和一个接收缓冲区。...# cat /proc/version Linux version 3.10.0-1127.19.1.el7.x86_64 两端之间的网络丢包 前面提到的是两端机器内部的网络丢包，除此之外，两端之间那么长的一条链路都属于外部网络...于是乎，问题就变成了，用了TCP协议，就一定不会丢包吗？ 用了TCP协议就一定不会丢包吗 我们知道TCP位于传输层，在它的上面还有各种应用层协议，比如常见的HTTP或者各类RPC协议。...总结 数据从发送端到接收端，链路很长，任何一个地方都可能发生丢包，几乎可以说丢包不可避免。 平时没事也不用关注丢包，大部分时候TCP的重传机制保证了消息可靠性。
在丢包率为0.1%的传统以太网中，我们生活安然，并无不适。而现在，人工智能（AI）带来的数据量激增改变了这一切。 那些以太网曾经看来微不足道的“苟且”开始变得如鲠在喉，它让人们越来越无法忍受。...一项实测支持的业务观察显示，因为AI业务带动的数据量高速增长，0.1%的以太网丢包率会导致AI的计算力损失约50%——面向AI，在计算和存储领域已经取得突破之后，这一现实让网络设备供应商感受到了前所未有的压力...在ICT领域，AI的短板眼下只剩下一块——网络设备。针对这一问题，华为网络产品线总裁胡克文认为，面向AI的未来，网络设备应该做到“强制性”的零丢包。...CloudEngine 16800发布现场 这款业界首款面向AI时代的计算中心交换机，可以借助其实时学习训练能力和独创的iLossLess智能无损交换算法，在以太网中实现零丢包机制，并实现流量模型的自适应自优化...和解决丢包问题一样，华为将问题“交还”给了AI，期待自动驾驶网络能够彻底改变运维人员面对的窘境。
因为这台Web服务器前面有NAT方式的LVS，所以如果「tcp_timestamps」和「tcp_tw_recycle」等内核参数设置不当的话，会导致网络故障，可是通过检查再次否定了这个推断。...Dup ACK，TCP Out-Of-Order，结果发现此类问题基本都意味着网络状况不好，推测网络可能存在丢包。...如何判断网络是否存在丢包呢？非常简单，通过常用的「ping」命令即可： shell> ping -f 关于其中的「-f」选项，在手册中是这样解释的： Flood ping....如果网络存在丢包，那么会呈现出一长串不断增加的点，简单易用，童叟无欺。 … 最终确认了网络确实存在丢包。因为数据丢包后会重新发送，所以导致网络延迟。进而表现出HTTP请求响应卡住的现象。...总算抓住了真凶，对一个山寨的OPS来说，问题分析到这里就算差不多了，至于为什么会丢包的问题，可能是网线的问题，也可能是网卡的问题，还可能是带宽的问题，等等等等，这些就留给真正的OPS去折腾吧。
checksum offload 及其它设备 offload 控制 DMA ring sizes 及中断 moderation multiqueue 设备的接收队列选择 闪存固件升级 二、丢包查看...四、关于ring buffer： 网络数据传输：数据帧传输，由网卡读取并放入设备缓冲区ring buffer，当网络数据包到达的速率快于内核处理的速率时，ring buffer很快会被填满，新来的数据包将被丢弃...每个CPU核都有一个backlog队列，当协议栈处理速度满足不了接收包速率时会发生丢包。 查看数据处理情况：/proc/net/softnet_stat ?...net.core.netdev_max_backlog=4096 或者 echo "4096" > /proc/sys/net/core/netdev_max_backlog 六、关于 rp_filter 反向路由过滤导致丢包...半连接队列： TCP传输中服务器收到SYN包但还未完成三次握手的连接队列，服务器保持的半连接数超过tcp_max_syn_backlog，则丢弃新包。
目录--网络丢包情形概览 > 硬件网卡丢包 > 网卡驱动丢包 > 以太网链路层丢包 > 网络IP层丢包 > 传输层UDP/TCP丢包 > 应用层socket丢包 针对以上6种情形，分别作出如下详述~...内网状况比tw_reuse稍快，公网尤其移动网络大多要比tw_reuse 慢，优点就是能够回收服务端的TIME_WAIT数量； 在服务端，如果网络路径会经过NAT节点，不要启用net.ipv4.tcp_tw_recycle...Linux 4.9内核首次采用BBR拥塞控制算法第一个版本，BBR抗丢包能力比其他算法要强，但这个版本在某些场景下面有问题（缺点），BBR在实时音视频领域存在的问题，深队列竞争不过Cubic。...，提供了单个节点丢包排查和相关的解决方案, 丢包问题牵扯网络链路各个组件，尤其是在云网络时代，网络拓扑复杂多变，涉及运营商网络，IDC网络，专线等underlay网络，边界网关，VPC网络，CLB负载均衡等云上...overlay网络，各种丢包问题排障起来非常复杂且困难，但掌握网络通信基本原理后，可以分解网络拓扑，对通信节点进行逐一排查，也可以找到丢包位置，后续会更加深入介绍云计算时代，云上网络丢包排查方法，网络架构解析等
自从有了网络便有了网络故障，网络故障的最大体现是丢包。如何对丢包进行诊断一直是一个令工程师头疼的问题，可关注丢包原因分析的人却非常的少。...现实 目前对于网络中出现丢包的传统处理步骤如下： 首先，确定丢包的设备。 然后，确定报文在该设备的处理流程。 最后，一一核对对应处理流程的转发表项（从软件表项到硬件表项）。...主要是因为以下几个方面： NOS本身的封闭性 NOS厂商不愿暴露更多的细节给客户 NOS以前都是一些专用的系统，无法提供像服务器上一些便捷的手段如tcpdump NOS架构通常都是mipsc架构，其计算能力无法与x86相比...基于丢包原因的统计。 通过这些统计的方式可以发现网络中存在的危险和配置问题（like kill all possible warning in coding），整个网络尽在掌握。...拥有了这个网络诊断分析功能之后，我们只需要简单的两步就可以确定丢包的原因： show sdrop查看丢包的基本信息。
Linux 有个 tc 工具，即 traffic control，可以用来模拟网络丢包和延迟。...在开发后台 server 时，如果我们想要知道这个 server 在特定的网络丢包情况下，是否能表现良好，就可以用 tc 来模拟丢包率。...模拟丢包 下面命令可以模拟丢包，从 eth0 网口出去的包将随机丢失 10%： sudo tc qdisc add dev eth0 root netem loss 10% 模拟延迟 下面命令，从...eth0 网口起作用的，也就是说，只要是从 eth0 出去的所有的包，都会产生随机丢包或者延迟。...13% 的丢包和 40ms 的延迟，而发往其它目的地址的网络包将不受影响。
TCP底层并不了解上层业务数据的具体含义，他会根据TCP缓冲区的实际情况进行包的划分，所以在业务上认为，一个完整的包可能会被TCP拆分成多个包进行发送，也有可能把多个小的包封装成一个大的数据包发送。...这就是TCP所谓的拆包和粘包的问题。 一、TCP粘包/拆包问题说明 我们可以通过图解对TCP粘包和拆包问题进行说明，粘包问题如图。...服务端一次接收到了两个数据包，D1和D2粘在一起，被称为TCP粘包 服务端分两次读取到了两个数据包，第一次读取到了完整的D1包和D2包的部分内容，第二次读取到了D2包的剩余内容，这被称为TCP拆包。...如果此时服务端TCP接收滑窗非常小，而数据包D1和D2比较大，很有可能会发生第五种可能，即服务端分多次才能将D1和D2包接收完全，期间发生多次拆包。...二、TCP粘包/拆包发生的原因 问题产生的原因有三个，分别如下。 应用程序write写入的字节大小大于套接口发送缓冲区大小。 进行MSS大小的TCP分段。
一、前言在 Linux 系统下，丢包是一个较为常见的问题。由于丢包导致的网络问题可能会给用户带来不好的体验，因此解决 Linux 网络丢包问题是必不可少的。...本文将介绍如何在 Linux 系统下进行网络丢包排查。二、了解 TCP/IP 协议栈在排查网络丢包问题之前，我们需要先了解一些基础知识，比如 TCP/IP 协议栈。...了解 TCP/IP 协议栈能够帮助我们更好地理解网络数据传输的过程，也方便我们在排查网络丢包问题时进行针对性分析。三、了解 Linux 网络设备在 Linux 系统下，网络设备被视为文件。...网络层主要负责将数据从源主机传输到目标主机。在 TCP/IP 协议栈中，IP 协议位于网络层。如果 IP 协议出现故障，则可能会导致网络丢包的问题。...在 TCP 连接中，丢包可能会导致连接关闭。在 UDP 中，丢包可能会导致数据包丢失或乱序。可以使用 telnet 命令测试 TCP 连接。telnet 命令可以测试远程主机端口的连通性。
问题： 某客户通过一个 TCP 连接向服务器发送数据的部分过程如题 38 图所示。...若 TCP 支持快速重传，则客户重新发送 seq = 100 段的时刻是 ? ?...分析： TCP采用的是累计确认机制，即当接收端收到比期望序号大的报文段时，便会重复发送最近一次确认的报文段的确认信号，我们称之为冗余ACK（duplicate ACK ? ? ? 推荐阅读： ?
当然， Pubma 也能够完成网络模拟，模拟包括一系列的网络问题（延迟，丢包，使用不同的丢包模型，带宽限制等等）。 针对网络模拟，Pumba使用的是Linux内核tc netem实现的。...iproute2 delay --time 3000 jitter 50 --distribution normal ping # pumba 将会在 20s 后退出, 或者用 Ctrl-C 退出 模拟丢包情况... bridge --rm alpine sh -c "apk add --no-cache iperf; sh" # 在进入交互命令行的 client容器中，发送UDP数据报到服务端，可以看到没有数据丢包...sh$ iperf -c 172.17.0.2 -u -t 300 # Terminal 1 # 我们可以看到服务端没有数据丢包 # Terminal 3 # 往client容器注入 20% 的数据丢包...tc-image gaiadocker/iproute2 loss --percent 20 client # Terminal 2 # 重新在客户端container 中发送数据报，可以看到20%的丢包
排查过程 分析环境差异：Node和Pod环境差异 Node内存比Pod多，而Node和Pod的TCP 接收缓存大小配置一致，此处差异可能导致内存分配失败。...数据包进出Pod比Node多了一次路由判断，多经过两个网络设备：veth_a1和veth_b1，可能是veth的某种设备特性与TCP协议产生了冲突，或veth虚拟设备有bug，或veth设备上配置了限速规则导致...处抓到的包总比veth_a1多很多，veth_a1处抓到的包与veth_b1处抓到的包总是能保持一致 分析：TCP是可靠传输协议，如果中间因为未知原因（比如限速）发生丢包，一定会重传。...猜测一：wscal协商不一致，Server端收到的wscal比较小 在TCP握手协商阶段，Server端收到Client端wscal值比实际值小。...注意到eth1抓到的包总是比veth_a1多那么几个，之前猜想是被buffer了，但是buffer了总得发出来吧，可是持续保持抓包状态，并没有抓到这部分多余的包，那这部分包一定被丢了。
所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》 iperf3 iperf3 是一种网络性能测试工具，可以用于测试带宽、吞吐量、丢包...iperf3默认使用TCP协议进行测试，测试时间为10秒。可以使用各种选项和参数来调整测试过程和输出结果。...Retr：重传操作次数(丢包数)。 Cwnd：TCP拥塞窗口大小。 这两行结果显示了2个1秒钟的测试时间间隔内的性能指标。...TCP拥塞窗口大小为263 KBytes。通过这些指标，可以了解网络带宽和连接质量等信息。...这个速度非常快，表明网络质量较好，可用于高速数据传输。 在日常的网络测试中，可以通过 Retr 来衡量丢包数。
在《混沌工程之ChaosBlade-Operator使用之一模拟POD丢包场景》中，我们提到过一次丢包场景的模拟了，但是不同的混沌工具，是否有不同的实现方式呢？...今天我们来玩一个ChaosMesh的网络丢包，看一下有没有新鲜的玩意。...目标 模拟POD产生丢包 配置 yaml文件配置 [root@s5 ChaosMesh]# cat network-loss.yaml apiVersion: chaos-mesh.org/v1alpha1...qdisc netem 1: root refcnt 2 limit 1000 loss 25% 25% [root@svc-7dmall-664d59f75b-whtvc /]# 从上面的结果来看，丢包确实产生了...并且也和chaosblade-operator的逻辑一样是用tc命令在qdisc上模拟了丢包动作。看来没有新花样。 如果对tc不了解的，可以看下我在2018年写的这篇文章《性能场景之网络模拟》。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
