高性能网络编程 - The C10K problem 以及 网络编程技术角度的解决思路
思考几分钟，如果你可以有理有据地说出答案，那确实就不用再往下看了，关上手机去陪陪家人是个不错的选择。
随着云计算产业的异军突起，网络技术的不断创新，越来越多的网络设备基础架构逐步向基于通用处理器平台的架构方向融合，从传统的物理网络到虚拟网络，从扁平化的网络结构到基于 SDN 分层的网络结构，无不体现出这种创新与融合。
在讲述Netty的高性能特性之前,基于之前的epoll技术分析中谈到C10K问题,其实是属于一个性能优化问题,目的是为了能够在单台机器上支撑更多的并发连接调度所做的性能优化,为了达到上述目标,需要要求我们设计的web服务采用合理的IO模型,并在对应的IO模型基础上引入多线程与并发库技术的使用来支撑更多的连接调度,同时考虑到计算机资源的限制,我们需要在设计web服务的时候合理对资源进行分配优化,比如内存,网络带宽以及CPU核数的充分利用,也就是说我们还需要考虑到可伸缩性的问题,通过增加资源来使得我们的web服务能够得到线性提升效果.接下来我们就来结合部分源码分析Netty技术是如何体现高性能这一个特性.
当下性能测试已成为确保软件质量的关键环节。其中，wrk作为一款轻量级、高性能的HTTP基准测试工具，以其简洁的命令行界面和出色的性能著称。wrk通过-c参数能够模拟高并发的网络请求，帮助我们评估服务器在极端负载下的表现。如果你打算做C10K数万并发连接这个量级的测试，wrk是合适的（相比ab/jmeter等工具），然而，如果你想尝试进行数百万级别的高并发测试时，官方wrk就无能为力了。
如果我们站在本机机器作为参考物的话，应该拆分成下面三个阶段： 1.消息入口流量部分的处理流程
数据平面开发套件(DPDK [1] ,Data Plane Development Kit)是由6WIND,Intel等多家公司开发，主要基于Linux系统运行，用于快速数据包处理的函数库与驱动集合，可以极大提高数据处理性能和吞吐量，提高数据平面应用程序的工作效率。
"高并发"对后台开发同学来说，既熟悉又陌生。熟悉是因为面试和工作经常会提及它。陌生的原由是服务器因高并发导致出现各位问题的情况少之又少。同时，想收获这方面的经验也是"摸着石头过河"， 需要大量学习理论知识，再去探索。
谈到Redis缓存，我们描述其性能时会这么说：支持1万并发连接，几万QPS。而我们描述Nginx的高性能时，则会宣示：支持C10M（1千万并发连接），百万级QPS。Nginx用C语言开发，而Redis是用同一家族的C++语言开发的，C与C++在性能上是同一级数的。Redis与Nginx同样使用了事件驱动、异步调用、Epoll这些机制，为什么Nginx的并发连接会高出那么多呢？（本文不讨论Redis分布式集群）
对于高性能即时通讯技术（或者说互联网编程）比较关注的开发者，对C10K问题（即单机1万个并发连接问题）应该都有所了解。“C10K”概念最早由Dan Kegel发布于其个人站点，即出自其经典的《The C10K problem（英文PDF版、中文译文）》一文。
先抛出一个问题，基于此问题引出文章的主题：1999 年 Dan Kegel 在其个人站点提出了 C10K问题，首字母 C 是 Client 的缩写，C10K 即单机同时处理 1 万个连接的问题。C10K 表示处理 10000 个并发连接，注意这里的并发连接和每秒请求数不同，虽然它们是相似的，每秒处理许多请求需要很高的吞吐量（快速处理它们），但是更大数量的并发连接需要高效的连接调度，即 I/O 模型的问题。
千万级并发实现的秘密 先解释一下什么是10k问题： 什么是 10K 问题？ 在 1999 年，Dan Kegel 向网络服务器提出了一个骇人听闻的难题： 是时候让网络服务器去同时应对 10000 个客户端了，你觉得呢？毕竟网络已经变得很普及了。 这就是著名的 C10K 问题。 通过改善操作系统内核和从像 Apache 那样的线程服务器迁移到像 Nginx, Node 这样的事件驱动服务器，工程师们解决了这个 C10K 问题。 但现在我们面临着一个更大的挑战，如果同时应对一千万个连接呢？要解决这个难题，需要些
近些年，随着互联网的大发展，高并发服务器技术也快速进步，从简单的循环服务器模型处理少量网络并发请求，演进到解决C10K，C10M问题的高并发服务器模型。本文结合自己的理解，主要以TCP为例，总结了几种常见的网络服务器模型的实现方式，优缺点，以及应用实例。
摘要： 前言 随着容器技术的兴起，越来越多不同类型的应用开始使用容器的方式进行交付。Golang作为服务器端非常热门的一门语言同时也是容器技术的主要编写语言备受关注。那么将一个Golang应用进行容器化的时候，需要注意哪些事情，在出现问题时该如何进行调优和诊断呢？ 先谈谈Golang本身的设计 Golang是谷歌发布的第二款开源编程语言。
服务器应用领域很古老很出名的一个问题，大意是说单台服务器要同时支持并发 10K 量级的连接，这些连接可能是保持存活状态的。
在容器业务请求的网络问题排查中，可以通过nsenter进入业务容器网络命名空间中抓包，分析根因。
在之前的文章中分别详细讲解网络IO模型以及IO复用模型技术实现的本质,关于epoll的技术分析,发现存在部分知识点不够严谨且也有些混乱,即epoll技术在linux底层内核源码实现中暂时没有看到有使用虚拟内存分配的技术实现,因此对此知识点持有怀疑但保留网络上的技术资料观点;其次关于epoll技术实现上,正是通过使用中间层的设计思想来解决本身select/poll无法扩展的局限性,同时借助分散的设计思想来解决select/poll存在的性能,最后我们会关注与epoll相关的其他高级轮询技术以及在早期中C10K问题是如何解决的,同时互联网技术发展至今,又出现C10M问题,解决思路有哪些可以借鉴的.
以现在主流的即时通讯应用形态来讲，一个完整的即时通讯IM应用其实是即时通信（英文简写：IM=Instant messaging）和实时通信（英文简写：RTC=Real-time communication）2种技术组合在一起的一整套网络通信系统。之所以以IM这个简写代称整个即时通讯软件，其实是历史原因了（因为早期的诸如ICQ这样的即时通讯工具，也就是文字聊天，并没有加入实时音视频这样的实时通信技术），对这个话题有兴趣的可以到网上查一查IM的发展历史。
建议直接看参考的原版报告，这篇为我大致记录的一些配置，部分还为理解，后续进行修改补充。
“如何在激烈的移动社交市场竞争中脱颖而出？”这是当前移动社交应用领域众多开发者们所面临的现实问题。在产品功能特性同质化越来越严重的形势下，动用最小的研发资源实现“附近的人”，进而将更多的团队资源投入到产品创新，是大家的深层诉求。 据了解腾讯云分析（mta.qq.com）近日推出的“社交LBS”SDK服务，其覆盖Android和iOS两大主流平台，所有功能免费。开发者只需花10分钟集成SDK之后，便可无视各项复杂的技术挑战，轻松实现“附近的人”。 腾讯社交LBS提供何种服务？ 首先，社交LBS服务主要
针对海量的网络流量，转发性能是我们最关键的一个方面，那构建高性能的后台服务器有哪些关键的技术和需要注意的地方。
我们现在已经搞定了 C10K并发连接问题 ，升级一下，如何支持千万级的并发连接？你可能说，这不可能。你说错了，现在的系统可以支持千万级的并发连接，只不过所使用的那些激进的技术，并不为人所熟悉。
本文由小米信息技术团队研发工程师陈刚原创，原题“当我们在谈论高并发的时候究竟在谈什么?”，为了更好的内容呈现，即时通讯网收录时有修订和改动。 1、引言 在即时通讯网社区里，多是做IM、消息推送、客服系
针对海量的网络流量，转发性能是我们最关键的一个方面，那构建高性能的后台服务器有哪些关键的技术和需要注意的地方，今天邀请了后台开发同学童琳和郑胜利来和大家一起谈谈。 一、引言 随着互联网的高速发展，内容量的提升以及对内容智能的需求、云产业的快速突起，作为互联网的计算基石服务器的形态以及使用成为了炙手可热的话题，全球各家大型互联网公司都持续的在服务器平台上有非常大的动作，譬如facebook的OCP等，而整个服务器的生态链也得到了促进和发展。随着服务器硬件性能的提升和网络硬件的开放，传统PC机的处理性能甚者可
“如何在激烈的移动社交市场竞争中脱颖而出？”这是当前移动社交应用领域众多开发者们所面临的现实问题。在产品功能特性同质化越来越严重的形势下，动用最小的研发资源实现“附近的人”，进而将更多的团队资源投入到产品创新，是大家的深层诉求。 据了解腾讯云分析（mta.qq.com）近日推出的“社交LBS”SDK服务，其覆盖Android和iOS两大主流平台，所有功能免费。开发者只需花10分钟集成SDK之后，便可无视各项复杂的技术挑战，轻松实现“附近的人”。 腾讯社交LBS提供何种服务？ 首先，社交LBS服务主要围绕
Boost application performance using asynchronous I/O把同步阻塞、同步非阻塞、异步阻塞、异步非阻塞的模型讲得很清楚。
随着互联网的发展，面对海量用户高并发业务，传统的阻塞式的服务端架构模式已经无能为力。本文（和下篇《高性能网络编程(六)：一文读懂高性能网络编程中的线程模型》）旨在为大家提供有用的高性能网络编程的I/O模型概览以及网络服务进程模型的比较，以揭开设计和实现高性能网络架构的神秘面纱。
对于即时通讯开者新手来说，在开始着手编写IM或消息推送系统的代码前，最头疼的问题莫过于到底该选TCP还是UDP作为传输层协议。本文延续《网络编程懒人入门》系列文章的风格，通过快速对比分析 TCP 和 UDP 的区别，来帮助即时通讯初学者快速了解这些基础的知识点，从而在IM、消息推送等网络通信应用场景中能准确地选择合适的传输层协议。
Nginx是当下最流行的Web服务器，通过官方以及第三方C模块，以及在Nginx上构建出的Openresty，或者在Openresty上构建出的Kong，你可以使用Nginx生态满足任何复杂Web场景下的需求。Nginx的性能也极其优秀，它可以轻松支持百万、千万级的并发连接，也可以高效的处理磁盘IO，因而通过静态资源或者缓存，能够为Tomcat、Django等性能不佳的Web应用扛住绝大部分外部流量。
本系列文章的前两篇《网络编程懒人入门(一)：快速理解网络通信协议（上篇）》、《网络编程懒人入门(二)：快速理解网络通信协议（下篇）》快速介绍了网络基本通信协议及理论基础，建议开始阅读本文前先读完此2篇文章。
本文接上篇《脑残式网络编程入门(一)：跟着动画来学TCP三次握手和四次挥手》，继续脑残式的网络编程知识学习 ^_^。
dpdk是什么？可能很多人只是听过，有的可能听都没有听过。但是目前确实很多的互联网大小厂都在使用这样一门技术，从招聘网站上看，对应的岗位也很多，薪资不菲： 比如OVS,VPP等技术，很多云厂家都在用，提供云主机，组件，数据库等等，它对比于原生，能够大幅提升IPV4的转发性能,可以让用户在迁移包处理应用时,获得更好的成本和性能优势。 所以，随着技术的发展，dpdk会越来越受到重视，将广泛应用到各类分布式系统中。 还不熟悉的朋友，这里可以先领取一份dpdk新手学习资料包（入坑不亏）： 扫码领取dpdk新
本文原作者：“水晶虾饺”，原文由“玉刚说”写作平台提供写作赞助，原文版权归“玉刚说”微信公众号所有，即时通讯网收录时有改动。
彻底理解异步编程是什么、为什么、怎么样。深入学习asyncio的基本原理和原型，了解生成器、协程在Python异步编程中是如何发展的。
搞网络通信应用开发的程序员，可能会经常听到外网IP（即互联网IP地址）和内网IP（即局域网IP地址），但他们的区别是什么？又有什么关系呢？另外，内行都知道，提到外网IP和内网IP就不得不提NAT路由转换这种东西，那这双是什么鬼？本文就来简单讲讲这些到底都是怎么回事。
有时候我们想要查看下容器内部的一些东西，但是无奈容器没有shell 执行环境，比如想看看 coredns 容器中 /etc/resolv.conf 的内容是否正确继承了节点的配置，比较简单的操作步骤如下（以 docker 运行时为例）：
中文地址： https://www.oschina.net/translate/c10k
网络编程中TCP协议的三次握手和四次挥手的问题，在面试中是最为常见的知识点之一。很多读者都知道“三次”和“四次”，但是如果问深入一点，他们往往都无法作出准确回答。
典型的两个现实案例： 我们先看两个用Go做消息推送的案例实际处理能力。 360消息推送的数据： 16台机器，标配：24个硬件线程，64GB内存 Linux Kernel 2.6.32 x86_64 单机80万并发连接，load 0.2~0.4，CPU 总使用率 7%~10%，内存占用20GB (res) 目前接入的产品约1280万在线用户 2分钟一次GC，停顿2秒 (1.0.3 的 GC 不给力，直接升级到 tip，再次吃螃蟹) 15亿个心跳包/天，占大多数。 京东云消息推送系统 (团队人数:4)
普及IPV6喊了多少年了，连苹果的APP上架App Store也早已强制IPV6的支持，然并卵，因为历史遗留问题，即使在IPV4地址如果饥荒的情况下，所谓的普及还是遥遥无期。但不可否认的是，IPV6肯定是未来趋势，做为网络通信领域的程序员来说，详细学习和了解IPV6是很有必要的，所谓厚积薄发，谁知道哪天IPV6真的普及了呢？那么，我们开始看正文吧。
本文上篇《网络编程懒人入门(一)：快速理解网络通信协议（上篇）》分析了互联网的总体构思，从下至上，每一层协议的设计思想。基于知识连贯性的考虑，建议您先看完上篇后再来阅读本文。
即时通讯网整理了大量的网络编程类基础文章和资料，包括《TCP/IP协议 卷1》、《[通俗易懂]深入理解TCP协议》系列、《网络编程懒人入门》系列、《不为人知的网络编程》系列、《P2P技术详解》系列、《高性能网络编程》系列、甚至还有图文并貌+实战代码的《NIO框架入门》等，目的是帮助即时通讯类应用的开发者，至少要掌握网络编程最基本的原理，所谓知其然更要知其所以然。尤其现在移动网络大行其道的时代，在网络环境如此复杂的情况下，能写好一套技术精湛、用户体验等俱佳的IM或消息推送系统，显然不是随便用用Netty、MINA、AFNetwoking、okhttp等服务端和客户端框架就能搞定的事。总之，即时通讯技术归根结底还是网络编程技术的应用，只有更深入地了解了网络编程及其相关知识，才能更好地写出优质的应用。
老于网络编程熟手来说，在测试和部署网络通信应用（比如IM聊天、实时音视频等）时，如果发现网络连接超时，第一时间想到的就是使用Ping命令Ping一下服务器看看通不通。甚至在有些情况下通过图形化的Ping命令工具对目标网络进行长测（比如：《两款增强型Ping工具：持续统计、图形化展式网络状况 [附件下载]》、《网络测试：Android版多路ping命令工具EnterprisePing[附件下载]》），可以得出当前网络通信的网络延迟、网络丢包率、网络抖动等等有价值信息。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
