虽然计算机相关专业，操作系统和计算机组成原理是必修课。但是大学时和真正从事相关专业工作之后，对于知识的认知自然会发生变化。还很有可能，一辈子呆在学校的老师们只是照本宣科，自己的理解也不深。所以今天我站在真正排查解决问题时的需要层面，用白话说一说linux操作系统的那些知识。
这篇文章我打算从一个初学者的角度开始聊起，让大家了解下我眼里的socket是什么以及socket的原理和内核实现。
这本书属于学习Linux内核原理必读推荐书目之一！对Linux内核的设计原理进行了细致的说明，也有具体实现部分的介绍，结合源码能很好的理解Linux内核；
我相信大家刚开始学网络编程中socket的时候，都跟我一样对书上所讲的socket概念云里雾里的、似懂非懂，很是困扰。
Linux阅码场内核月报栏目，是汇总当月Linux内核社区最重要的一线开发动态，方便读者们更容易跟踪Linux内核的最前沿发展动向。
相比于select，epoll最大的好处在于它不会随着监听fd数目的增长而降低效率。因为在内核中的select实现中，它是采用轮询来处理的，轮询的fd数目越多，自然耗时越多。 并且，在linux/posix_types.h头文件有这样的声明： #define __FD_SETSIZE 1024 表示select最多同时监听1024个fd，当然，可以通过修改头文件再重编译内核来扩大这个数目，但这似乎并不治本。
为了让系统能够支持更大的并发，除了必须安装event扩展之外，优化linux内核也是重中之重。
打算给我们部门弄个内部分享。发现大家对一些底层知识的认知停留在一句一句的，比如听说JVM使用-XX:-UseBiasedLocking取消偏向锁可以提高性能，因为它只适用于非多线程高并发应用。使用数字对象的缓存-XX:AutoBoxCacheMax=20000比默认缓存-128~127要提高性能。对于JVM和linux内核，操作系统没有系统的概念，遇到实际问题往往没有思路。所以我的内部分享，主要分为linux部分，jvm部分和redis部分。这篇是linux篇。学习思路为主，知识为辅。我也是菜鸟一枚~~
这一期我们来看一下有哪些办法可以减少linux下的文件碎片。主要是针对磁盘长期满负荷运转的使用场景（例如http代理服务器）；另外有一个小技巧，针对互联网图片服务器，可以将io性能提升数倍。如果为服务器订制一个专用文件系统，可以完全解决文件碎片的问题，将磁盘io的性能发挥至极限。对于我们的代理服务器，相当于把io性能提升到3-5倍。 在现有文件系统下进行优化linux内核和各个文件系统采用了几个优化方案来提升磁盘访问速度。但这些优化方案需要在我们的服务器设计中进行配合才能得到充分发挥。 文件系统缓存lin
ERROR 1040(HY000): Too many connections：DB连接池里已有太多连接，不能再和你建立新连接。
epoll简介 epoll 是Linux内核中的一种可扩展IO事件处理机制，最早在 Linux 2.5.44内核中引入，可被用于代替POSIX select 和 poll 系统调用，并且在具有大量应用程序请求时能够获得较好的性能（ 此时被监视的文件描述符数目非常大，与旧的 select 和 poll 系统调用完成操作所需 O(n) 不同， epoll能在O(1)时间内完成操作，所以性能相当高），epoll 与 FreeBSD的kqueue类似，都向用户空间提供了自己的文件描述符来进行操作。 [cpp]
Linux内核是高并发服务的关键组件之一。以下是一些可用于优化Linux内核的配置。
Redis的高性能和他的事件模型是密不可分的，最大程度上利用了单线程、非阻塞IO模型来快速的处理请求（单线程处理多链接）。这里存在一个问题，其实严格意义上来讲，Redis 是单线程对外提供服务，redis内部并不单线程的，还存在一些关于数据持久化的线程。
在linux 没有实现epoll事件驱动机制之前，我们一般选择用select或者poll等IO多路复用的方法来实现并发服务程序。在linux新的内核中，有了一种替换它的机制，就是epoll。
在linux 没有实现epoll事件驱动机制之前，我们一般选择用select或者poll等IO多路复用的方法来实现并发服务程序。在大数据、高并发、集群等一些名词唱得火热之年代，select和poll的用武之地越来越有限，风头已经被epoll占尽。
由于默认的Linux内核参数考虑的是最通用场景，这明显不符合用于支持高并发访问的Web服务器的定义，所以需要修改Linux内核参数，是的Nginx可以拥有更高的性能；
在Redis中，一个字符串最大512MB，一个二级数据结构（例如hash、list、set、zset）可以存储大约40亿个(2^32-1)个元素，但实际中如果下面两种情况，我就会认为它是bigkey。
进程和线程究竟是什么东西？传统网络服务模型是如何工作的？协程和线程的关系和区别有哪些？IO过程在什么时间发生？ 在刚刚结束的 PyCon2014 上海站，来自七牛云存储的 Python 高级工程师许智翔带来了关于 Python 的分享《Python中的进程、线程、协程、同步、异步、回调》。 一、上下文切换技术 简述 在进一步之前，让我们先回顾一下各种上下文切换技术。 不过首先说明一点术语。当我们说“上下文”的时候，指的是程序在执行中的一个状态。通常我们会用调用栈来表示这个状态——栈记载了每个调用层级执行到哪
为了让系统能够支持更大的并发，除了必须安装event扩展之外，优化linux内核也是重中之重，以下优化每一项都非常非常重要，请务必按逐一完成。
本书基于linux 2．6介绍了linux内核的设计与实现，涵盖了从核心内核系统的应用到内核设计与实现等各方面内容，主要内容包括：进程管理、调度、时间管理和定时器、系统调用接口、内存寻址、内存管理、页缓存、vfs、内核同步、可移植性、调试技术等。此外，本书还讨论了linux 2．6颇具特色的内容，包括cfs调度程序、抢占式内核、块i／o层以及i／o调度程序。 本书详细描述了linux内核的主要子系统和特点，包括其设计、实现和接口，既介绍理论也讨论具体应用，填补了linux内核理论和实践细节之间的鸿沟。能够带领读者快速走进linux内核世界，真正开发内核代码。 如果你是一名linux内核爱好者，本书的内容可以帮助你大显身手。如果你是一名普通程序员，本书的内容将会拓宽你的编程思路。如果你初次接触linux内核，本书则可以帮助你对内核各个核心子系统有一个整体把握。 本版新增内容： ·增加一章专门描述内核数据结构 ·详细描述中断处理程序 ·扩充虚拟内存和内存分配的内容 ·调试linux内核的技巧 ·内核同步和锁机制的深度描述 ·提交内核补丁以及参与linux内核社区的建设性建议
首先，Android利用Binder进行通信的话，肯定要首先获取Binder对象。
I/O基础 1、java1.4之前，java对I/O支持不完善，存在以下问题： 没有数据缓冲区，I/O性能存在问题。 没有C或者C++的channel概念，只有输入输出流。 同步式阻塞式I/O通信，通常会导致通信线程被长时间阻塞。 支持的字符集有限，硬件可移植性不好。 2、Linux网络I/O模型 Linux内核将所有外部设备都看作一个文件来操作，对文件的操作都会调用内核提供的系统命令，返回一个fd(文件描述符)。 描述符就是一个数字，它指向内核中的一个结构体(文件路径，数据区等属性)。 fd演示:
第一种方法纵向或者横向来读都可以，因为代码量不是很大。《linux内核完全剖析》《linux内核完全注释》是引导你横向阅读的书，《linux内核设计的艺术》是引导你纵向阅读的书。建议横向纵向结合着来，纵向跟着bochs调试工具来是必不可少的，当遇到问题时进入到相应的功能模块横向拓展一下。
以虚拟化PC为应用的数据中心服务器群增长很快。本文介绍的这个架构，优点是增加全局系统安全。
基于X86架构的Linux内核，在移植驱动的过程中，发现GPIO和I2C的device ID添加到pnp驱动框架后无法进入probe函数，后面找了下原因，因为pnp遵循的是ACPI规范，是由于如下Hardware ID字段是需要从BIOS中进行描述的，而目前的驱动匹配不到对应的字段，自然就不可能注册成功了。 PNP是什么东西？不是三极管的那个PNP啦，这个PNP表示的是：Plug-and-Play，译文为即插即用。 PNP的作用是自动配置底层计算机中的板卡和其他设备，然后告诉对应设备都做了什么。PnP的任务是把物理设备和软件设备驱动程序相配合，并操作设备，在每个设备和它的驱动程序之间建立通信信道。然后，PnP分配下列资源给设备和硬件：I/O地址、IRQ、DMA通道和内存段。即插即用设备配置的控制权将从系统BIOS传递到系统软件，所以驱动中一定会有代码进行描述，到时可以跟一下这部分的代码深入了解一下。由于PNP遵循ACPI的规范，那么既然是规范，那肯定要照着做了，规范怎么说，那就怎么做。 以下是关于ACPI Spec中对Hardware ID的描述，描述如下：
想要写一个操作系统的人大部分都是带着兴趣玩，毕竟现在主流的操作系统windows，苹果系统，linux系统属于目前比较常见的系统，其中linux内核属于开源可以看到其全部的代码，很多研究操作系统都是以linux为参考的模型，毕竟开源的代码研究起来也方便，但是对于个人来讲要去写一个操作系统难度可想而知了，曾经有个北京的同事已经工作了十几年主要的精力就是在研究底层，是个疯狂的linux内核研究者只要是是家里没事就会呆在公司加班研究linux内核，有时候一起吃饭讨论研究linux内核的主要在哪块，他讲到其实linux内核已经不是当初设计的样子了，现在的代码的更新速度之快让人发指，在全球范围内真正对于核心内核代码具备修改能力的非常有限，而且已经被国外巨头公司收到自己的公司作为储备资源。
设想一个场景：有100万用户同一时候与一个进程保持着TCP连接，而每个时刻仅仅有几十个或几百个TCP连接时活跃的（接收到TCP包），也就是说，在每一时刻，进程值须要处理这100万连接中的一小部分连接。那么，怎样才干高效地处理这样的场景呢？进程是否在每次询问操作系统收集有事件发生的TCP连接时，把这100万个连接告诉操作系统，然后由操作系统找出当中有事件发生的几百个连接呢？实际上，在Linux内核2.4版本号曾经，那时的select或者poll事件驱动方式就是这样做的。
许多发行版都为内核提供了模块化或整体式的流量控制(QOS)。自定义的内核可能不会支持这些特性。
现在回首看看，接触Linux已经很长时间了。 在大三的时候开始学习Java， 但是一直学Java的话， 感觉有点腻， 就尝试找点其他东西来学习。 所以当时就选择学习了Linux。 至于为什么要学习Linux， 有以下三个原因。
Linux内核涉及进程和程序的所有算法都围绕一个名为task_struct的数据结构建立，该结构定义在/usr/include/sched.h中;task_struct数据结构提供了两个链表表头，用于实现进程家族关系;
Linux内核源码分析方法 一、内核源码之我见 Linux内核代码的庞大令不少人“望而生畏”，也正因为如此，使得人们对Linux的了解仅处于泛泛的层次。如果想透析Linux，深入操作系统的本质，阅读内核源码是最有效的途径。我们都知道，想成为优秀的程序员，需要大量的实践和代码的编写。编程固然重要，但是往往只编程的人很容易把自己局限在自己的知识领域内。如果要扩展自己知识的广度，我们需要多接触其他人编写的代码，尤其是水平比我们更高的人编写的代码。通过这种途径，我们可以跳出自己知识圈的束缚，进入他人的知识圈，了解更
最后，再说一点，英语非常重要。很多好的资料都是英文的，国内有些翻译本不是太好。尤其是google搜索时，学会使用英文关键词非常重要。
首先我们来看如何标识一个TCP连接？系统是通过一个四元组来识别，(src_ip,src_port,dst_ip,dst_port)即源IP、源端口、目标IP、目标端口。比如我们有一台服务192.168.0.1，开启端口80.那么所有的客户端都会连接到这台服务的80端口上面。有一种误解，就是我们常说一台机器有65536个端口，那么承载的连接数就是65536个，这个说法是极其错误的，这就混淆了源端口和访问目标端口。我们做压测的时候，利用压测客户端，这个客户端的连接数是受到端口数的限制，但是服务器上面的连接数可以达到成千上万个，一般可以达到百万（4C8G配置），至于上限是多少，需要看优化的程度。具体做法如下：
本系列是对 陈莉君 老师 Linux 内核分析与应用[1] 的学习与记录。讲的非常之好，推荐观看
上一篇文章中，谈了一些网络编程的基本概念。在现实使用中，用的最多的就是I/O复用了，无非就是select,poll,epoll 很多人提到网络就说epoll,认为epoll效率是最高的。单纯的这么认为，其实有失偏颇。epoll固然高效，可是它是怎么做到高效的，它到底比select或poll优异在哪儿？ 我们通过调用流程来简单分析下。 首先以select为例（poll类似），看下其调用过程 1.选择想要处理的套接字，通过接口FD_SET(fd, &set)加入到set中; 2.调用select(max+1,
有读者反馈，单看零碎的知识点，自己心中没底。还是看书更有框架一些，所以今天给大家推荐一些经典书籍，书籍电子版我已经发到百度网盘群。
写这个小结主要是因为之前研究Boost.Asio的时候，其内部使用了很多不同的方法来实现异步网络编程 然后就顺便把一些高级的玩意看了一下，也顺便把以前低级的玩意放到一起，哇哈哈。很多东西只是个人的理解，不一定正确
邓延军 (deng.yanjun@163.com), 硕士研究生, 西安电子科技大学软件工程研究所
Android系统的源代码非常庞大和复杂，我们不能贸然进入，否则很容易在里面迷入方向，进而失去研究它的信心。我们应该在分析它的源代码之前学习好一些理论知识，下面就介绍一些与Android系统相关的资料。
一位工作5年的小伙伴面试时被问到IO相关的问题，说，谈谈你对IO多路复用机制的理解。当时他说只是听过多路复用，具体细节没有了解过。今天，我给大家分享一下我的理解。
在Linux中，做什么都有相应命令。一般就在bin或者sbin目录下，数量繁多。如果你事先不知道该用哪个命令，很难通过枚举的方式找到。因此，在这样没有统一入口的情况下，就需要你对最基本的命令有所掌握。
操作系统属于软件范畴，负责管理系统的硬件资源。OS具备的功能：1.为应用程序提供执行环境。2.为多用户和应用程序管理计算机的硬件资源。3.虚拟化功能。4.支持并发。
在确定最大连接数之前，先来看看系统如何标识一个tcp连接。系统用一个4四元组来唯一标识一个TCP连接：{local ip, local port,remote ip,remote port}。
1、修改用户进程可打开文件数限制 在Linux平台上，无论编写客户端程序还是服务端程序，在进行高并发TCP连接处理时，最高的并发 数 量都要受到系统对用户单一进程同时可打开文件数量的 限制(这是因为系统为每个TCP连接都要创 建一个socket句柄，每个socket句柄同时也是一个文件句柄)。可使用ulimit命令查看系统允许当 前用户进程打开的文件数限制： [speng@as4 ~]$ ulimit -n 1024 这表示当前用户的每个进程最多允许同 时打开1024个文件，这1024个文件中还得除去每个进
Linux内核是GNU/Linux操作系统的核心组件。它是一个免费、开源、庞大、模块化、多任务的类Unix的操作系统内核。它最初是由Linus Torvalds在1991年为他的i386 PC创造的。
Linux 的内核源代码可以从网上下载,解压缩后文件一般也都位于linux目录下。内核源代码有很多版本，可以从linux0.01内核入手，总共的代码1w行左右，最新版本 5.9.8总共代码超过700w行，非常庞大.
redis利用epoll实现IO多路复用，将连接信息和事件放到队列中，依次放到文件事件分派器，事件分派器将事件分发给事件处理器。
上网一搜epoll，基本是这样的结果出来：《多路转接I/O – epoll模型》，万变不离这个标题。 但是呢，不变的事物，我们就更应该抓出其中的重点了。 多路、转接、I/O、模型。 别急，先记住这几个词，我比较喜欢你们看我文章的时候带着问题。
select、poll 和 epoll 都是 Linux API 提供的 IO 复用方式。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
