C++&linux-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

C++&linux

专栏成员

88

文章

153556

阅读量

20

订阅数

【项目设计】高并发内存池

高并发内存设计线程指针

1. 本项目基于google公司的开源项目tcmalloc作为背景，简化实现一个高并发内存池，用该项目可以替代传统的malloc free函数来申请和释放内存，malloc和free作为我们最开始接触内存管理的元老级函数是在熟悉不过的了，有人说已经有malloc和free这样的内存管理函数了，我们搞一个tcmalloc真的有意义吗？其实不然，像malloc和free这种的函数是通用级别的，而通用的东西往往都带有一个特性，那就是适用性强，可移植性强，但是随之而带来的缺点就是针对性不够明显，比如对于某些高并发项目场景，项目内的线程数量众多，不断的调用malloc，可能会涉及到频繁的加锁和解锁，这对于项目性能的影响是不可小觑的，所以在某些高并发场景，同时对性能要求又高的情况下，malloc和free就显的没那么能打了，此时google公司召集了一批顶尖的cpp高手写出来了tcmalloc这样高效的内存管理项目，而我们的这个项目只是从tcmalloc里面摘取了精华部分，目的就是学习和理解高效的内存管理应该是什么样子的，而不是造一个更好的轮子出来。

举杯邀明月

2024-05-26

510

【Linux】高级IO --- Reactor服务器IO设计模式

linux io reactor 服务器设计模式

1. 多路转接接口select poll epoll所做的工作其实都是事件通知，只向上层通知事件到来，处理就绪事件的工作并不由这些API来完成，这些接口在进行事件通知时，有没有自己的策略呢？其实是有的，在网络编程中，select poll 只支持LT工作模式，而epoll除了LT工作模式外，还支持ET工作模式，不同的工作模式对应着不同的就绪事件通知策略，LT模式是这些IO接口的默认工作模式，ET模式是epoll的高效工作模式。

举杯邀明月

2024-05-26

610

【C++】手写BST

指针 c++root 递归搜索

1. 搜索树的结点的定义也比较简单，每个结点都有左右子树和自身存储的_key值，_key就是利用搜索树进行搜索时的数据。

举杯邀明月

2024-05-26

480

【数据结构】B树，B+树，B*树

存储数据结构数据数组索引

1. 在内存中搜索效率高的数据结构有AVL树，红黑树，哈希表等，但这是在内存中，如果在外部存储设备中呢？比如数据量非常的大，以致于内存中无法存的下这么多数据，从而只能将大部分的数据存储到磁盘上，那如果要在磁盘上进行查找呢？我们还用内查找效率高的这些数据结构吗？由于大部分数据都在磁盘上，所以如果要查找某个数据，则只能先通过文件读取，将数据读取到内存中，然后在内存里面进行该数据的检索，如果存储结构是二叉搜索树，AVL树，红黑树，那树的高度是会比较大的，假设有10亿个数据，那么高度就将近30层，如果每层都做一次文件读取，那效率会非常的低，因为磁盘的访问速度和内存相比差距很大，算法导论上给出的数据，两者的访问速度相差大约10w倍，而且30层的高度，那总体下来的运行时间就是内存访问速度的300w倍，那search算法的效率瓶颈就全部压到了磁盘读取上，所以内查找优秀的这几个数据结构也不适用，有人说那哈希表呢？哈希表其实也不行，同时哈希表本身还有表空间的占用，数据量过大的情况下，内存用哈希表也是存不下的，同时哈希冲突厉害的情况下，还需要用红黑树来代替链表作哈希桶，高度依旧是很高的，所以内查找的这些数据结构都不适用于磁盘上数据的查找，此时就有大佬想到了新的数据结构，B树。

举杯邀明月

2024-02-29

1390

【数据结构】跳表

数据结构遍历数组指针存储

1. William Pugh在1990年发表了关于skiplist的论文，skiplist本质上也是一种查找结构，用于解决算法中的查找问题，这点几乎是所有数据结构的通性，无论哪个数据结构都离不开增删查改的操作，skiplist同样也是如此，skiplist与红黑树，AVL树的性能相差无几，对于查找的时间复杂度同样是O(logN)，所以skiplist是一个很高效的数据结构，同时他的实现相比AVL和红黑树要简单许多，所以skiplist在很多场景下备受青睐，例如在redis这样出名的nosql中也使用了skiplist，同时在某些大厂的面试笔试中，手写一个跳表也变得频繁起来，所以该数据结构很重要。

举杯邀明月

2024-02-23

1860

【数据结构】LRU Cache

数据缓存数据结构接口链表

1. LRUCache是一种缓存的替换技术，在CPU和main memory之间根据计算机的局部性原理，往往会采用SRAM技术来构建CPU和主存之间的高速缓存，DRAM(dynamic random access memory)用于构建主存，LRUCache这种缓存替换技术常被应用于高速缓存中缓存行的替换，我们接下来就要模拟实现LRUCache这种数据结构。

举杯邀明月

2024-02-18

1010

【数据结构】图

数组算法存储数据结构遍历

1. 图这种数据结构相信大家都不陌生，实际上图就是另一种多叉树，每一个结点都可以向外延伸许多个分支去连接其他的多个结点，而在计算机中表示图其实很简单，只需要存储图的各个结点和结点之间的联系即可表示一个图，顶点可以采取数组vector存储，那顶点和顶点之间的关系该如何存储呢？其实有两种方式可以存储顶点与顶点之间的关系，一种就是利用二维矩阵(二维数组)，某一个点和其他另外所有点的连接关系和权值都可以通过二维矩阵来存储，另一种就是邻接表，类似于哈希表的存储方式，数组中存储每一个顶点，每个顶点下面挂着一个个的结点，也就是一个链表，链表中存储着与该结点直接相连的所有其他顶点，这样的方式也可以存储结点间的关系。

举杯邀明月

2024-02-18

1010

【数据结构】并查集(路径压缩)

数组效率压缩优化数据结构

1. 并查集解决的是连通块的问题，常见操作有，判断两个元素是否在同一个连通块当中，两个非同一连通块的元素合并到一个连通块当中。并查集和堆的结构类似，都是采用数组存储下一个节点的下标的方式来抽象成一棵树，只不过堆的数组对应的是一棵二叉树，而并查集的数组对应的是森林，可以抽象成很多的树，并且每棵树也不一定是二叉树，任意形状均可。初始化数组时，数组存储内容均为自己的下标，表示每个节点的父节点都是自己，previous译为先前的，在这里正好表示某一个元素的父节点元素下标是多少。合并两个节点，实际上是合并这两个节点分别对应的根节点，这里可能会有人有疑问，为什么不合并非根节点呢？如果你合并非根节点，让非根节点指向另一个非根节点，那么2棵树直接变成三棵树了。并查集合并算法的性能瓶颈其实是在找根的操作上，如果一棵树的高度是N，那么找根的时间复杂度其实就是O(N)了，这样的效率实际上是很低的，所以后面会进行三种方式的优化。统计并查集中树的个数其实也比较简单，只需要统计根节点是自己的节点个数即可。

举杯邀明月

2024-02-05

1400

【项目设计】仿muduo实现高性能服务器组件

服务器高性能连接设计事件

项目源码目录（博客中的代码截图稍有一点不完整，如果要拿到完整的代码需要去访问gitee，本文不会讲繁杂的各个模块代码上细节的处理，代码实现上你所较容易产生的为什么问题，我都在代码截图上注释清楚了，如果你觉得自己光看代码无法理解的非常透彻，建议你把代码实现一遍，在实现过程中你一定会不断的思考，产生问题，解决问题，这会帮助你更好的掌握该项目的思想，此时如果你回头再看本篇博客中我所说的看起来没啥用较为鸡肋的思想时，你我之间可能会产生共鸣。） 1. 本项目旨在实现一个能够在某一时刻接收大量的高并发连接的服务器组件，注意我们实现的是一个组件，也就是说通过该组件，使用者就可以快速简单的搭建出一个高性能服务器，在此服务器基础上，使用者可以任意添加各种应用层协议，以此来实现出多种功能的服务器，例如HTTP服务器，FTP服务器，SSH服务器等等…… 本博客则实现较为常见的HTTP服务器，即使用这个服务器组件搭建出基本的底层服务器框架后，只需要在应用层添加HTTP协议式数据的解析和发送即可，这样就完成了一个服务器的搭建，本博客的核心知识点80%都集中在实现该高并发服务器组件上，通过实现该组件，你可以学到Reactor事件驱动处理模式的设计思想，理解linux下一切皆文件的哲学理念，也可以学到one thread one loop的多线程编码时各种需要注意的坑。 20%的应用层协议支持相对较为简单，但从中你也可以学到如何在源源不断到来的字节流数据中，把握好数据的解析处理节奏，从而拿出一个完整的HTTP请求进行解析和响应，此外也可以加深你对HTTP这种协议下数据格式的印象。

举杯邀明月

2024-01-30

1290

【项目设计】网络对战五子棋（下）

游戏队列服务器设计网络

我不再装模作样地拥有很多朋友，而是回到了孤单之中，以真正的我开始了独自的生活。有时我也会因为寂寞而难以忍受空虚的折磨，但我宁愿以这样的方式来维护自己的自尊，也不愿以耻辱为代价去换取那种表面的朋友。

举杯邀明月

2023-10-25

3900

【项目设计】网络对战五子棋（上）

对象服务器连接设计网络

1. a. http协议在Linux的学习部分我们就已经学习过了，当时http和https是一块学的，我们当时其实已经了解了http的大部分知识内容，比如http请求和响应的格式，各自的报头字段都有哪些，cookie和session机制，http1.1的长连接策略keep-alive，还有请求方法GET和POST等等知识内容，这么看来http感觉已经很优秀了，为什么还要有websocket协议呢？ b. 其实http有一个致命的缺点，就是无法支持服务器向客户端主动推送消息，传统的CS通信方式都是一问一答的，即客户端向服务器发送一个请求，服务器向客户端反馈一个响应，而在最传统的http1.0版本协议中，客户端每和服务器进行一次通信都需要建立一条TCP连接，当浏览器访问了服务器上的某个html网页时，此时就会在应用层协议http的基础上建立一条短连接，而http短连接其实就是tcp短链接，如果浏览器此时想要访问web网页中的其他资源，那就需要重新再向服务器发起一次http请求，以获取到服务器上的对应资源，此时原来的http连接就会自动被断开，然后重新建立一条短连接，这样的方式非常的难受啊，因为用户访问某web资源时，肯定不可能只访问一个资源啊，他一定会向服务器发起多个http请求，获取访问多个web资源，那如果在传统的http1.0协议下，就会频繁的建立和断开连接，这会很浪费服务器的时间和网络带宽，因为http短连接其实就是tcp短连接，本来tcp是一个可靠的，高效的，有链接的协议，但结果http不会用，双方通信一次就关闭掉了，这也太浪费了！ c. 所以在http1.0之后，又推出了http1.1协议，也就是在请求报头中添加了一个字段Connection:keep-alive，也就是http长连接，当上层http连接建立成功后，下层的tcp连接不会在一次通信之后就断开了，而是会在一段时间之后才断开，在这段时间里面，双方都可以使用该连接进行资源的请求和获取，或者是业务的请求和处理，确实是比以前要高效的多了，但http1.1依旧还存在一个问题，就是他的通信模式还是没有变化的，也就是一问一答的通信模式，不过他已经比原来的http1.0要高效很多了，省去了很多不必要的tcp连接建立和断开，也减少浪费带宽。

举杯邀明月

2023-10-23

2060

【Linux】高级IO --- Reactor网络IO设计模式

linux io reactor 设计模式网络

1. 多路转接接口select poll epoll所做的工作其实都是事件通知，只向上层通知事件到来，处理就绪事件的工作并不由这些API来完成，这些接口在进行事件通知时，有没有自己的策略呢？其实是有的，在网络编程中，select poll 只支持LT工作模式，而epoll除了LT工作模式外，还支持ET工作模式，不同的工作模式对应着不同的就绪事件通知策略，LT模式是这些IO接口的默认工作模式，ET模式是epoll的高效工作模式。

举杯邀明月

2023-10-17

1910

【Linux】高级IO --- 多路转接，select，poll，epoll

linux epoll io select 内核

1. 后端服务器最常用的网络IO设计模式其实就是Reactor，也称为反应堆模式，Reactor是单进程，单线程的，但他能够处理多客户端向服务器发起的网络IO请求，正因为他是单执行流，所以他的成本就不高，CPU和内存这样的资源占用率就会低，降低服务器性能的开销，提高服务器性能。而多进程多线程方案的服务器，缺点相比于Reactor就很明显了，在高并发的场景下，服务器会面临着大量的连接请求，每个线程都需要自己的内存空间，堆栈，自己的内核数据结构，所以大量的线程所造成的资源消耗会降低服务器的性能，多线程还会进行线程的上下文切换，也就是执行流级别的切换，每一次切换都需要保存和恢复线程的上下文信息，这会消耗CPU的时间，频繁的上下文切换也会降低服务器的性能。前面的这些问题都是针对于服务器来说的，对于程序员来说，多执行流的服务器最恶心的就是调试和找bug了，所以多执行流的服务器生态比较差，排查问题更加的困难，服务器不好维护，同时由于多执行流可能同时访问临界资源，所以服务器的安全性也比较低，可能产生资源竞争，数据损坏等问题。

举杯邀明月

2023-10-17

2190

【Linux】数据链路层：以太网协议

linux 局域网数据协议主机

1. （1）IP提供了将数据包跨网络发送的能力，这种能力实际上是通过子网划分+目的ip+查询节点的路由表来实现的，但实际上数据包要先能够在局域网内部进行转发到目的主机，只有有了这个能力之后，数据包才能跨过一个个的局域网，最终将数据包发送到目的主机。所以跨网络传输的本质就是跨无数个局域网内数据包转发的结果，离理解整个数据包在网络中转发的过程，我们只差理解局域网数据包转发这临门一脚了。（2）而现在最常见的局域网通信技术就是以太网，无线LAN，令牌环网（这三种技术在数据链路层使用的都是MAC地址），早在1970年代IBM公司就发明了局域网通信技术令牌环网，但后来在1980年代，局域网通信技术进入了以太网大潮，原来提供令牌网设备的厂商多数也退出了市场，在目前的局域网种令牌环网早已江河日下，明日黄花了，等到后面进入移动设备时代时，在1990年，国外的一位博士带领自己的团队发明了无线LAN技术，也就是wifi这项技术，实现了与有线网一样快速和稳定的传输，并在1996年在美国申请了无线网技术专利。今天学习的正是以太网技术。

举杯邀明月

2023-10-17

3770

【Linux】网络层协议：IP

linux ip 路由器协议主机

1. 我们之前已经学习了TCP，当时我们在进行讲解时，是站在上帝视角直接说A主机将数据段发送到B主机，可是A主机真的是直接将数据段发送到对方吗？其实并不是，传输层的数据段是要向下交付到网络层的，那TCP究竟在数据网络传输的过程中扮演了什么样的角色呢？网络层的核心工作又是什么呢？我该怎样理解这两层协议栈呢？

举杯邀明月

2023-10-17

2670

【Linux】传输层协议：UDP和TCP

linux udp tcp 数据协议

1. 在网络通信中，通信的本质实际就是两台主机上的进程在网络环境中进行通信，也就是数据的传输，而我们总说TCP/IP协议栈，这两个协议分别解决了两个重要的问题，即一台主机如何在网络环境中标定自己的唯一性，一台主机中的某个进程如何在主机内部标定自己的唯一性，实际就是通过网络层协议IP地址和传输层协议端口号port来解决这两个问题的。

举杯邀明月

2023-10-17

5300

【MySQL】MySQL索引、事务、用户管理

mysql 管理事务数据索引

20岁的男生穷困潦倒，20岁的女生风华正茂，没有人会一直风华正茂，也没有人会一直穷困潦倒…

举杯邀明月

2023-10-17

1850

【MySQL】MySQL数据库的进阶使用

数据库 mysql 函数连接数据

1. 之前我们所学的都是DDL语句，接下来所学的才是真正的DML语句。插入数据的sql语句就是insert into table_name (column1, column2, ……) values (data1, data2, ……)，values左边的括号不加时，默认代表对表的所有列进行插入，不忽略任何一列，加上括号时，可以自己指定某些列进行插入，但值得注意的是如果某些列没有default约束，你还将其忽略进行数据插入的话，则插入数据的操作一定会失败。values右边的括号个数表示向表中插入几行的数据，括号中用逗号分隔开来的数据分别一一对应表中的列字段。

举杯邀明月

2023-10-17

2790

【MySQL】MySQL数据库的初阶使用

数据库存储 mysql 服务数据

1. 安装mysql服务器的时候，我们将用户身份切换为root，安装好之后普通用户也是可以通过MySQL命令行式的客户端来访问mysqld服务，初期学习MySQL的时候建议直接使用root的身份来进行学习，快速上手基本的sql语句编写之后，我们在后期学习用户管理时，可以自己手动新建普通用户，给普通用户赋予一定的数据库管理权限。

举杯邀明月

2023-10-17

3190

【Linux】应用层协议：HTTP和HTTPS

linux http https 服务器协议

1. 在之前的文章中我们实现了一个网络版本的计算器，在那个计算器中揉合了协议定制以及序列化反序列化的内容，我们当时也自己定制了一套协议标准，比如请求和响应的格式应该是什么？如何读到一个完整的报文？支持的运算符有什么？等等我们都有自己的标准。那么有没有其他大佬针对应用层的某些使用场景，已经提前给我们写好了协议软件呢？有，这个协议就是http协议，我们当时的协议仅仅是针对计算场景所设计的，而http协议主要是针对web场景所设计的。虽然到现在我们还没真正的接触http协议的具体内容，但我们现在已经可以知道，http中一定有网络套接字编程，序列化反序列化，以及http要进行的自己的业务逻辑，而这三个方面实际和我们当时的计算器相同，都是分别对应OSI上三层模型，分别是会话，表示，应用，http的业务逻辑一般主要是电子邮件的发送，远程登陆，文件传输等……

举杯邀明月

2023-10-17

1700

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态