前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >校招找C++后台开发该准备什么样的项目比较好呢?

校招找C++后台开发该准备什么样的项目比较好呢?

作者头像
博文视点Broadview
发布2023-04-19 12:10:06
8280
发布2023-04-19 12:10:06
举报

这篇文章是回答一位小方说服务器开发知识星球的球友的问题,他的问题是:

秋招找C++后台开发该准备什么样的项目比较好呢?

目前有两个想法:

1. 做一个小型的Web服务器;2. 做一个简易版的数据库。

请问各位大佬有没有推荐的项目啊

以下是小方的回答:

目前人在大厂做 C++ 架构,面试的应届生不下于百人,而面试时以一个 Web 服务器作为项目经历的学生挺常见的。不是说 Web 服务器作为项目不行,但是有一些注意事项。我给你讲两个同学以 Web 服务器作为项目的故事,希望对你有帮助。

一、A 同学的 Web 服务器项目

A 同学的项目就是一个 Web 服务器,看简历上的描述挺高端的。

作为面试官,我在实际面试中问了该同学以下问题:

1. 介绍一下整个服务的程序结构。该同学的描述是主线程开启监听 socket 之后,进入无限循环调用 accept 处理客户端连接,accept 返回新的客户端 socket 后封装成任务交给线程池处理,线程池的线程共用一个队列,当有任务产生时,从任务队列中取出任务执行。我首先询问了一下,主线程如何通知工作线程有任务,该同学说使用条件变量,并且每次只唤醒一个工作线程,此时我扩展了一下问题,假设我某次投递了 N 个任务,我想同时唤醒 N 个线程(N 小于工作线程数目),这样要如何设计?

2. 接着我对他关于程序结构的描述提出了质疑,如果 accept 之后就将客户端 socket 封装成任务交给线程池处理,此时严格来说是没有任务需要执行的,因为客户端 socket 上不一定有数据需要收发,如果有数据需要收发,任务线程如何处理?如果在工作线程中将客户端 socket 挂载到某 IO 复用函数上去,那么为了保证效率,这些任务就常驻线程池了,这样几个连接之后,线程池的所有线程都被占用了,无法继续处理其他任务了。在我提出这些质疑后,这位同学给不出合理的解释。

3. 既然是 Web 服务,那么解析 HTTP 数据包是一个核心功能,我询问了该同学 HTTP 协议的格式,该同学清楚 HTTP 包头和包体如何分界,当时当我问到,HTTP 是基于 TCP 协议的,TCP 是流式协议,包头可以通过 \r\n\r\n 确定边界,包体如何确定边界呢?该同学说不清楚。我接着又问,既然是 HTTP 协议,那么肯定可以处理 GET 和 POST 请求,那么 GET 请求和 POST 请求有什么区别,你在处理的时候,如何区分的,分别又是如何解包的,该同学只能说出 GET 请求的参数放在 URL 后面,但是说不清楚 POST 请求的数据放在哪里,如何确定数据长度。这里实际是对 HTTP 协议格式的考察。

4. 项目中说这个服务是“高性能的”,可以支持到上万 QPS,我接着问,你是如何做压测的,压测的服务所在的配置如何,最后该同学告诉我,该项目其实只是单纯的支持上万连接,而不是上万 QPS,谈到连接,我让该同学介绍下 Socket 编程服务端和客户端的基本流程,该同学答出来了,接着我问了一个细节问题,服务端需要调用 bind 一个端口号,如果不 bind 会怎样?客户端通常不需要 bind 一个端口号,但是如果调用 connect 函数前,我们调用 bind 函数绑定一个端口号,会怎样?该同学答不上来。

5. 项目中提到 Proactor 模式,我询问他这是一种什么样的模式。然后,我说据我所知,一般 Reactor 模式用得更多,那你知道 Proactor 和 Reactor 模式有什么区别吗?该同学答不上来。在解释 Proactor 模式的时候,该同学提到了 IO 复用函数,我询问他知道哪些常用的 IO 复用函数,该同学介绍了 select、poll、epoll,我接着询问这三个 IO 复用函数的使用场景和优缺点,该同学答对后,我问了下 epoll 模型的水平和边缘触发模式的区别。接着,我给出一个具体场景,假设我某个客户端 socket 绑定到 epollfd 上后使用边缘触发模式,现在该客户端发来了 100 个字节,是否会触发读事件;服务端收了 50 个字节,读事件会在下一轮中继续触发吗?假设接着客户端又发了 10 字节,此时服务端会触发读事件吗?

6. 我接着询问了该同学使用何种 IDE 开发的该项目,于是问了一些该 IDE 的调试命令,该同学不熟悉。

7. 接着我问该同学是否熟悉一些网络调试命令,如如何查看一个服务监听端口已经开启、当前连接信息,是否会使用 tcpdump 等抓包工具等等。

不知道,这些问题你是否能答上来。

根据该同学的面试表现,我怀疑该同学是否有深度参与过这个项目,可能只是把别人的东西拿来借用一下。另外,实际考察中发现该同学不熟悉 HTTP 协议,网络编程的基础勉强及格,实践(调试)经验不足。所以,这个项目写在简历中起到了相反的作用,面试不通过。

二、B 同学的 Web 服务器项目

原来的项目地址:

https://github.com/yhirose/cpp-httplib

深入地看了下该项目,有如下优点:

  • 代码整体风格和质量还不错,支持 C++ 11 语法;
  • 代码量不大,如果想在项目中使用,只要包含一个 httplib.h 头文件即可;如果你想做成动态引用库,作者也提供了一个工具,可以把这个项目切成 .h 和 .cpp 两个文件。
  • 支持 Windows 和 Linux 多平台。
  • 支持的 http 功能比较多,像 http multipart-data、http chunk 技术都能支持,同时提供 http client 和 server 端功能,且支持 https 功能。

这个项目应该很受学生朋友的喜欢,例如 B 同学就使用了这个项目进行改造写进自己的简历中。

项目使用

该项目的 README.md 中给了很多的例子,使用这个项目也很简单,我们以这个项目的自带例子为例:

代码语言:javascript
复制
#include <chrono>
#include <cstdio>
#include <httplib.h>


using namespace httplib;


int main(void) {
	Server svr;
	svr.Get("/", [=](const Request & /*req*/, Response &res) {
	res.set_redirect("/hi");
	});
	
	svr.Get("/hi", [](const Request & /*req*/, Response &res) {
	res.set_content("Hello World!\n", "text/plain");
	});
	
	// 设置错误处理路由(如404页面)
	svr.set_error_handler([](const Request & /*req*/, Response &res) {
	const char *fmt = "<p>Error Status: <span style='color:red;'>%d</span></p>";
	char buf[BUFSIZ];
	snprintf(buf, sizeof(buf), fmt, res.status);
	res.set_content(buf, "text/html");
	});
	
	svr.listen("0.0.0.0", 8080);
	
	return 0;
}

以上数行代码就建好了一个 http server,我们启动后,用浏览器发一个 http 请求看下效果:

如果我们访问一个不存在的路径,则会显示一个 404 页面:

项目源码分析

这个项目整个结构很精炼,我来介绍下。

主线程的逻辑(从 main 函数开始):

工作线程是一个循环,其流程如下:

代码语言:javascript
复制
for (;;) {
	std::function<void()> fn;
	
	{
		std::unique_lock<std::mutex> lock(pool_.mutex_);
		
		// 1. 等待条件变量被唤醒
		pool_.cond_.wait(
		  lock, [&] { return !pool_.jobs_.empty() || pool_.shutdown_; });


		// 2. 队列不为空时,条件变量被唤醒,从队列中取出任务
		fn = pool_.jobs_.front();
		pool_.jobs_.pop_front();
	}


	// 3. 执行任务
    fn();
}

fn()是被放入队列中的任务,实际指向 process_and_close_socket(sock) 函数,由于连接已经建立,所以在这个函数中读取数据,然后解析 http 请求报文,然后根据设置的 http 路由进行处理,在路由处理函数中组装 http 响应,然后将数据发出去,如果某个路由未设置,则走默认错误处理路由。

项目存在的两个 bug

整个项目看起来非常的轻量,而且使用起来非常丝滑,从代码质量和风格来看,作者对 Modern C++ 语法写的也比较溜。

但是,整个项目存在两个比较严重的 bug,我们来看挨个看一下。

bug 1

首先是收数据的地方:

代码语言:javascript
复制
bool Server::process_request(Stream &strm, bool close_connection,
                        bool &connection_closed,
                        const std::function<void(Request &)> &setup_request) {
	
	// 1. 分配一块内存缓冲区
	std::array<char, 2048> buf{};


	detail::stream_line_reader line_reader(strm, buf.data(), buf.size());


	// 2. 利用buf缓冲区从socket中收取数据
	if (!line_reader.getline()) { return false; }
	
	// 无关代码省略...
}

其中 line_reader.getline() 函数的实现如下:

代码语言:javascript
复制
bool stream_line_reader::getline() {
	glowable_buffer_.clear();


	for (size_t i = 0;; i++) {
		char byte;
		// 在这里调用 socket recv函数收取数据,
		// 注意这里的sock是非阻塞socket
		auto n = strm_.read(&byte, 1);
		if (n < 0) {
			return false;
		} else if (n == 0) {
			if (i == 0) {
				return false;
			} else {
				break;
			}
		}


		append(byte);


		if (byte == '\n') { break; }
	}


	return true;
}

不知道读者是否看出上述代码的 bug ?

作者的本意是,由于 socket 是非阻塞的,所以在一个死循环(注意上述代码中 for 循环没有退出条件)中收取数据,一直收到 \n 结束(http 的头每一行都以 \r\n 结束),所以收到一个 \n 就可以认为收到了一行,这也是函数 getline 的含义。

但是这个存在一个问题,这样在一个循环里面收取数据,如果收不到 \n 或者过了很久才收到 \n,那么这个任务就不会结束,一直在占据着某个工作线程,这样如果当这样的请求数等于工作线程数时,线程池就被占满了,再也无法处理新的 http 请求了。这种场景很容易模拟,只要 http 客户端建立连接后,先发了 http 请求头的几个字符,然后 sleep 几秒再接着发,多几个这样的客户端,这个 http server 就卡住了。

那么正确的做法应该怎么做呢?我们应该要处理以下情形:

  • 如果客户端一直发数据,但是迟迟不发特定的分隔符(如 `\r\n`),我们需要给当前已经接收到的数据设置一个上限,超过该上限时还没收到特定的分隔符,认为请求非法,断开连接;
  • 如果客户端连接上来之后,迟迟不发数据,或者像上面所说的,连接上后,先发 http 请求的部分数据,然后再过一段时间再发部分数据,此时,我们需要一个定时器,在客户端连接成功后设置该定时器,如果在规定时间内未收到期望的数据,触发定时器逻辑,断开连接,节约资源。这也是 Nginx 中的做法,甚至在 Nginx 中有新的客户端连接上来时, Nginx 连相关的对象都不创建,一直到该客户端发来第一组数据,这是提高性能的一种策略,为的就是防止那些无效连接(只连接不发数据或者连接了乱发数据的客户端)。

bug 2

我们再来看一下组装好好 http 响应然后发送的逻辑:

代码语言:javascript
复制
bool Server::write_response_core(Stream &strm, bool close_connection,
                                        const Request &req, Response &res,
                                        bool need_apply_ranges) {
  
	
	// 发送http头
	if (!detail::write_headers(bstrm, res.headers)) { return false; }


	
	// 发送http body
	auto &data = bstrm.get_buffer();
	detail::write_data(strm, data.data(), data.size());
}

我们来看 detail::write_data 的实现:

代码语言:javascript
复制
bool write_data(Stream &strm, const char *d, size_t l) {
	size_t offset = 0;
	while (offset < l) {
		//strm.write中调用socket send函数
		auto length = strm.write(d + offset, l - offset);
		if (length < 0) { 
			return false;
		}
		
		offset += static_cast<size_t>(length);
	}
	return true;
}

这里存在的问题是,在网络编程中,当我们有数据需要发送时可以直接发送,但是如果数据因为对端 TCP 窗口太小发不出去时,我们应该将数据缓存起来,并注册监听 socket 可写事件,在下一次可写事件触发时,我们接着发数据,一直到数据发完为止,这个库中缺少这样的逻辑,所以程序是不健壮的。

网络编程中,如何收取和发送数据正确的姿势,可以参考我之前写的这篇文章《网络通信中收发数据的正确姿势》。

由于该同学作为自己的项目使用时,并没有发现和解决这个项目中的两个 bug,且面试时不能解释清楚为什么这么做,所以最终也没能通过面试。这位同学把这个库包装成了自己的项目,然后在面试中暴露出自己网络编程知识的短板......

三、给同学们选择面试项目的一点建议

我的建议是,对于应届生,无论是引用开源项目还是自己的项目,一定要吃透项目,尤其是项目中不能有明显的 bug 或者硬伤,在面试的时候要能解释得清楚项目的原理和一些设计细节。

四、项目经验和基础哪个更重要

需要注意的是,即使是 C++ 面试,如果你是应届生,想进大厂,应该优先好好准备算法和数据结构知识以应对面试,这是大型互联网公司面试频率最高的考察范围。项目经验不是必需的,算法和数据结构才是考察的重中之重。

我分享一下我的算法题库 + 整理了一些常见的大厂算法题与面经:

链接: https://pan.baidu.com/s/1Igq2ZG06cFE0BRMxM_T6Sg 提取码: tjok

作者著作

▊《C++服务器开发精髓》

张远龙 著

  • 从操作系统原理角度讲解C++服务器开发技术栈
  • 内容详尽细致、版本新
  • 重磅级C++服务器开发红宝书

本书详细讲解如何掌握C++服务器开发技术,以及如何成为合格的C++开发者,秉承的思想是,通过掌握技术原理,可以轻松制造“轮子”,灵活设计出优雅、鲁棒的服务,并快速学习新技术。

无论是对于C/C++开发者、计算机专业的学生,还是对于想了解操作系统原理的读者,本书都极具参考价值。

(限时五折优惠,快快扫码抢购吧!)

423阅读狂欢节

全场5折起

活动时间:2023.4.6-2023.4.23

扫描下方二维码还可以领取叠加优惠券哦!

优惠券限京东自营大部分图书使用,具体情况以实际提示为准。

代码语言:javascript
复制
发布:刘恩惠
审核:陈歆懿 

如果喜欢本文欢迎 在看丨留言丨分享至朋友圈 三连<  PAST · 往期回顾  >
商汤版ChatGPT「商量」来了!开放API,基于千亿参数大模型,体验实录在此

点击阅读原文,查看本书详情!

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2023-04-13,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 博文视点Broadview 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 这篇文章是回答一位小方说服务器开发知识星球的球友的问题,他的问题是:
  • 秋招找C++后台开发该准备什么样的项目比较好呢?
  • 目前有两个想法:
  • 1. 做一个小型的Web服务器;2. 做一个简易版的数据库。
  • 请问各位大佬有没有推荐的项目啊
    • 一、A 同学的 Web 服务器项目
      • 二、B 同学的 Web 服务器项目
        • 项目使用
        • 项目存在的两个 bug
      • 四、项目经验和基础哪个更重要
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档