![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-11458826/5044cc7d504449072ee8a558305426d2.png)


# 本篇摘要
**本文围绕文件操作子服务（FileServer）展开，设计支持`单/多文件上传下载功能`，基于`BRPC通信与ETCD服务注册`，通过P`rotobuf定义接口协议`，C++实现服务端存储逻辑与客户端调用，`结合GTest验证四大接口可靠性`，`CMake管理项目模块`构建，实现高效服务端可靠的文件管理子服务。**
# 文件操作子服务（FileServer）模块设计及实现

## 实现主要功能（总体概括）：

1. 文件上传（`FileUpLoad`）
 - 单个文件上传：后台接收文件消息后转给文件子服务存储。
 - 多个文件上传：后台接收文件消息后转给文件子服务存储（循环读取进行存储）。
2. 文件下载（`FileDownLoad`）
 - 单个文件下载：后台获取用户头像等数据、客户端获取文件/语音/图片消息数据。
 - 多个文件下载：后台大批量获取用户头像等数据、前端批量文件下载（进行循环读取发送）。


## 操作流程图：
![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-11458826/b42424b51dedfe920a23fe15e3544568.png)

**操作过程简述：**

- 首先文件服务客户端与服务端约定好对应的Protobuf协议，然后brpc服务端重写实现对应的服务四大功能的接口函数（单传，多传，单下，多下），然后进行etcd服务注册（服务名- - - ip+port），再进行对应服务的添加到brpc服务器中，然后绑定对应ip+port开始运行。
- 然后就是客户端进行声明关心的服务，之后调用etcd封装的客户端进行注册对应回调函数，此时调用etcd的查询服务，之后获取对应关心的服务（fileserver）的brpc客户端请求信道channel，之后构建brpc请求对象进行相应函数调用相应服务功能接口即可。


## 实现过程：

### 详细整体流程图（纯手绘）

![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-11458826/f20d624fc9ec186dcc2a075394770a70.png)


### proto文件
**base.proto:**


```proto
syntax = "proto3";
package proto_module;
option cc_generic_services = true;
//上传时候需要保存用户上传的文件名字内容等
message FileMessageInfo {
 optional string file_id = 1;//文件id,客户端发送的时候不用设置
 optional int64 file_size = 2;//文件大小
 optional string file_name = 3;//文件名称
 //文件数据，在ES中存储消息的时候只要id和元信息，不要文件数据, 服务端转发的时候也不需要填充
 optional bytes file_contents = 4;
}

//加载需要
message FileDownloadData {
 string file_id = 1;
 bytes file_content = 2;
}

//上传需要
message FileUploadData {
 string file_name = 1; //文件名称
 int64 file_size = 2; //文件大小
 bytes file_content = 3; //文件数据
}

```

**file.ptoto:**

```proto
syntax = "proto3";
package proto_module;
import "base.proto";

option cc_generic_services = true;

message GetSingleFileReq {
 string request_id = 1;
 string file_id = 2;
 optional string user_id = 3; //用户ID
 optional string session_id = 4;//登录会话ID -- 网关进行身份鉴权
}
message GetSingleFileRsp {
 string request_id = 1;
 bool success = 2;
 string errmsg = 3; 
 optional FileDownloadData file_data = 4;
}

message GetMultiFileReq {
 string request_id = 1;
 optional string user_id = 2;
 optional string session_id = 3;
 repeated string file_id_list = 4;
}
message GetMultiFileRsp {
 string request_id = 1;
 bool success = 2;
 string errmsg = 3; 
 map<string, FileDownloadData> file_data = 4;//文件ID与文件数据的映射map
}

message PutSingleFileReq {
 string request_id = 1; //请求ID，作为处理流程唯一标识
 optional string user_id = 2;
 optional string session_id = 3;
 FileUploadData file_data = 4;
}
message PutSingleFileRsp {
 string request_id = 1;
 bool success = 2;
 string errmsg = 3;
 FileMessageInfo file_info = 4; //返回了文件组织的元信息
}

message PutMultiFileReq {
 string request_id = 1;
 optional string user_id = 2;
 optional string session_id = 3;
 repeated FileUploadData file_data = 4;
}
message PutMultiFileRsp {
 string request_id = 1;
 bool success = 2;
 string errmsg = 3; 
 repeated FileMessageInfo file_info = 4;
}

service FileService {
 rpc GetSingleFile(GetSingleFileReq) returns (GetSingleFileRsp);
 rpc GetMultiFile(GetMultiFileReq) returns (GetMultiFileRsp);
 rpc PutSingleFile(PutSingleFileReq) returns (PutSingleFileRsp);
 rpc PutMultiFile(PutMultiFileReq) returns (PutMultiFileRsp);
}
```
- 提供对应的四大操作（`上传 *2 下载 *2`）的请求及应答还有对应的rpc服务函数调用接口。

### server端实现

**首先进行上面连个proto文件编译生成对应C++对应对象的接口。**

#### 多模块整合实现fileserver端

首先还是按照之前的speechrecognizeserver那里`采取建造者模式`进行构建对应的服务端对象（`只不过把对应的asr语音对象去掉了，只包含对应的brpc，etcd封装的对象即可`，此外就是把对应给brpc调用服务对象传递对应的服务端存储文件的路径参数）。

然后就是进行内部成员如etcd中服务注册，以及向brpc中添加对应服务对象，启动rpc服务端而已（和上面的类似这里就不细讲了）。


#### 向brpc服务器中注册对应服务


**首先还是继承之前的由proto文件编译生成的FileService类，然后进行四大接口虚函数重写。**
```cpp
///////////////////支持brpc注册的fileservice服务的基类重写对应四个功能的函数

class RpcFileService : public proto_module::FileService
{

public:
 RpcFileService(const std::string &storage_path) : _storage_path(storage_path)
 {
 umask(0); // 设置 umask 为 0，不屏蔽任何权限,防止后续创建目录失败
 mkdir(storage_path.c_str(), 0775);
 if (_storage_path.back() != '/')
 _storage_path.push_back('/');
 }
 private:
 std::string _storage_path;
};

```




**下面就以一个函数为例（`向服务端进行put多文件请求与应答`）：**

```cpp
 ///////////////////进行从服务端上传对应文件集合：

 void PutMultiFile(google::protobuf::RpcController *controller,
 const ::proto_module::PutMultiFileReq *request,
 ::proto_module::PutMultiFileRsp *response,
 ::google::protobuf::Closure *done)
 {

 LOG_DEBUG("收到推送指定文件集合请求！");

 brpc::ClosureGuard rpc_guard(done);

 // 读取文件id数组进行一一获取进行读取内容构建答复：
 for (int i = 0; i < request->file_data_size(); i++)
 {
 proto_module::FileUploadData data;
 data = request->file_data()[i];
 std::string body = data.file_content();
 std::string fid = Utils::uuid();
 std::string filename = _storage_path + fid;
 bool ret = Utils::writeFile(filename, body);

 if (ret == false)
 {

 response->set_success(false);
 response->set_errmsg("读取文件数据失败！");
 LOG_ERROR("{} 读取文件数据失败！", request->request_id());
 return;
 }
 // 写入成功进行文件标志 名字，大小等信息填充：

 proto_module::FileMessageInfo *info = response->add_file_info();
 info->set_file_id(fid);
 info->set_file_size(request->file_data(i).file_size());
 info->set_file_name(request->file_data(i).file_name());
 }
 response->set_request_id(request->request_id());
 response->set_success(true);
 }
```

- 这里也比较简单，就是根据对应传递过来的req的文件数据数组，然后根据长度进行遍历，获取出来内容，为它制作专属id，然后进行写入指定路径来存储，最后拿着这个id，以及其他文件信息构建应答返回，之后用户就可以根据这个专属id进行查询对应文件即可。

**其他的三个接口实现也是根据对应根据请求进行对应操作（读取文件，存储文件等），然后构建应答进行返回。**


### client端实现

**实现思路：**

- 进行向信道模块设置关心的服务，以及注册对应的回调函数向etcd发现客户端中（当etcd服务端有内容或者内容有变化的话就会进行回调刚刚注册进信道模块中的函数完成对应拿取value进行构建对应rpc服务信道的操作），最后拿着对应信道构建brpc客户端进行对应服务接口函数请求即可。

**`代码逻辑如下：`**

```cpp
 // //通过gflags完成对应参数解析：
 google::ParseCommandLineFlags(&argc, &argv, true);
 // 勿忘初始化日志对象：
 init_logger(FLAGS_run_mode, FLAGS_log_file, FLAGS_log_level);

 // 初始化谷歌测试框架：
 testing::InitGoogleTest(&argc, argv);

 // 客户端调用rpc接口通过信道与rpc服务端进行通信
 ServiceManager::Ptr sm = std::make_shared<ServiceManager>();
 // 告诉服务管理者关系哪些服务：
 sm->Cared("/service/file_service");
 // 绑定对应etcd监控的服务变化的回调函数(一旦有服务变化的话，对应的回调函数就会完成services的维护工作)：
 auto put_cb = bind(&ServiceManager::OnlineService, sm.get(), std::placeholders::_1, std::placeholders::_2);
 auto del_cb = bind(&ServiceManager::UnonlineService, sm.get(), std::placeholders::_1, std::placeholders::_2);
 Discovery::Ptr dis = std::make_shared<Discovery>(FLAGS_etcd_host, FLAGS_base_service, put_cb, del_cb);

 pchannel = sm->ChooseService("/service/file_service");
 if (!pchannel)
 {
 std::this_thread::sleep_for(std::chrono::seconds(1));
 return -1;
 }

```


## 使用gtest测试框架进行四大接口测试：

**下面使用google的gtest框架进行测试者四个功能是否完整：**

**测试思路：**

- 比如把本地的Makefile文件进行上传，然后再下载回来，对base.proto file.proto文件进行多文件上传以及下载回来，根据对应md5sum值来判断是文件内容是否一致，以及查看服务端指定路径是否根据uuid生成的文件id进行存储对应文件。


**四大功能接口的gtest测试代码：**

```cpp
TEST(put_file, single_file)
{
 // 1. 读取当前目录下的指定文件数据
 std::string body;
 ASSERT_TRUE(Utils::readFile("./Makefile", body));
 // 2. 实例化rpc调用客户端对象，发起rpc调用
 proto_module::FileService_Stub stub(pchannel.get());

 proto_module::PutSingleFileReq req;
 req.set_request_id("1");
 req.mutable_file_data()->set_file_name("Makefile");
 req.mutable_file_data()->set_file_size(body.size());
 req.mutable_file_data()->set_file_content(body);

 brpc::Controller *cntl = new brpc::Controller();
 proto_module::PutSingleFileRsp *rsp = new proto_module::PutSingleFileRsp();
 stub.PutSingleFile(cntl, &req, rsp, nullptr);
 ASSERT_FALSE(cntl->Failed());
 // 3. 检测返回值中上传是否成功
 ASSERT_TRUE(rsp->success());
 ASSERT_EQ(rsp->file_info().file_size(), body.size());
 ASSERT_EQ(rsp->file_info().file_name(), "Makefile");
 single_fid = rsp->file_info().file_id();
 LOG_DEBUG("文件ID：{}", rsp->file_info().file_id());
}

TEST(get_file, single_file)
{
 // 先发起Rpc调用，进行文件下载
 proto_module::FileService_Stub stub(pchannel.get());
 proto_module::GetSingleFileReq req;
 proto_module::GetSingleFileRsp *rsp;
 req.set_request_id("2");
 req.set_file_id(single_fid);

 brpc::Controller *cntl = new brpc::Controller();
 rsp = new proto_module::GetSingleFileRsp();
 stub.GetSingleFile(cntl, &req, rsp, nullptr);
 ASSERT_FALSE(cntl->Failed());
 ASSERT_TRUE(rsp->success());
 // 将文件数据，存储到文件中
 ASSERT_EQ(single_fid, rsp->file_data().file_id());
 Utils::writeFile("make_file_download", rsp->file_data().file_content());
}

std::vector<std::string> multi_file_id; // 把上传成功的文件对应id保存起来后续方便下载

TEST(put_files, multi_files)
{
 // 1. 读取当前目录下的指定文件数据
 std::string body1;
 ASSERT_TRUE(Utils::readFile("./base.pb.h", body1));
 std::string body2;
 ASSERT_TRUE(Utils::readFile("./file.pb.h", body2));
 // 2. 实例化rpc调用客户端对象，发起rpc调用
 proto_module::FileService_Stub stub(pchannel.get());

 proto_module::PutMultiFileReq req;
 req.set_request_id("3");

 auto file_data = req.add_file_data();
 file_data->set_file_name("base.pb.h");
 file_data->set_file_size(body1.size());
 file_data->set_file_content(body1);

 file_data = req.add_file_data();
 file_data->set_file_name("file.pb.h");
 file_data->set_file_size(body2.size());
 file_data->set_file_content(body2);

 brpc::Controller *cntl = new brpc::Controller();
 proto_module::PutMultiFileRsp *rsp = new proto_module::PutMultiFileRsp();
 stub.PutMultiFile(cntl, &req, rsp, nullptr);
 ASSERT_FALSE(cntl->Failed());
 // 3. 检测返回值中上传是否成功(把对应文件id保存起来方便后续检查)
 ASSERT_TRUE(rsp->success());
 for (int i = 0; i < rsp->file_info_size(); i++)
 {
 multi_file_id.push_back(rsp->file_info(i).file_id());
 LOG_DEBUG("文件ID：{}", multi_file_id[i]);
 }
}

TEST(get_files, multi_files)
{
 // 先发起Rpc调用，进行文件下载
 proto_module::FileService_Stub stub(pchannel.get());
 proto_module::GetMultiFileReq req;
 proto_module::GetMultiFileRsp *rsp;
 req.set_request_id("4");
 req.add_file_id_list(multi_file_id[0]);
 req.add_file_id_list(multi_file_id[1]);

 brpc::Controller *cntl = new brpc::Controller();
 rsp = new proto_module::GetMultiFileRsp();
 stub.GetMultiFile(cntl, &req, rsp, nullptr);
 ASSERT_FALSE(cntl->Failed());
 ASSERT_TRUE(rsp->success());
 // 将文件数据，存储到文件中
 ASSERT_TRUE(rsp->file_data().find(multi_file_id[0]) != rsp->file_data().end());
 ASSERT_TRUE(rsp->file_data().find(multi_file_id[1]) != rsp->file_data().end());
 auto map = rsp->file_data();
 auto file_data1 = map[multi_file_id[0]];
 Utils::writeFile("base_download_file1", file_data1.file_content());
 auto file_data2 = map[multi_file_id[1]];
 Utils::writeFile("file_download_file2", file_data2.file_content());
}

```

## 使用CMake进行项目构建

**`CMakeLists.txt实现思路：`**

- 收集指定路径下的所有proto文件，进行向构建目录使用命令输出对应的.h / .cc文件（设置对应检查：如果当前目录存在就不用cmake重新构建浪费时间了），然后收集各个目录的.cc 以及对应源文件（sever.cc client.cc等），指定头文件搜索路径，最后对他俩进行一一链接库生成可执行文件。



[CMakeLists.txt文件源码（点击速览） ](https://gitee.com/wang-yimingq/an-instant-messaging-system-based-on-microservices/blob/master/server/file/CMakeLists.txt) 

## 测试效果展示：

![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-11458826/bd4db7514dc6e07c043aeb7917ccdef7.png)
- 当前build构建目录不存在对应的proto的.cc 或者.h 文件因此直接构建出来。

![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-11458826/25cea79ab729b303d10bcd3bee10428d.png)
- 进行make 生成对应文件。

![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-11458826/bfcb2d31020d752ba953ee9369ea5043.png)
- 存在对应proto依赖文件，再次cmake就不会在打印重新生成proto依赖文件提示了。

![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-11458826/11330cdde182b42e41cdd941c5fdaf8e.png)

- 启动对应file后台brpc服务端。

![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-11458826/1a673cea2e35a47669cdae1db3bb9db4.png)
- 可以看到对应服务被从etcd注册中心拿到然后进行rpc客户端信道模块进行构建管理，最后发起的四个gtest请求也是都跑通。

**下面测试下文件是否匹配：**

![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-11458826/36068ab809e958660d39857e71079ab9.png)
- 服务端指定路径保存对应上传的文件。

![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-11458826/69dcd0a0dc3e64531f6e79ee9f1cd84c.png)


- 就拿单文件上传和下载下来通过md5值来判断对应文件内容都是相同的（剩下的多文件的也应该是相同，这里就不验证了）。

## 源码汇总：

[**点击速览**](https://gitee.com/wang-yimingq/an-instant-messaging-system-based-on-microservices/tree/master/server/file)



# 本篇小结

**本文设计实现`文件操作子服务（FileServer）`，`支持单/多文件上传下载`，基于BRPC+ETCD构建，通过Protobuf定义接口，C++实现服务端与客户端，利用GTest验证功能，CMake管理构建，确保文件存储与检索可靠。**

本文围绕文件操作子服务（FileServer）展开，设计支持单/多文件上传下载功能，基于BRPC通信与ETCD服务注册，通过Protobuf定义接口协议，C++实现服务端存储逻辑与客户端调用，结合GTest验证四大接口可靠性，CMake管理项目模块构建，实现高效服务端可靠的文件管理子服务。

BRPC+ETCD高并发文件上传下载，GTest全链路验证+Protobuf接口设计，CMake一键构建之文件管理子服务实现！

编程语言

本文实现基于BRPC与ETCD的文件操作子服务，支持单/多文件上传下载。通过Protobuf定义接口，C++实现服务端存储与客户端调用，GTest验证四大接口可靠性，CMake管理构建，确保高效可靠的文件管理。

文件存储

代码解释

服务器

2026上云采购 | AI焕新·智启新局

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

BRPC+ETCD高并发文件上传下载，GTest全链路验证+Protobuf接口设计，CMake一键构建之文件管理子服务实现！-腾讯云开发者社区-腾讯云

BRPC+ETCD高并发文件上传下载，GTest全链路验证+Protobuf接口设计，CMake一键构建之文件管理子服务实现！

BRPC+ETCD高并发文件上传下载，GTest全链路验证+Protobuf接口设计，CMake一键构建之文件管理子服务实现！

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐