分享一个ASP.NET Core分布式文件上传系统

曾经做过一个学校的系统，主要用于老师上传课件和布置作业，学生学习和提交作业，当时也没考虑那么多，上传的文件全部都是放在同一个服务器上了，没想到几年过去了，这个系统还一直在用着，长时间上传的资源文件使硬盘空间吃紧了，历史数据还没法存档，由于这个契机吧，自己简单实现了一个文件分布上传的系统。下面称为ufs。

一、系统架构图

上图描述了用户上传文件和访问文件的流程走向，系统主要涉及ufs和下面的node。

ufs是web网站或者app上传的统一接口，ufs根据配置把上传的文件分发到某个node上。

node会返回上传结果给ufs，主要是上传成功后的文件url，ufs收到url再返回给上层应用。

上层应用获取到url可以展示出来或者存储到数据库。

当用户访问资源的时候，直接从各个node获取。

当某个node的可用存储满了，可以从ufs配置中删除掉，然后加入新的node，删除的node只要是服务不关闭，照样可以访问上面的文件，具体配置看下面。

二、ufs配置

{
  "ufs": {
    "allowExts": [".txt", ".jpg", ".jpeg", ".png", ".bmp", ".doc", ".docx", ".xls", ".xlsx", ".ppt", ".pptx", ".pdf"],
    "limitSize": 10485760,
    "accessToken": "123456",
    "downstreams": [
      "http://node1.ufs.timeschip.com"
    ],
    "test": {
      "limitSize": 10485760,
      "accessToken": "abcd"
    }
  }
}

ufs就是node的网关，提供了下面这几个功能配置：

1. allowExts数组用于配置可以上传的文件类型
2. limitSize限制文件上传的大小
3. accessToken访问ufs的令牌
4. downstreams配置下游node节点

上面配置中，和ufs平级的还有一个test节点，里面允许的子节点和ufs的子节点是一样的。目的是为不同的应用提供上传服务。

此处的“test”就是应用名称，这个名字需要和上层应用约定好，test应用上传的时候表明是test，就会使用配置文件中test的配置，如果配置文件中没有test这个节点配置，就会使用ufs节点下的默认配置。

这样的配置方式就像该配置文件本身（appsettings.json）的加载方式一样，会使用指定的配置覆盖默认配置，非常灵活。至于如何调用，我们后面再说。

三、ufs.node配置

{
  "ufsNode": {
    "mimeModifiers": [
      {
        "ext": ".htm3",
        "type": "text/html",
        "opt": "add"
      },
      {
        "ext": ".mp4",
        "opt": "remove"
      }
    ],
    "domain": "http://node1.ufs.loogn.com",
    "physicalPath": "D:/WebSite_Core/ufsnode1/upload",
    "virtualPath": "/ufs",
    "cachePeriod": 604800,
    "enableThumbnail": true,
    "thumbnailExts": [
      ".jpg",
      ".png"
    ],
    "allowIPs": [
      "::1",
      "127.0.0.1",
      "122.114.222.186"
    ]
  }
}

node的配置比ufs要多一些，毕竟真正的存储和访问功能都在node上：

mimeModifiers数组可以修改node服务的mime类型，每一项有三个子节点：ext为文件后缀名，type为映射的ContentType, opt是枚举可取add、remove。

• domain为该node服务运行的域名，是上传文件url的一部分
• physicalPath为上传的物理路径，存储的本地绝对路径
• virtualPath为上传的虚拟路径，是上传文件url的一部分
• cachePeriod过期时间（秒）
• enableThumbnail是否启用缩略图功能
• thumbnailExts表示哪些文件类型可以使用缩略图功能，只能配置图片格式
• allowIPs访问白名单，即ufs服务的ip地址

当启用缩率图功能时，可以在url中加w和h参数来访问想要的缩略图：

• 原图：http://node1.ufs.loogn.com/app1/2019/05/10/abc.png
• 限宽200：http://node1.ufs.loogn.com/app1/2019/05/10/abc.png?w=200
• 限高200：http://node1.ufs.loogn.com/app1/2019/05/10/abc.png?h=200
• 限宽高100*200：http://node1.ufs.loogn.com/app1/2019/05/10/abc.png?w=100&h=200

所有的压缩都是等比的，图片不会变形，不管参数怎样，图片也不会放大。

从allowIPs配置可以看出，应用层访问ufs是用过accessToken来验证的，而ufs访问node是通过在node中配置允许的ip地址来实现的。

四、应用层调用

由于公开的是http接口，所以任何支撑Http的语言都可以使用。

static async Task<string> UploadFile(string filePath)
{
    HttpClient httpClient = new HttpClient();
    httpClient.DefaultRequestHeaders.Add("accesstoken", "abcd");
    httpClient.DefaultRequestHeaders.Add("app", "test");

    var buffer = File.ReadAllBytes(filePath);
    ByteArrayContent byteArray = new ByteArrayContent(buffer);
    byteArray.Headers.Add("ext", Path.GetExtension(filePath));
    var response = await httpClient.PostAsync("http://ufs.loogn.com/uploadfile", byteArray);
    var result = await response.Content.ReadAsStringAsync();
    return result;
}

http请求头部需要传输三个参数：

1. accesstoken为访问ufs的令牌，对用ufs中的配置
2. app为指定app的名称，除了和ufs服务中选择配置相关，node服务也会在physicalPath目录下建立app同名目录，用来存放这个应用上传的文件，如果没有这个参数,node会放入default文件夹
3. ext为上传文件的后缀名，注意，是带.的（比如：.jpg而不是jpg）

文件内容通过请求体POST到ufs公开上传地址/uploadfile，响应的字符串是json格式，如下：

{"success":true, "msg":"", "fileUrl":"http://node1.ufs.loogn.com/app1/2019/05/10/abc.png"}

如果上传失败，success为false，msg中有错误信息。

五、后记

开源地址被作者下架，大家主要看思路，可以参考自己写一个。

推荐阅读：

推荐一个强大高效的 .NET 开源权限管理库

.NET8 正式发布， C#12 新变化

.NET 8 正式发布有那些新功能？

【.NET8】nativeAOT初体验——杜绝反编译神器

基于C# Socket实现的简单的Redis客户端

C#设计中的6大遗憾