有奖捉虫:办公协同&微信生态&物联网文档专题 HOT
缓存文件系统是腾讯健康组学平台的一个重要模块,专门为组学数据分析设计。缓存文件系统提供高效且可扩展的共享文件存储服务,允许多个计算环境(实例)通过标准协议共享数据,实现快速挂载。缓存文件系统支持组学数据的高速处理和并发访问,确保在进行大规模基因数据分析时的高可用性和可靠性,适合于对性能和稳定性有严格要求的组学数据处理场景。
除了能通过简单快捷的方式在计算任务中挂载和使用缓存卷以外,平台还提供了一系列缓存文件管理功能。其中,缓存卷的新建、删除及一键清理均在控制台完成,具体操作指南及缓存卷类型选择指南可参考 环境管理。其他管理操作如浏览缓存卷目录、传输缓存卷文件至存储桶等均在 组学平台网站 > 文件管理 完成,本章节将会展开介绍。

缓存卷

缓存卷是(Volume)是缓存文件的载体,可理解为存放缓存文件的“容器”,分为通用标准型、通用性能型、Turbo 标准型和 Turbo 性能型,用户可按需选择不同类型的缓存卷。组学缓存包含如下缓存卷类型,您可根据实际应用场景进行选择:

通用标准型

通用标准型文件存储是基于混合介质的高性价比文件存储,通过数据分层机制加速存储读写速度。提供三副本强一致架构能力,每一份写入文件系统的数据确保成功落盘,并位于不同机架的三台物理服务器,同时提供接入机热迁移的机制,保障数据的可靠性和服务的可用性,适用于小规模通用数据存储场景。

通用性能型

通用性能型文件存储是基于全 NVMe 介质的低延迟文件存储,通过数据分层机制提供高性能存储能力,提供三副本强一致架构能力,每一份写入文件系统的数据确保成功落盘,并位于不同机架的三台物理服务器,同时提供接入机热迁移的机制,保障数据的可靠性和服务的高可用,适合于小规模延时敏感型核心业务。

Turbo 标准型

Turbo 标准型文件存储是基于混合介质的并行文件存储,采用非对称架构,数据节点和元数据节点独立部署。提供私有协议的挂载方式,单客户端性能可达存储集群性能。同时资源在底层进行隔离,保障存储集群独享。提供三副本强一致架构能力,每一份写入文件系统的数据确保成功落盘,并位于不同机架的三台物理服务器,同时提供接入机热迁移的机制,保障数据的可靠性和服务的高可用,适用于大规模吞吐型和混合负载型业务。

Turbo 性能型

Turbo 性能型文件存储是基于全 NVMe 介质的高吞吐、低延迟并行文件存储,采用非对称架构,数据节点和元数据节点独立部署。提供私有协议的挂载方式,单客户端性能可达存储集群性能。同时资源在底层进行隔离,保障存储集群独享。提供三副本强一致架构能力,每一份写入文件系统的数据确保成功落盘,并位于不同机架的三台物理服务器,同时提供接入机热迁移的机制,保障数据的可靠性和服务的高可用,适用于大规模小文件业务。

缓存卷性能与规格

缓存卷类型
通用标准型
通用性能型
Turbo 标准型
Turbo 性能型
产品定位
高性价比,适用于小规模通用数据存储场景
高性能、低时延,适用于小规模延时敏感型核心业务
高吞吐、大容量,适用于大规模吞吐型和混合负载型业务
高吞吐、高 IOPS,适用于大规模小文件业务
适用场景
小规模企业文件共享、数据备份归档、日志存储
小规模 CI/CD 开发测试环境、高性能 Web 服务、OLTP 数据库、高性能共享
AI 推理、高性能计算
大规模高性能计算、AI 训练、大数据分析
容量上限
0 - 160TiB
0 - 32TiB
20TiB - 100PiB
10TiB - 100PiB
吞吐(MiB/S)
Min{100 + 0.1 × 容量(GiB) , 300}
Min{200 + 0.2 × 容量(GiB) , 1024}
Min{0.1 × 容量(GiB) , 10万}
Min{0.2 × 容量(GiB) , 10万}
读 IOPS
min{2000+8*size(GiB),15000}
Min{2500 + 30 × 容量(GiB),3万}
Min{2 × 容量(GiB) , 200万}
Min{20 × 容量(GiB) , 1000万}
写 IOPS
min{2000+8*size(GiB),15000}
Min{2500 + 30 × 容量(GiB),3万}
Min{1 × 容量(GiB) , 100万}
Min{5 × 容量(GiB) , 300万}
OPS 上限
读/写:1万/1千
读/写:3万/3千
读/写:30万/2万
读/写:30万/2万
延迟
4K 单流读:3ms
4K 单流写:7ms
4K 单流读:1ms
4K 单流写:1.5ms
4K 单流读:0.2ms
4K 单流写:3ms
4K 单流读:0.2ms
4K 单流写:1.5ms
支持协议
NFS/SMB
NFS
POSIX/MPI
POSIX/MPI
扩容方式
自动扩容
自动扩容
手动扩容
手动扩容
支持操作系统
Linux/Windows
Linux/Windows
Linux
Linux
缓存卷管理权限说明:
仅项目运行者或更高权限的用户,有权限管理其项目绑定环境下的缓存卷。管理者如需分配某缓存卷管理权限给特定用户(组),需在该用户(组)所归属的任意项目中绑定此缓存卷环境,并为该用户(组)授权运行者以上权限。绑定运行环境相关操作可查看 权限管理

浏览缓存卷目录

腾讯健康组学平台提供缓存卷浏览器,用于浏览缓存卷文件目录。
进入 文件管理 页面,点击缓存文件,左侧列表显示缓存卷列表,其中托管环境下的缓存卷支持通过缓存卷浏览器浏览文件目录,标准环境下的缓存卷暂不支持在组学平台网站浏览,可前往腾讯云文件存储(CFS)管理页面查看更多详情。
选中需要查看的缓存卷,页面右侧区域点击启动缓存卷浏览器,可查看缓存卷内部目录。点击缓存卷浏览器上方资源监控,可跳转至资源监控页面查看该缓存卷使用详情。



注意:
缓存卷浏览器需启动计算实例(默认规格:1核1GiB)以提供执行文件管理任务的运行环境。使用结束后,请及时关闭页面内的缓存卷浏览器,避免产生额外的费用,详细计费及价格说明请参考 产品定价

发送缓存文件到存储桶

您可以通过两种方式发送缓存文件到存储桶:
方式一:进入 文件管理 页面,点击缓存文件,进入缓存卷列表页,选中某一缓存卷,并在缓存卷浏览器内选择需发送的缓存文件,点击扩展按钮发送至存储桶,启动相应数据传输作业。
方式二:直接在 数据传输 页面中新建数据传输作业,选择从缓存卷到存储桶类型,启动相应数据传输作业。
更多操作详细说明可查看 数据传输作业
说明:
目标地址下可能存在同名文件,启动相应数据传输作业时需指定对于同名文件的处理方式,选择跳过将保留目标地址中原有的同名文件,选择覆盖则会用待传输文件替换目标地址中原有的文件。

上传本地文件至缓存卷

进入 文件管理 页面,点击缓存文件,进入缓存卷列表页,选中某一缓存卷, 启动缓存卷浏览器,点击上传,在弹窗内选择需要上传的本地文件目录,确认后开始上传,支持批量上传本地文件。




其他操作

缓存卷浏览器内支持一系列文件管理操作,包括:重命名、删除、移动、新建文件夹和发送到存储桶,均可通过扩展选项进行操作。