文档中心>对象存储

COS 加速器

最近更新时间:2025-02-21 17:43:12

我的收藏
COS 加速器是腾讯云对象存储(Cloud Object Storage,COS)针对 大数据计算数仓 OLAP 查询镜像分发、AI 等大吞吐、低延迟需求的内网访问场景推出的高性能全闪存集群。COS 加速器可以帮助您将业务热点数据自动缓存到靠近计算集群的空间内,享受全闪集群百 Gbps 级别的吞吐及 ms 级延迟,并缩短数据传输距离,满足您的高性能数据访问需求。

数据在 COS 加速器、计算集群及 COS 存储桶的流转关系如下:




使用场景及案例

COS 加速器适用于解决热点文件场景中,下行带宽不足、延时过高等痛点。具体使用场景如下:
大数据计算
数仓 OLAP 查询
镜像分发
AI
客户场景
某电商头部企业,底层使用 COS 元数据加速桶,存储应用内日志数据,上层计算部署 Hive、Spark 执行离线计算任务,支撑数据中台分析需求,同时部署 Flink 实时计算任务,生成直播实时数据,辅助主播进行商品推荐。需要底层 COS 桶满足上层模块高并发造成的高带宽需求,同时降低数据读取延时,加快训练业务。

COS 加速器方案
部署计算集群同地域下高带宽规格加速器,大数据计算读取出口切换至加速器缓存集群,上层数据读取速度提升,同时时延降低。
同时,COS 加速器开启自动刷新策略提升缓存命中率:加速器感知 COS 桶数据写入,并将写入数据实时复制至加速器中,预热即将使用的数据。

方案价值
接入加速器后,数据读取的首字节时延大幅降低,数据读取平均延迟低于 2ms,峰值时延稳定在 10ms 内。



客户场景
某头部游戏行业客户数据分析部门,随着业务增长需要构建能支持弹性扩容的湖仓一体产品,将 ORC 文件存储在 COS 桶中,上层通过 iceberg 构建成表,并使用 StarRocks 进行 OLAP 分析。需要 COS 提供大带宽支持上层查询业务,并缩短任务延迟。

COS 加速器方案
部署 COS 加速器做 ORC 热数据读取出口,并开启数据强一致性,保证 COS 桶与 COS 加速器中缓存数据一致。

方案价值
启用加速器后,COS 加速器提供的高带宽数据出口支持更快的数据读取,上层 OLAP 查询任务时长大幅缩短,性能提升5倍以上。
数据出口
峰值带宽
首字节时延
单次 SQL 任务耗时
COS 存储桶
15Gbps
< 100ms
220s
COS 加速器
100Gbps
< 10ms
45s
客户场景
某百万级镜像仓库业务,需要满足热点镜像文件大量快速强一致读取的需求,忙时带宽峰值远高于闲时,因此急需架构优化,应对高热点数据带宽突发。

COS 加速器方案
在 COS 桶存储全量镜像文件的基础上,部署百 Gbps 带宽规格 COS 加速器做热点镜像缓存,将热点文件读取切换至 COS 加速器。
加速器底层针对热点文件场景部署的多级缓存方案,能够解决单文件热点性能问题,提供极高的读取性能。
同时,为提升缓存命中率,让加速器尽可能缓存所有热点数据,开启加速器自动刷新策略。 镜像文件写入 COS 桶后,或数据读取后,将会被判别为热数据,创建副本缓存至 COS 加速器中,享受加速器高带宽性能。

方案价值
镜像文件缓存命中率均值达99%,COS 桶百Gbps级别带宽消耗下降至不足10Gbps,满足读取性能的前提下,极大缓解单文件热点资源消耗。



客户场景
AI 场景业务流程通常涉及数据清洗、训练、模型分发、推理等环节。数据清洗环节执行的 ETL 需要存储层提供大带宽数据出口,提高数据清洗任务执行速度;训练环节时延敏感,需要提升性能达到更加的训练成果;分发场景需要将模型部署到其余业务机器上,瞬时并发造成的高带宽将影响实际业务流量出口。
COS 加速器方案
COS 加速器作为账号级别的独立缓存空间,能够灵活挂载多个桶,将不同桶中的数据缓存至加速器中,享受加速器带来的性能和带宽加成。
待清洗的数据可以通过加速器提前预热至缓存集群中,从加速器中读取数据,提速清洗过程。
训练阶段 COS 加速器提供的高性能支持将每次数据读取时延压低到 ms 级别,加快模型训练进度。
分发阶段,加速器作为热点数据读取出口,加速器底层多级缓存的模式,支持单文件热点的情况下仍然保证百Gbps级带宽,不受单热点文件性能影响。

方案价值
AI 场景全链路加速能力覆盖,提速生产流程,更快部署、下发 AI 模型。

产品优势

吞吐能力

COS 加速器为您提供显著的数据吞吐能力,助力您应对大吞吐的业务场景。COS 加速器可以根据缓存容量大小提供 200MBps/TB(1.6Gbps/TB) 的读写带宽,满足您的高带宽需求场景。

卓越性能

COS 加速器采用全闪介质作为缓存空间,并支持近计算端部署,享受 SSD 高性能的同时进一步降低传输路径损耗,达到数据读取 ms 级别延迟。单热点文件场景支持分级缓存能力,进一步降低性能瓶颈。

缓存数据强一致

支持在加速数据读取前校验数据一致性,保证缓存数据与 COS 桶中数据强一致。

多源共享缓存

COS 加速器作为账号维度缓存空间,支持挂载不同 COS 桶,共享加速器缓存及吞吐能力。多业务错峰情况下能更低成本满足性能需求。

精细化配置

COS 加速器支持存储桶路径级别加速,并对每个加速路径配置预热、淘汰策略,对缓存空间进行精细化管控,最大效率利用缓存空间。

低运维成本

COS 加速器绑定加速桶后无需切换至新域名,直接使用 COS 桶访问域名即可享受加速效果,无需额外运维配置。

使用流程

创建加速器

您可以按照如下步骤开启 COS 加速器:
2. 进入一级侧边栏,单击 COS 加速器,进入 COS 加速器列表页。
3. 通过左上角地域切换选项选择需要创建加速器的地域。
4. 单击创建 COS 加速器按钮,进入 COS 加速器创建流程。
5. 根据弹窗中的表单信息,设置加速器的名称描述带宽等信息。
6. 单击立即购买按钮,跳转至支付界面,支付后即完成加速器创建。
注意:
提交创建或升配 COS 加速器的请求后,COS 会异步完成加速器部署或扩容操作。部署完成后,加速器状态将转变为运行中作为提示。若您有加急需求,可以预先通过 工单 联系我们,以缩短等待时间。



COS 加速器各项参数说明如下:
付费模式:当前 COS 加速器仅支持使用预付费模式购买。
地域:加速器部署的地域,可通过加速器列表页左上角的地域选项切换当前地域。当前 COS 加速器支持以下地域:北京、上海、广州。
注意:
为确保 COS 加速器性能最优,COS 加速器仅支持绑定绑定同地域下的存储桶。为避免不符合预期的情况,请您在创建 COS 加速器之前进行前置检查,确保加速器所在地域和需要挂载的存储桶所在地域一致。
名称:加速器名称,创建后不可修改,同一账号内具有全局唯一性。
描述:加速器描述,仅支持英文字母、数字、空格和符号,字数512字符内。
注意:
为避免兼容性问题,不推荐在字符中携带需要 XML 转义的字符,包括:&<>"'
带宽:COS 加速器的带宽,加速器内挂载的桶共享此带宽额度,单位为 MB/s 。此配置需要填写能够被 1000 整除的正整数,并且范围需要在 4000~40000 内(对应 32~320 Gbps 带宽规格)。如您有更高的带宽规格需求,请您 联系我们
容量:COS加速器带宽规格对应的缓存空间,每 200 MBps 带宽对应 20T 加速器缓存空间。
购买时长:预付费模式下,需要选择 COS 加速器的使用时长,支持按月粒度选择1个月~3年的时长。
自动续费:默认为勾选状态,账户余额充足时,到期后按月自动续费。购买后如需变更,可在 COS 加速器控制台或参见 续费管理说明 前往续费管理页进行修改。

挂载存储桶

创建加速器后,您的账号下就拥有了一个全闪存介质的高性能缓存集群,您可以通过挂载存储桶将桶内的热点文件加载到该缓存集群中,挂载存储桶的操作步骤如下:
1. 在加速器列表中点击指定的加速器名称,进入加速器详情页。
2. 单击添加挂载桶按钮,进入挂载存储桶流程。
3. 根据弹窗中的流程,首先设置挂载数据的基本信息。



4. 单击下一步配置该桶的挂载策略,包括缓存策略自动刷新策略淘汰策略



挂载存储桶的各项参数配置说明如下:
存储桶:加速器所挂载的存储桶,支持 COS 存储桶及 元数据加速桶
注意:
请注意,使用元数据加速桶挂载至加速器时,加速范围自动刷新范围仅可选择整个存储桶
加速范围:能够被预热到加速器的路径范围,可选整个存储桶或指定路径。指定路径模式下,最多可添加20条指定路径。
缓存策略
写缓存策略:写 COS:数据只写入到挂载的存储桶中,从 COS 加速器读取时从桶中复制数据至加速器。
读缓存策略:
读缓存:从缓存中直接读取数据,性能最优,但数据不一定保证为最新版本。
注意:
读缓存无法保证数据为最新版本,若您存在热数据删除场景且要求数据读取强一致,推荐选择读缓存/强一致保障业务可用性。
读缓存/强一致:从缓存中读取前比较 COS 中同文件的 ETag,数据强一致,但有部分性能损耗。
自动刷新策略:加速器将写入 COS 桶中的数据自动刷新到加速器缓存中的能力。开启后,写入存储桶的数据将自动刷新一个副本到缓存中,提升缓存命中率和读取性能。
注意:
若您有对象头部信息强一致的需求,推荐您开启此功能,将更新的头部信息缓存至加速器中,同时提升缓存数据的命中率,获得更优的性能。
刷新范围:自动刷新的热数据路径范围,需要在加速路径的范围内。元数据加速桶仅支持刷新范围为整个存储桶。
若您加速范围选择整个存储桶,您可选择自动刷新整个存储桶,或至多刷新20条桶内路径。
若您加速范围选择指定路径,您可至多刷新20条指定路径下的对象资源。
淘汰策略:LRU,按照近期使用次数最少的顺序淘汰缓存。
5. 单击提交按钮,完成存储桶挂载流程。

常见问题

COS加速器支持哪些数据加密及访问管理方式?

数据加密:COS 加速器支持将 SSE-COS、SSE-KMS 加密的数据拉取至 SSD 缓存,享受加速效果,暂不支持加速使用 SSE-C 加密的对象。
访问管理:除 对象ACL 外,您配置的访问管理规则(用户策略、存储桶策略、存储桶 ACL)效力同样覆盖 COS 加速器中的文件。
注意:
COS 加速器暂不支持管理对象 ACL,若您将配置过对象 ACL 的数据缓存至加速器中,可能出现访问表现不符合预期的情况。推荐您在配置挂载及预热时检查路径下访问管理的配置情况,暂时规避预热配置过对象 ACL 的数据至加速器中。

如何观测加速器的使用情况?

COS 加速器支持内嵌的监控页面,可以在加速器控制台观测缓存集群的下行带宽、缓存容量、缓存命中率等指标信息。
同时,将桶挂载至加速器后,下行流量出口转移至缓存集群,COS 桶本身的监控指标有如下变化:
内网下行流量下降(下行由加速器承担)。
若您开启自动刷新策略,数据上传时 COS 加速器会将对象拉取至加速器进行预热,产生与上行同等规模的下行流量。
上行流量、请求次数指标无变化。

使用 COS 加速器,对存储桶计费项有什么影响?

使用 COS 加速器对 COS 计费项无影响,由加速器出口的请求次数同样会被统计计费,与使用前无区别。开启加速器功能的费用仅有购买缓存空间一项。