首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

腾讯弹性存储技术解密

[1501466823180_1478_1501466824713.jpg] 作者介绍:Yh, 2010年加入腾讯,有12年存储经验,在弹性存储技术方面经验丰富,本文将其在TEG TALK上分享内容进行整理...用户只需要在腾讯上购买一台主机,就可以方便使用腾讯硬盘。 如何实现硬盘(弹性存储)系统?...首先是成本问题:成本是永恒主题,特别是互联网海量存储中,任何成本优化都会带来巨大经济收益,特别是规模快速增长阶段腾讯硬盘。...它由接入系统和存储系统两个分布式集群组成;而腾讯硬盘是个存储系统,接入是为了支撑存储存在而存在。...当然ceph也有很多值得我们借鉴东西:例如CBS是存储平台(目前已经支持文件存储),而ceph一开始就是作为统一存储平台设计,同时支持存储、文件存储和对象存储;CBS是镜像多副本存储,但是ceph

13.2K32

2020-07-23-kubernetes集群使用腾讯cbs存储

--- layout: "post" title: "2020-07-23-kubernetes集群使用腾讯cbs存储" date: "2020-07-23 10:00:00" category:...过去自己搭建过rook-ceph但是版本升级或者节点挂掉出现了各种问题,而且ceph规划什么 自己也掌握不好,正好有腾讯自己开源kubernetes-csi-tencentcloud组件 就准备使用他集成做...3.使用腾讯 API Credential 创建 kubernetes secret 参考示例 deploy/kubernetes/secret.yaml apiVersion: v1 kind:.../blob/master/deploy/cbs/examples/storageclass-examples.yaml) \* 如果您集群中节点存在多个可用区,那么您可以开启cbs存储拓扑感知调度...\* SSD 硬盘提供最小 100 GB 到最大 16000 GB 规格选择,单 SSD 硬盘最高可提供 24000 随机读写IOPS、260MB/s吞吐量存储性能。

1.7K22
您找到你想要的搜索结果了吗?
是的
没有找到

解密腾讯分布式存储系统 : HCBS实现机制

[1502177262557_639_1502177262854.png] 作者介绍:gavinliao(廖晶贵),腾讯研发工程师,隶属于腾讯TEG-基础架构部-CBS存储研发团队,主要负责分布式存储系统研发与运营工作...导语 分布式存储一直是个经久不衰的话题,在当前竞争激烈市场,存储系统性能与稳定性一直是用户考量存储产品重要指标,为适应用户需求与市场发展,腾讯CBS团队一直在不断打磨存储产品,推出了一款新分布式存储系统...1、背景 存储上不可或缺一部分,虽然很多云产品商在对外提供服务时虚拟机内还有本地硬盘身影,但随着网络存储技术发展以及本地存储自身缺陷,最终上将只存在盘而非本地盘。...腾讯云块存储在经历了从无到有,从性能波动到性能稳定发展,随着市场份额越来越大,原有的CBS(Cloud Block Storage)系统已经不足以适应市场需求,用户对IO性能以及价格(阿里云和腾讯已连续两轮降价...4、总结 HCBS对于是腾讯分布式存储具有里程碑式意义,其无论是在性能还是成本在市场都具有很大优势,以HCBS为基础衍生出了许多云产品如NCBS、FCBS、NAS等,HCBS同样支持快照功能。

8.5K50

腾讯文件存储妙用

腾讯常用文件存储除了对象存储硬盘,还有一种文件存储,这个存储可以像硬盘一样挂载在内网任何服务器 也就是所有的服务器都可以共享一套存储,如前端负载均衡nginx可以后台挂相同图片、代码等等...但是我们说文件存储是另外一种用途,也就是把他用作数据库、网站备份上,我们以centos为例 第一步,先创建文件系统,选择和服务器在同一个分区 第二步,设置文件系统权限组,开放当前服务器有权限访问文件存储...第三步,在centos上做挂载,注意先要确定安装了NFS-Utils 示例如下: sudo mount -t nfs -o vers=4 192.168.1.7:/ /本地存储目录底子 第四步,修改.../etc/fstabs 确保重启后还会维持挂载 第五步,写备份脚本,将文件备份到文件存储 特别申明:文章由腾讯代理 - 蓝色航线 百分百原创,只发布在腾讯,不得做任何转载

8.5K71

混合存储打开正确姿势——腾讯存储网关 CSG

腾讯存储网关 CSG 可以完美的解决这个问题,企业无需改变传统业务架构,整个上过程对用户现有的业务几乎没有任何影响,同时,用户可根据业务需要实现容量自动扩缩容,而且对于上数据,用户也可以利用对象存储...2、成本最优 CSG 会缓存热数据来保证本地访问性能,同时会将全量数据保存至 COS 中以确保数据安全持久性,企业可以通过这种冷热分层机制以低成本享有高性能和高安全性兼备存储服务。...线下部署.png 用户利用现有的机房设备,在本地硬件服务器上部署 CSG 网关软件,用户能够继续以低延迟和高带宽直接内网访问本地服务,同时网关会自动将数据同步至腾讯 COS 中。...二、线上部署 对于已经将部分业务迁移至用户,通过购买一体化 CSG 存储网关,可以让数据更好接入整个对象存储 COS 生态中,以低成本挖掘数据价值,为业务赋能。...线上部署.png 线上部署模式,可以方便用户在不改变业务架构前提下,将上业务接入海量无上限对象存储 COS,进一步盘活业务体系,扩展更大潜在商机。

13.5K10

腾讯存储,第一!

刚刚,沙利文联合头豹研究院发布《2023年中国存储解决方案市场报告》腾讯存储入选“领导者”阵营位列第一鹅厂存储之路,始于19年前QQ空间。...技术积累多年,这是腾讯存储答卷:-COS对象存储,底层采用腾讯自研百EB级存储引擎YottaStore。...为多个计算节点提供可弹性扩展高性能共享存储;-CBS硬盘,在业界率先将时延缩至10微秒级别。自动在可用区内,以多副本冗余方式存储,避免数据单点故障风险。要存好,还要用好。...沙利文指出——「腾讯持续创新,专注于打造高性能存储解决方案,以适应多元化应用场景与用户需求。同时通过构建完善产品矩阵,为企业提供可靠数据基础设施,助力企业推动数据驱动业务战略实施。」...让大家存得安心、省心,腾讯继续努力。

15310

腾讯-对象存储介绍

对象存储分享结构 首先介绍存储分类,并主要介绍对象存储分类,接着介绍用户常见问题包括计费项和计费周期,最后介绍对象存储控制台和使用案例。...腾讯CDN产品使用介绍:https://www.bilibili.com/video/BV1ft4y1S7MS image.png 存储 存储大类 存储(cbs,Cloud Block Storage...) :提供级别存储, 类似的产品例如aws ebs, ceph rdb,tencent cbs(硬盘)等, 通常使用scsi, iscsi协议,数据协议共享, 存储效率高,特点是一个主机只能挂载一个硬盘...缺点是协议开销大, 效率不高,优点是数据易于共享,譬如一个cfs盘可以被多个主机挂载。...归档存储 归档存储提供了最低存储单价,但读取数据时候需要较长解冻时间,因而适合需要长期保存数据业务场景。

19.7K3732

腾讯存储网关提供混合存储服务,实现数据分层存储

存储网关(Cloud Storage Gateway,CSG)是腾讯提供混合存储服务。...腾讯 CSG 旨在让您更加专注于自有业务发展,而不受存储技术门槛以及成本困扰。...通过在腾讯上部署创建存储网关CSG,您无需关心本地应用与存储兼容性,CSG可以在无感知状态下实现协议转化,将数据以原始格式上传COS。...03 数据备份及归档 数据上传到公有对象存储 COS 后,COS 会以多种备份策略对数据进行存储以保持其持久性。同时,您可通过版本控制等功能实现多版本数据备份及归档帮您省去灾备中心重资产投入。...写在最后 腾讯存储网关通过本地存储空间缓存了热点数据,保证了前端应用本地访问性能,同时又可以利用上海量存储空间。

21.3K30

腾讯存储网关提供混合存储服务,实现数据分层存储

存储网关(Cloud Storage Gateway,CSG)是腾讯提供混合存储服务。...腾讯 CSG 旨在让您更加专注于自有业务发展,而不受存储技术门槛以及成本困扰。...通过在腾讯上部署创建存储网关CSG,您无需关心本地应用与存储兼容性,CSG可以在无感知状态下实现协议转化,将数据以原始格式上传COS。...03 数据备份及归档 数据上传到公有对象存储 COS 后,COS 会以多种备份策略对数据进行存储以保持其持久性。同时,您可通过版本控制等功能实现多版本数据备份及归档帮您省去灾备中心重资产投入。...写 在 最 后 腾讯存储网关通过本地存储空间缓存了热点数据,保证了前端应用本地访问性能,同时又可以利用上海量存储空间。

23.3K30

如果,腾讯硬盘被抽出……

根据存储需求不同,腾讯为用户准备了CBS(硬盘)、CFS(文件存储)、COS(对象存储)等多种服务来存储数据、运行业务。 ? 这些服务都使用多副本技术保障用户服务。...但服务不同,技术也不同: 一种是COS使用腾讯自研存储引擎YottaStore中采用纠删码冗余技术。 当用户写入1份数据时,YottaStore技术会将其均匀分成若干份数据、校验。...紧接着,会用纠删码等技术将其他组数据、校验重建丢失数据,并更新到其他硬盘当中。 ? 另一种是是腾讯自研存储产品CBS和CFS采用「三副本技术」。...为准确运维,腾讯硬盘都给拉手条设计LED指示灯,作为待运维硬盘位置指示,颜色和闪烁频率代表硬盘健康状态; 抽出硬盘对服务器整体几乎不会造成影响。...即便用户授权,腾讯也会通过权限划分确保权限最小化,所有额外权限均需要经过多级评审批准 ...... 现在,你知道为了保护一硬盘和其中数据,腾讯有多努力了吧! ? ?

2.2K40

响铃:+峰会再召开,腾讯政企合作玩得怎么样了?

5月23日,“腾讯+未来”峰会在广州再次召开,腾讯联合三大运营商成立数字广东公司也亮相此次峰会,并举办了“上科技共建数字广东”启动仪式, 为什么广东省能走在“数字中国”前面?...“用电量--经济”、“用云量--数字经济”这种逻辑是有实际数据做支撑,据腾讯研究院与腾讯联手调研测算,将全国388个城市用云量结合《中国互联网+指数报告(2018)》测算各个城市数字经济规模进行相关性分析...对接腾讯、华为等互联网前沿企业,数字广东能成为政企合作标杆吗? 1、硬实力:开放广东与技术领先腾讯 政和企都要有足够能力支撑其数字化变革,硬实力是前提。...而腾讯业界地位也是不容小觑,此次腾讯+峰会召开,还为城市装上会思考分析、能判断决策城市超级大脑,为破解广东省数字化转型瓶颈与难题提供了系统解决方案。...用马化腾的话说,腾讯要做就是“数字化助手”,有大量消费者连接终端。

11.2K20

免费对象存储——七牛还是腾讯

七牛通信协议截图 其他免费对象存储 于是想看看其他免费对象存储,首先看阿里,发现是需要收费,虽然收费不是很高。 至于其他一些小公司免费,这里就不考虑,毕竟没有保障。...最后就是腾讯存储对象了,首先它有免费额度,额度还是比较客观腾讯对象存储免费额度 其次默认生成了域名且是HTTPS,省去了买域名,备案等痛苦。...最后,毕竟是腾讯爸爸,相对其他公司来说肯定有保障多了。对于有需求小伙伴可以考虑下腾讯对象存储「COS」。...使用方式就不累赘了,官方文档写得很详细,简单配置一下,轻松将数据迁移到腾讯上了 迁移数据源 后续问题 原本以为换到腾讯对象存储之后问题解决了,我可以继续开发小程序中生成海报功能了,可是相较于七牛来说...这就又有点尴尬了… 总结 没办法,只好还是使用七牛作为自己文章图床,同时挂了脚本定时同步七牛图片到腾讯上,就当备份了。生成海报头图还是从腾讯上取。

36.5K72

腾讯COS对象存储攻防

文章首发于:火线Zone云安全社区 01 Bucket 公开访问 腾讯存储访问权限默认为私有读写权限,且存储桶名称会带上一串时间戳: 账户中访问策略包括用户组策略、用户策略、存储桶访问控制列表...当腾讯 COS 收到请求时,首先会确认请求者身份,并验证请求者是否拥有相关权限。验证过程包括检查用户策略、存储桶访问策略和基于资源访问控制列表,对请求进行鉴权。...--摘自腾讯官方文档 上图我们仅配置了存储桶访问权限,于是因为设置了私有读写,无权访问该文件,Message 为 “Access Denied.” 02 Bucket Object 遍历 如果策略中允许了...ObjectList操作,则在目标资源范围下,会将所有的Bucket Object显示出来,这时,Key值可以理解为文件目录,通过拼接可获取对应文件: 有趣是,在腾讯访问策略体系中,如果存储桶访问权限为私有读写...04 Bucket 接管 由于Bucket 接管是由于管理人员未删除指向该服务DNS记录,攻击者创建同名Bucket进而让受害域名解析所造成,关键在于攻击者是否可创建同名Bucket,腾讯有特定存储桶命名格式

18.2K50

腾讯TKE持久化存储

腾讯TKE持久化存储 对于Kuberentes中,一些服务需要持久化内容,我们一般都会使用一个共享文件系统,类似与目前各个厂商提供对象存储服务,或文件系统服务,自建的话也有NFS、Ceph选择...; 这里就简单说一下我自身采用过方式: 持久化存储使用厂商对象存储; 使用Kubernetes中PV与对象存储进行关联; 而后PV与PVC关联; 从而每个服务,使用Volume挂载该PVC,...随着Kubernetes不断功能完善,国内厂商也在不断适配,腾讯TKE目前支持StorageClass,这样一种动态添加持久化存储。...示例:这里我就采用腾讯TKE进行快速持久化存储创建 1、首先创建StorageClass; sc.png 新建 sc-2.png 生成yaml文件如下: apiVersion: storage.k8s.io...总结: 通过使用腾讯TKE存储服务,可以快速创建PVC,PV会根据PVC需求对应创建,并自动增加硬盘。

5.3K20

Longhorn,Kubernetes 原生分布式存储

Longhorn 是用于 Kubernetes 轻量级、可靠且功能强大分布式存储系统。...功能特性 无单点故障企业级分布式存储 存储增量快照 备份到辅助存储(NFS或S3兼容对象存储)建立在高效更改检测之上 定期快照和备份 自动化(Automated)、无中断升级(non-disruptive...使用 Longhorn,您可以: 使用 Longhorn 卷作为 Kubernetes 集群中分布式有状态应用程序持久存储存储划分为 Longhorn 卷,这样无论是否有提供商,都可以使用 Kubernetes...使用微服务简化分布式存储 由于现代环境需要数万到数百万分布式存储卷,一些存储控制器已经成为高度复杂分布式系统。...在不依赖提供商情况下在 Kubernetes 中使用持久化存储 Pod 可以直接引用存储,但不推荐这样做,因为它不允许 Pod 或容器是可移植

1K40
领券