首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

腾讯弹性存储技术解密

[1501466823180_1478_1501466824713.jpg] 作者介绍:Yh, 2010年加入腾讯,有12年存储经验,在弹性存储技术方面经验丰富,本文将其在TEG TALK上分享内容进行整理...用户只需要在腾讯上购买一台主机,就可以方便使用腾讯硬盘。 如何实现硬盘(弹性存储)系统?...首先是成本问题:成本是永恒主题,特别是互联网海量存储中,任何成本优化都会带来巨大经济收益,特别是规模快速增长阶段腾讯硬盘。...它由接入系统和存储系统两个分布式集群组成;而腾讯硬盘是个存储系统,接入是为了支撑存储存在而存在。...当然ceph也有很多值得我们借鉴东西:例如CBS是存储平台(目前已经支持文件存储),而ceph一开始就是作为统一存储平台设计,同时支持存储、文件存储和对象存储;CBS是镜像多副本存储,但是ceph

13.4K32

弹性腾讯弹性伸缩

腾讯自动调度系统—弹性伸缩震撼来袭,能自动发现异常,帮助业务容量自动伸缩,协助故障自动愈合,用程序解决人工很难解决问题。...腾讯弹性伸缩正好帮您解决此问题。...结合腾讯监控告警平台和指标监控,实时检查主机资源使用情况,再结合腾讯按量计费能力,请求量增加时,按需增加资源,请求量减少时,按量小时计费结算销毁资源,让您每一笔开销都使用在刀刃上,不浪费一分一厘...实现弹性自动发现异常,自动愈合能力。 弹性,可靠 弹性计算技术中公认从资源利用角度最重要特点之一。弹性主要特性是按需增减计算、存储、网络等各种资源。...而腾讯弹性伸缩基于iaas层,以用户业务负载和请求量作为触发条件,动态调整资源,使计算平台具有跟充分自如伸缩性和扩展性。相信未来计算平台将越来越具有弹性能力。

9.8K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    EMR(弹性MapReduce)入门之腾讯存储对象COS(六)

    在前面的几篇文章中大家已经跟着我了解了HDFS以及HDFS一些基础排障,接下来我们呢继续学习。要学习到产品是腾讯产品中对象存储COS。...2,仅支持append COS产生背景 COS产生背景其实就是结合HDFS短板和未来大数据存储需求产生。...大数据存储需求: 1、结构化数据、非机构化数据 2、热数据、冷数据 3、不同版本Hadoop一致性 COS商品简介 对象存储(Cloud Object Storage,COS)是由腾讯推出无目录层次结构...腾讯 COS 存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析数据湖等多种场景。...用户可在 COS 上通过为网站配置存储桶(绑定了自定义域名存储桶)来托管静态网站。

    1.8K01

    2020-07-23-kubernetes集群使用腾讯cbs存储

    --- layout: "post" title: "2020-07-23-kubernetes集群使用腾讯cbs存储" date: "2020-07-23 10:00:00" category:...过去自己搭建过rook-ceph但是版本升级或者节点挂掉出现了各种问题,而且ceph规划什么 自己也掌握不好,正好有腾讯自己开源kubernetes-csi-tencentcloud组件 就准备使用他集成做...3.使用腾讯 API Credential 创建 kubernetes secret 参考示例 deploy/kubernetes/secret.yaml apiVersion: v1 kind:.../blob/master/deploy/cbs/examples/storageclass-examples.yaml) \* 如果您集群中节点存在多个可用区,那么您可以开启cbs存储拓扑感知调度...\* SSD 硬盘提供最小 100 GB 到最大 16000 GB 规格选择,单 SSD 硬盘最高可提供 24000 随机读写IOPS、260MB/s吞吐量存储性能。

    1.7K22

    解密腾讯分布式存储系统 : HCBS实现机制

    [1502177262557_639_1502177262854.png] 作者介绍:gavinliao(廖晶贵),腾讯研发工程师,隶属于腾讯TEG-基础架构部-CBS存储研发团队,主要负责分布式存储系统研发与运营工作...导语 分布式存储一直是个经久不衰的话题,在当前竞争激烈市场,存储系统性能与稳定性一直是用户考量存储产品重要指标,为适应用户需求与市场发展,腾讯CBS团队一直在不断打磨存储产品,推出了一款新分布式存储系统...1、背景 存储上不可或缺一部分,虽然很多云产品商在对外提供服务时虚拟机内还有本地硬盘身影,但随着网络存储技术发展以及本地存储自身缺陷,最终上将只存在盘而非本地盘。...腾讯云块存储在经历了从无到有,从性能波动到性能稳定发展,随着市场份额越来越大,原有的CBS(Cloud Block Storage)系统已经不足以适应市场需求,用户对IO性能以及价格(阿里云和腾讯已连续两轮降价...4、总结 HCBS对于是腾讯分布式存储具有里程碑式意义,其无论是在性能还是成本在市场都具有很大优势,以HCBS为基础衍生出了许多云产品如NCBS、FCBS、NAS等,HCBS同样支持快照功能。

    8.8K50

    腾讯文件存储妙用

    腾讯常用文件存储除了对象存储硬盘,还有一种文件存储,这个存储可以像硬盘一样挂载在内网任何服务器 也就是所有的服务器都可以共享一套存储,如前端负载均衡nginx可以后台挂相同图片、代码等等...但是我们说文件存储是另外一种用途,也就是把他用作数据库、网站备份上,我们以centos为例 第一步,先创建文件系统,选择和服务器在同一个分区 第二步,设置文件系统权限组,开放当前服务器有权限访问文件存储...第三步,在centos上做挂载,注意先要确定安装了NFS-Utils 示例如下: sudo mount -t nfs -o vers=4 192.168.1.7:/ /本地存储目录底子 第四步,修改.../etc/fstabs 确保重启后还会维持挂载 第五步,写备份脚本,将文件备份到文件存储 特别申明:文章由腾讯代理 - 蓝色航线 百分百原创,只发布在腾讯,不得做任何转载

    8.5K71

    混合存储打开正确姿势——腾讯存储网关 CSG

    近年来,随着计算发展,越来越多企业选择将IT系统基础设施转移到上,上有助于推动企业加快信息化、数字化、智能化转型,但是很多企业对传统业务系统依赖程度较高,短时间内将业务迁移上将会面临很多风险...腾讯存储网关 CSG 可以完美的解决这个问题,企业无需改变传统业务架构,整个上过程对用户现有的业务几乎没有任何影响,同时,用户可根据业务需要实现容量自动扩缩容,而且对于上数据,用户也可以利用对象存储...线下部署.png 用户利用现有的机房设备,在本地硬件服务器上部署 CSG 网关软件,用户能够继续以低延迟和高带宽直接内网访问本地服务,同时网关会自动将数据同步至腾讯 COS 中。...二、线上部署 对于已经将部分业务迁移至用户,通过购买一体化 CSG 存储网关,可以让数据更好接入整个对象存储 COS 生态中,以低成本挖掘数据价值,为业务赋能。...线上部署.png 线上部署模式,可以方便用户在不改变业务架构前提下,将上业务接入海量无上限对象存储 COS,进一步盘活业务体系,扩展更大潜在商机。

    13.6K10

    哪个服务最好用腾讯功能与优势

    很多用户在初次选择服务器商家时候,往往不知道怎么选择哪个服务商好,因为国内服务商众多,各有各特点,但是目前选择腾讯用户越来越多了,我们就来说说为什么上要首选阿里。...弹性 致力于打造业界最为弹性云端服务器管理平台,提供以下能力: 1.硬件配置:基于硬盘服务器即时提升/降低硬件配置(不区分包年包月或按量计费类型)。...6.弹性 IP :支持绑定各种网络环境下主机。...2.硬盘策略:提供三副本专业存储策略,消除单点故障,保证数据可靠性,让您可以放心将数据放在云端,无需担心数据丢失问题。 3.稳定网络架构:成熟网络虚拟化技术和网卡绑定技术保证网络高可用性。...2.腾讯 CVM 提供 API 体系,您可使用 API 便捷服务器与您内部监控、运营系统相结合,实现贴近业务需求、完全自动化业务运维体系。

    15.9K00

    如果,腾讯硬盘被抽出……

    根据存储需求不同,腾讯为用户准备了CBS(硬盘)、CFS(文件存储)、COS(对象存储)等多种服务来存储数据、运行业务。 ? 这些服务都使用多副本技术保障用户服务。...但服务不同,技术也不同: 一种是COS使用腾讯自研存储引擎YottaStore中采用纠删码冗余技术。 当用户写入1份数据时,YottaStore技术会将其均匀分成若干份数据、校验。...紧接着,会用纠删码等技术将其他组数据、校验重建丢失数据,并更新到其他硬盘当中。 ? 另一种是是腾讯自研存储产品CBS和CFS采用「三副本技术」。...为准确运维,腾讯硬盘都给拉手条设计LED指示灯,作为待运维硬盘位置指示,颜色和闪烁频率代表硬盘健康状态; 抽出硬盘对服务器整体几乎不会造成影响。...即便用户授权,腾讯也会通过权限划分确保权限最小化,所有额外权限均需要经过多级评审批准 ...... 现在,你知道为了保护一硬盘和其中数据,腾讯有多努力了吧! ? ?

    2.3K40

    腾讯消息队列5月产品月报 | CKafka 专业版支持弹性存储形态

    01、专业版支持弹性存储形态 自 2024年5月起,TDMQ CKafka 专业版支持弹性存储能力,这种产品形态下,存储可按需使用、按量付费,一方面降低消费即删除、存储使用波动大场景下存储成本,另一方面存储空间理论上无穷大...官网链接:https://cloud.tencent.com/document/product/597/59253 02、专业版支持弹性带宽形态 专业版支持在固定规格基础上,有额外弹性使用空间,为用户业务突发激增流量提供保障...官网链接: https://cloud.tencent.com/document/product/597/83279 04、连接器,支持 K2K 跨同步 连接器支持跨 Kafka 消息、消费点位、元数据同步...,为跨容灾、自建迁移提供基础能力。...【新功能】腾讯控制台支持通过“IP 地址”全局搜索 RabbitMQ 集群资源 用户可在腾讯控制台中搜索功能里,输入 RabbitMQ 实例“IP 地址”,全局搜索对应集群。

    13810

    免费对象存储——七牛还是腾讯

    七牛通信协议截图 其他免费对象存储 于是想看看其他免费对象存储,首先看阿里,发现是需要收费,虽然收费不是很高。 至于其他一些小公司免费,这里就不考虑,毕竟没有保障。...最后就是腾讯存储对象了,首先它有免费额度,额度还是比较客观腾讯对象存储免费额度 其次默认生成了域名且是HTTPS,省去了买域名,备案等痛苦。...最后,毕竟是腾讯爸爸,相对其他公司来说肯定有保障多了。对于有需求小伙伴可以考虑下腾讯对象存储「COS」。...使用方式就不累赘了,官方文档写得很详细,简单配置一下,轻松将数据迁移到腾讯上了 迁移数据源 后续问题 原本以为换到腾讯对象存储之后问题解决了,我可以继续开发小程序中生成海报功能了,可是相较于七牛来说...这就又有点尴尬了… 总结 没办法,只好还是使用七牛作为自己文章图床,同时挂了脚本定时同步七牛图片到腾讯上,就当备份了。生成海报头图还是从腾讯上取。

    36.8K72

    腾讯COS对象存储简单使用

    叮当哥之前买了一年腾讯服务器,昨日偶然发现腾讯送了叮当哥半年cos对象存储服务器,于是就撸起袖子传了几张珍藏大图上去,现将其上传简单使用步骤总结一波(其它操作参加官方SDK文档...cos服务器配置文件(tencent.properties) # 这些配置在腾讯控制台都可查到(使用时替换为你自己) # 腾讯SecretId(永久,可在控制台开启或关闭) tencent.SecretId...# 腾讯bucket (存储桶) tencent.bucket=dintalk-1228321366 # 腾讯region(bucket所在地区) tencent.region=ap-beijing...# 腾讯allowPrefix(允许上传路径) tencent.allowPrefix=* # 腾讯临时密钥时长(单位秒) tencent.durationSeconds=1800 # 腾讯访问基础链接...//腾讯bucket (存储桶) private static String bucket; //腾讯region(bucket所在地区) private static

    18.9K52

    腾讯存储专家深度解读基于Ceph对象存储混合机制

    背景   毫无疑问,乘着计算发展东风,Ceph已经是当今最火热软件定义存储开源项目。...如下图所示,它在同一底层平台之上可以对外提供三种存储接口,分别是文件存储、对象存储以及存储,本文主要关注是对象存储即radosgw。     ...中数据导出到支持s3协议公有对象存储平台,比如我们测试中使用腾讯COS,同Mulsite中其他插件一样,RGW Cloud Sync这个特性也是做成了一个全新同步插件(目前称之为aws sync...、删除等,考虑到同步大文件时候可能会造成内存爆炸问题,还实现了流式上传   对于Ceph社区即将在M版本发布这个公有同步特性,腾讯存储团队也在不断关注并进行了实际落地测试使用,并根据其中存在问题进行了反馈及开发...在实际测试过程中,我们搭建了如下所示运行环境:   其中,Cloud Zone内部包含一个公有同步插件,它被配置为只读zone,用以将Rgw Zone中写入数据跨地域同步至腾讯公有对象存储平台

    24.3K141

    【玩转腾讯】十一.轻松打造一款好用私有笔记

    最重要是它完全开源,我们可以通过在腾讯服务器去搭建属于自己私有的笔记~在任何地点,任何时间记录自己想记录笔记!...---- 【前期文章】 【玩转腾讯】一.半小时轻松搭建属于自己Discuz论坛 【玩转腾讯】二.基于CVM服务器轻松部署PostgreSQL数据库 【玩转腾讯】三.云端轻松构建部署WordPress...网站应用 【玩转腾讯】四.使用服务器CVM轻松部署Node.js 【玩转腾讯】五.手把手教你用VNC搭建Ubuntu可视化界面(一) 【玩转腾讯】六.3分钟打造个人专属盘,速度吊打某盘 【玩转腾讯...】七.基于CVM快速搭建部署属于自己维基百科 【玩转腾讯】八.一分钟快速上手搭建宝塔管理面板 【玩转腾讯】九.开发CloudBase快速搭建hexo博客 【玩转腾讯】十.通过Web浏览器对CVM...服务器运维管理 【玩转腾讯】十一.轻松打造一款好用私有笔记 ---- 操作步骤 一.创建CVM服务器 ①在CVM服务器面板中——实例——新建CVM服务器 ②选择自定义配置——计费模式为“按量付费

    27.9K2426

    腾讯1001种玩法】运维网络管理利器:弹性网卡体验

    一句话总结:弹性好用、易扩展! 这么神乎?那与普通网卡有哪些区别呢?...解绑弹性网卡 当某弹性网卡需要更换绑定主机,我们需要先从当前主机解绑,然后再绑定到新主机,操作也很简单: 进入主机列表界面,点击需要解绑主机实例 ID,进入详细信息界面...针对这种情况,我们可以给主机新绑定 3 弹性网卡,处于不同子网上。...场景六:微服务型态应用 在微服务应用场景中,我们会有微服务间通信、微服务与数据存储应用通信、微服务与 API 网关通信和微服务自动发现等等,结合弹性网卡多子网和隔离安全组功能,实现将不同通信应用进行隔离...,尤其是微服务与数据存储通信,我们应当谨慎配置其通信安全策略,以保证数据安全性。

    14K20

    腾讯容器服务 TKE 中利用 HPA 实现业务弹性伸缩

    jokey,腾讯容器产品工程师,热衷于原生领域。目前主要负责腾讯TKE 售中、售后技术支持,根据客户需求输出合理技术方案与最佳实践。...本文将介绍和使用腾讯容器服务 TKE HPA 功能实现 Pod 自动水平扩缩容。...前提条件 已 注册腾讯账户[4]。 已登录 腾讯容器服务控制台[5]。 已创建 TKE 集群。关于创建集群,详情请参见 创建集群[6]。...https://kubernetes.io/zh/docs/tasks/run-application/horizontal-pod-autoscale/#algorithm-details [4] 注册腾讯账户...: https://cloud.tencent.com/register [5] 腾讯容器服务控制台: https://console.cloud.tencent.com/tke2 [6] 创建集群:

    2.7K30

    腾讯对象存储COS新品发布——智能分层存储,自动优化您存储成本

    近日,腾讯正式发布对象存储新品——智能分层存储,能够根据用户数据访问模式,自动地转换数据冷热层级,为用户提供与标准存储一致低延迟和高吞吐产品体验,同时具有更低存储成本。...熟悉数据存储用户都知道,访问频度高数据为热数据,访问频度低数据为冷数据。热数据使用标准存储类型存储,可以得到更优访问体验;而冷数据一般用低频存储或归档存储类型,可以节省存储成本。...随着业务发展,热数据会降冷,冷数据也有回热可能性,虽然目前对象存储COS支持针对对象配置指定规则,实现数据冷热转换,但是通过生命周期沉降数据是单向,只允许从标准存储 > 低频存储 > 归档存储...智能分层存储作为一种存储类型,天然适配COSAPI、SDK、工具以及生态应用,方便用户按需管理存储数据。...目前COS已对外提供了标准存储、低频存储、智能分层存储等覆盖不同业务需求存储产品,后续还会持续迭代,推出更多产品和功能,为用户提供业界内性价比最高存储服务。

    2.1K170

    Kafka 分级存储腾讯实践与演进

    导语 腾讯消息队列 Kafka 内核负责人鲁仕林为大家带来了《Kafka 分级存储腾讯实践与演进》精彩分享,从 Kafka 架构遇到问题与挑战、Kafka 弹性架构方案类比、Kafka 分级存储架构及原理以及腾讯落地与实践四个方面详细分享了...Kafka 分级存储腾讯实践与演进。...弹性本地存储架构 第二个架构是目前 CKafka 比较广泛一套架构,核心逻辑就是盘 + 主机,然后依赖自动化运营系统结合 LVM 以及主机热迁移实现快速扩容。...这是目前腾讯线上正在使用一套产品架构,但是这个产品架构之前也说到了是有缺陷。...弹性远程存储架构 所以针对以上两个弹性架构带来问题,作者又思考了一些新可能,看能否本地存储和远程存储结合起来,Kafka 分级存储,本地会有少量盘热数据,远程存储有大量冷数据。

    48010
    领券