TFS存储家族总存储量突破1EB，相当于1亿部蓝光高清视频的数据总量，在这1EB的数据中，图片数突破万亿，文件数超过5000亿，从2007年1PB到2012年100PB，每一个存储量级的突破，都意味着不同的挑战 ，下文阐述了由1PB到1EB的过程中，存储引擎背后的技术。 在新时代新存储矛盾的触发下，TFS家族由1.0升级到了2.0版本，从而应对降低存储成本以及新存储功能的需求。 验证是否解决等，以及对现网质量关键的保障一环就是模块开发完成后发布到现网前，还需要先过自动化测试这一环节，以便发现潜在的BUG； 质量监控：我们的眼睛，时刻盯着数十万台服务器、成百上千个业务，一旦出现异常，最快秒级主动通知到负责人 4、结束语 正是有了新TFS家族，定制的KV引擎，文件存储引擎，以及对业务数据的深度理解，多年来积累的现网运营经验，才确保了EB级的数据，安全稳定的运行。
演讲者：刘金明 腾讯云存储业务中心副总监 背景：5月23-24日，以“焕启”为主题的腾讯“云+未来”峰会在广州召开，广东省各级政府机构领导、海内外业内学术专家、行业大咖及技术大牛等在现场共议云计算与数字化产业创新发展 腾讯云存储业务中心副总监-刘金明，在云+未来峰会上做了主题为《腾讯云 EB 级对象存储架构深度剖析及实践》的分享，以下内容整理自演讲。 1.png 刘金明：大家好。 我是来自腾讯云存储业务中心的副总裁刘金明。 到了2015年的时候，我们把整个接口标准化，并且在整个数据层面已经到了EB级别。 腾讯云EB级对象存储架构剖析及实践.pptx
一站式解决数据备份、共享、大数据处理、线上数据托管的云端存储服务
来自腾讯TEG技术工程事业群架构平台部的刘金明在腾讯“云+未来”峰会的「开发者专场」做了主题为“腾讯云EB级对象存储架构剖析及实践”的技术内容分享。 关于对象存储，我们先从腾讯存储平台TFS开始说起，早在2016年腾讯推出了自研的云存储平台TFS，几年间为相册、QQ、微信、微云、腾讯视频等腾讯内部产品提供了优质的存储服务。 ? 2013年，腾讯云把存储能力包装之后开始对外开放。 2014年，腾讯存储突破500PB，数据量达到万亿级别。 2015年，引擎升级商用标准化，数据量达到EB级别。 成本方面，除了前面提到的图片、视频等可以采用压缩转码等技术实现成本优化外，COS本身提供了标准、低频、归档三级存储产品，客户可以按自身的业务特点，选择自己的存储级别，同时可以通过生命周期在不同级别之间灵活的调度数据 除了上文提到的几个基本功能以外，腾讯云COS也在陆续推出一些高级功能。 生命周期：客户只需在COS控制台配置一个规则就可以很方便的让数据在各级存储之间流动和删除。
作者：腾讯云存储产品中心 雷伟 前言 腾讯云存储服务，从开放至今，已支撑EB级存储规模。面对存储规模快速增长、应用数据多样化等挑战如何应对？ 早在2006年，腾讯分布式存储系统平台TFS，就开始为腾讯集团所有的业务提供数据存储的服务。至2015年，规模已达EB级、用户数已达数十亿级别。 云存储的发展历程 虽然腾讯云存储对外提供服务时，已历经数十亿用户访问高并发、规模海量、业务多样化的考验，但不同的时代对云存储的诉求会有所不同。 对于用户已有源站的情况下，如何将源站内容快速迁移到云存储，也应生出“回源设置”的功能。即当发现数据在云存储缺失时，返回HTTP状态码302重定向到源站，同时，将源站数据拷贝云存储中。 所幸的是，腾讯云存储基于自身对应用的深入理解，为方便用户更好的使用，已针对各种场景推出完整的方案： 如智能安防监控方案、大数据方案、企业云盘方案、混合云存储方案、数据备份方案、视频直播点播方案、医疗影像云存储方案
“全文总共分为三个部分，第一部分对大规模数据存储进行概述；第二部分以百度网盘为例介绍百度沧海如何支撑 EB 级大规模存储；第三部分享一些相关的经验与思考。” 等于 1024EB，1EB 等于 1024PB，从这个单位的量级可以看出，当今数据的规模是相当庞大的。 即使是从单体业务的角度去看，我们几年前还在使用 PB 作为规模的衡量单位，但近几年，衡量单位已经上升到了 EB，所以本文将会以百度网盘这个存储服务作为例子，介绍百度沧海·存储如何支撑网盘的 EB 级存储 总体而言，网盘的数据在 Aries 这一层，存储的成本和数据的可靠性的优先级稍高于性能。那么这些 Trade-off 又是如何体现的？ 本期公开课回放链接： https://cloud.baidu.com/live/58 延伸阅读： 打造无限扩展的云存储系统，元数据存储底座的设计和实践 来源：百度智能云技术站 公众号 今日好文推荐 Vue
许多使用消费级云存储产品的公司都面临着不同程度的安全风险，因此企业可以尝试采用IT部门和普通员工都能够接受的企业级文件同步和共享解决方案。 简单易用的特性吸引很多企业员工开始使用消费级云存储应用程序。在任何移动办公和终端计算领域，都不能低估用户体验(UX)的重要性，但是企业需要在面临数据风险的情况下牺牲部分用户体验。 但是如果IT部门不仔细监控和规范数据存储方式，那么企业员工就会使用像Dropbox和Google Drive这样的消费级云产品来存储企业敏感信息。 云存储解决方案提供商CTERA在2015年对300位IT专家进行了调查，其中83%的受访者制订了相关策略，限制或者完全禁止使用某些软件提供文件共享服务。 尽管存在某些安全风险，但是相关厂商已经考虑到企业IT部门的顾虑，市场上的很多消费级云储存产品已经综合考虑了其易用性和安全性。
面对庞大的数据量和飞快的增长速度，雅虎对象存储需要在保证耐用性和延迟的基础上发挥存储成本效益，雅虎选择了软件定义的存储。 本文介绍了雅虎PB级云对象存储COS解决方案的实践，解释了选择Ceph放弃Swift的原因，部署的架构及其实现，耐用性和延迟方面的优化以及未来的研发方向等。 ---- 雅虎存储用户所提交的照片，视频，电子邮件和博客文章的数据量达半个EB，对象存储超过2500亿，并且对象存储每年以20%-25%的速度增长，增长原因主要有移动，图像，视频，用户量的增长这几方面。 行业标准的API允许应用程序无缝从公有云迁移到雅虎私有云。 跨存储类型：通过软件进行跨对象存储，块存储和文件存储三种存储类型，从而降低研发和运营成本。 规模上：我们已经初始部署了一个多PB级解决方案。在2015年，我们计划将其增长10倍以上，把它用到邮件，视频，Tumblr等，实现像在Flickr那样的增长。
该引擎完美解决对于敏态业务发展过程中业务形态、业务量的不可预知性，实现了EB级存储的Online DDL，能够大幅提升表结构变更过程中的数据库吞吐量，从而有效应对业务的变化。 为了让更多的数据库从业者了解国产数据库核心技术的创新突破，充分释放领先的技术红利，12月7日14：30至17：00，腾讯云数据库朱翀、赵东志、唐彦三位国产数据库技术大咖，将从存储、Online DDL、 直播议程 议题一：TDSQL新敏态引擎存储相关原理 分享嘉宾：朱翀 腾讯云数据库专家工程师 研究领域主要为分布式事务以及大规模数据密集型系统相关的关键技术。 议题二：TDSQL 新敏态引擎 Online DDL原理与实现 分享嘉宾：赵东志 腾讯云数据库高级工程师 研究领域主要为分布式查询优化、分布式数据库schema变更、分布式架构下的一致性相关的关键技术 议题三：TDSQL 新敏态引擎元数据管控与集群调度的探索与实践 分享嘉宾：唐彦 腾讯云数据库专家工程师 研究领域主要为分布式存储、大规模数据密集型系统相关的关键技术，以第一作者身份在领域Top类期刊和会议上发表多篇论文
Longhorn 云原生分布式块存储解决方案设计架构和概念 安装 Longhorn 可以通过多种方式安装在 Kubernetes 集群上： Rancher catalog app kubectl Helm 主机文件系统支持 file extents 功能来存储数据。目前我们支持： ext4 XFS curl, findmnt, grep, awk, blkid, lsblk 必须安装。 安装 Longhorn 添加 Longhorn Helm 存储库： 从存储库中获取最新 charts： 在 longhorn-system 命名空间中安装 Longhorn。
Longhorn 企业级云原生容器分布式存储解决方案设计架构和概念 Longhorn 企业级云原生容器分布式存储-部署篇 Longhorn 企业级云原生容器分布式存储-券(Volume)和节点(Node ) Longhorn，企业级云原生容器分布式存储-K8S 资源配置示例 Longhorn，企业级云原生容器分布式存储 - 监控(Prometheus+AlertManager+Grafana) Longhorn ，企业级云原生容器分布式存储 - 备份与恢复 目录 数据局部性 更改默认全局设置 使用 Longhorn UI 更改单个卷的数据位置 使用 StorageClass 为单个卷设置数据局部性 数据局部性设置 Deployments 没有稳定的 identity，但是对于 Read-Write-Once 类型的存储，由于它不能同时附加到两个节点，Kubernetes 创建的新 pod 将无法启动，因为 RWO 因为被驱逐的 pod 会卡在 Terminating 状态，并且附加的卷不能被释放/重用(released/reused)，如果没有管理(admin)或存储(storage)软件的干预，新的 pod 将卡在
作为腾讯集团面向产业互联网领域规格最高、规模最大、覆盖面最广的年度盛会，腾讯数字生态大会旨在汇聚全球智慧洞察产业发展新机遇，描绘云、AI、大数据、安全等关键技术的发展蓝图，展示腾讯最新的研究成果、战略规划 其中包括腾讯云、腾讯安全、腾讯健康、腾讯教育、腾讯智慧交通等 ToB 业务产品及解决方案，以及腾讯合作伙伴英特尔、AMD、英伟达、明略科技、顺丰科技等知名企业等40+主题演讲。 云存储专场：云上存储新引擎，赋予数据无限可能 在发布大厅，腾讯云存储高级产品经理吕纬瀚将带来《对象存储 cos 全场景全链路生态建设》主题分享，并为大家揭秘自研百EB级别分布式存储架构，以及数据湖的三级加速器 还为大家分享大数据场景下，作为数据湖基底的对象存储如何应对更高性能的挑战，以及作为存储端，如何提供更直接的简单的多媒体处理能力以更好的简化客户的业务架构。
Longhorn 云原生容器分布式存储解决方案设计架构和概念 Longhorn 云原生容器分布式存储-部署篇 Longhorn 云原生容器分布式存储-券和节点 Longhorn 云原生容器分布式存储-K8S 资源配置示例 Longhorn 云原生容器分布式存储 - 监控(Prometheus) Longhorn 云原生容器分布式存储 - 备份与恢复 Longhorn 云原生容器分布式存储 - 高可用 Longhorn 云原生容器分布式存储 - 支持 ReadWriteMany (RWX) 工作负载 您可以在部署 Longhorn 时自定义它的默认设置。
Longhorn 企业级云原生容器分布式存储解决方案设计架构和概念 Longhorn 企业级云原生容器分布式存储-部署篇 Longhorn 企业级云原生容器分布式存储-券(Volume)和节点(Node ) Longhorn，企业级云原生容器分布式存储-K8S 资源配置示例 目录 设置 Prometheus 和 Grafana 来监控 Longhorn 将 Longhorn 指标集成到 Rancher 高级概述来看，监控系统包含： Prometheus 服务器从 Longhorn 指标端点抓取和存储时间序列数据。Prometheus 还负责根据配置的规则和收集的数据生成警报。 8b28ee3134628183",node="worker-3"} 9.060941824e+09 longhorn_disk_reservation_bytes 此磁盘上为其他应用程序和系统保留的存储空间 您可以设置一个监控系统来抓取 Kubelet 指标端点以获取 PVC 的状态并设置异常事件的警报，例如 PVC 即将耗尽存储空间。
5月16日，腾讯云发布全新非关系型数据库KeeWiDB，搭载全自研存储引擎。这是腾讯云发布的首款软硬件结合、高速低延迟的NoSQL数据库产品。 KeeWiDB创新性地实现三级存储架构设计，自研代码量超过25万行，单节点读写能力超过18万QPS，最高可线性堆叠至千万级并发吞吐量，同时兼容Redis协议，访问延迟达到毫秒级，是一款具有行业领先性的数据库产品 在性能和成本问题上，KeeWiDB创新性地提供内存（DRAM）、持久内存（PMEM）、固态硬盘（SSD）的三级存储解决方案，根据数据访问热度自动分级，将不同访问密度的数据存储到不同成本的介质中，有效实现了性能和成本的平衡 在持久化能力上，该架构设计能够达到毫秒级稳定写入延迟，SSD存储能提供低成本持久化能力，保证数据写入即存储。 目前，腾讯云NoSQL数据库服务了金融、电商、游戏、视频等数十个行业应用场景。 一文不够？
Longhorn 云原生分布式块存储解决方案设计架构和概念 Longhorn 企业级云原生容器存储解决方案-部署篇 创建 Longhorn 卷 在本教程中，您将学习如何创建与 Longhorn 卷对应的持久卷 您将使用 kubectl 为使用 Longhorn 存储类(storage class)的工作负载动态配置存储。 由于 Longhorn 在块级运行，不了解文件系统，因此删除后不会释放存储 data#1 的磁盘块/空间(blocks/space)。 存储标签 概述 存储标签(storage tag)功能只允许使用某些节点或磁盘来存储 Longhorn 卷数据。 多磁盘支持 Longhorn 支持在节点上使用多个磁盘来存储卷数据。 默认情况下，主机上的 /var/lib/longhorn 将用于存储卷数据。
11月26日在QCon大会上，腾讯云数据湖存储研发负责人严俊明和技术专家程力受邀分享了数据湖存储的关键技术，并分享了数据湖存储在大数据及自动驾驶场景下的落地实践，助力用户业务降本增效。 数据湖存储的底座- 可靠性12个9的ZB级海量对象存储COS 对象存储(Cloud Object Storage) COS 是腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/ 技术架构使用了YottaStore自研存储引擎，单集群最多可扩展至百EB数据规模，弹性伸缩策略让数据自动进行缩容或扩容，帮助用户平缓度过业务爆发期。 COS三级加速GooseFS打造大数据存储行业性能标杆 客户为教育行业领先企业，原在友商云中自建大数据集群，但在双减的背景下面临严峻的成本压力，现需要降低集群运行和维护成本。 车企IDC通过云联网同腾讯云建立高速网络连接，数据在公有云存储和IDC存储之间自由流动，无缝使用云上弹性计算资源，帮助用户聚焦自身业务。
Longhorn 企业级云原生容器分布式存储解决方案设计架构和概念 Longhorn 企业级云原生容器分布式存储-部署篇 Longhorn 企业级云原生容器分布式存储-券(Volume)和节点(Node
云上生长：腾讯云原生数据库TDSQL-C关键技术助力企业降本增效 首先从架构上，把单体架构升级为更可控的弹性架构。 设计理念是把计算层和存储层进行解耦，做分层处理，分层过后通过池化让计算、存储的能力变得无限大，做到极致弹性；同时基于云上IaaS跟PaaS来进行重新设计，复用之前的非常成熟的数据库内核、计算等技术以及EB 级规模存储的平台，提高数据库的稳定性。 超大计算/存储力，单个实例可以做到千核级别的计算能力，达到PB级的存储能力。 极致弹性能力，秒级扩展。 自动伸缩能力。 serverless形态和多级存储，降低数据库成本。 （千核计算力，PB级存储力） 在可用性上，云原生数据库 TDSQL-C改变了通知用户配合升级的传统方式，通过Zero-Downtime Patching能力，把它做到数据库内核里面，实现秒级升级切换。
Longhorn 企业级云原生容器分布式存储解决方案设计架构和概念 Longhorn 企业级云原生容器分布式存储-部署篇 Longhorn 企业级云原生容器分布式存储-券(Volume)和节点(Node ) Longhorn，企业级云原生容器分布式存储-K8S 资源配置示例 Longhorn，企业级云原生容器分布式存储 - 监控(Prometheus+AlertManager+Grafana) Longhorn ，企业级云原生容器分布式存储 - 备份与恢复 Longhorn，企业级云原生容器分布式存储 - 高可用 Longhorn 通过 NFSv4 服务器（share-manager）公开常规 Longhorn
腾讯云事件总线(EB)是一款安全，稳定，高效的无服务器事件管理平台，支持腾讯云服务、自定义应用、SaaS应用以标准化、中心化的方式接入，帮助您轻松实现无服务器事件驱动架构。
扫码关注腾讯云开发者
领取腾讯云代金券
云服务器
网站备案
对象存储
云直播
实时音视频
