首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    币读说人话之科普系列一:到底什么是分片技术?

    前段时间参与的区块链峰会,以太坊社区的爱好者给币读菌科普了什么是分片技术,听得币读菌是一愣一愣的,专业术语太多了,完全听不懂哇。 今日币读菌联系到一位技术大咖,给大家以最简单易懂的方式把分片技术介绍给大家。 由于分片技术涉及到大量的专业知识,本文打算抛弃这些概念,直接站在山顶的最高峰,俯瞰“庐山”真面目。 不过,首先还是让我讲讲分片的由来。分片技术的由来 分片又称Sharding,它首先出现在数据库领域。起初,所有的数据都放在一台服务器上,如下图所示: 虽然不同的用户访问的是不同的数据,但是只有一台服务

    07

    MP4大文件虚拟HLS分片技术,避免服务器大量文件碎片

    对于大家经常见到和使用到的普通MP4来说,作为电影、电视文件的存储容器,是很好的,不过对于流媒体点播来说,最大的缺点就是它的媒体信息和关键帧索引都集中存放在moov box中,而导致越大的文件,moov box越大,对播放器来说,获取不到moov box,根本无从解码,所以就导致MP4文件点播,需要缓冲很久,加载头部数据。当然常见解决方案,就是文件切分,把大的MP4文件,切为小一点的MP4文件,这样每块的MP4的加载就会快很多,这个也是很多视频网站的解决方式,这样的切分也还好,分片数量不算很多。然而到了HLS时代,为了支持HLS协议,就需要把大的MP4文件,都转换为了更小的HLS-TS分片文件,这就出现问题了,服务器太多碎片一样的TS文件,难以管理,也影响性能。怎么解决呢?那就是虚拟HLS分片技术。

    013

    MyCat:第四章:Mycat中的概念

    Mycat中的概念 数据库中间件 前面讲了Mycat是一个开源的分布式数据库系统,但是由于真正的数据库需要存储引擎,而Mycat并没有存储引擎,所以并不是 完全意义的分布式数据库系统。 那么Mycat是什么?Mycat是数据库中间件,就是介于数据库与应用之间,进行数据处理与交互的中间服务。由于前面讲的对数 据进行分片处理之后,从原有的一个库,被切分为多个分片数据库,所有的分片数据库集群构成了整个完整的数据库存储。 如上图所表示,数据被分到多个分片数据库后,应用如果需要读取数据,就要需要处理多个数据源的数据。如果没有数据库中间 件,那么应用将直接面对分片集群,数据源切换、事务处理、数据聚合都需要应用直接处理,原本该是专注于业务的应用,将会 花大量的工作来处理分片后的问题,最重要的是每个应用处理将是完全的重复造轮子。 所以有了数据库中间件,应用只需要集中与业务处理,大量的通用的数据聚合,事务,数据源切换都由中间件来处理,中间件的 性能与处理能力将直接决定应用的读写性能,所以一款好的数据库中间件至关重要。 逻辑库(schema) 逻辑库(schema) 前面一节讲了数据库中间件,通常对实际应用来说,并不需要知道中间件的存在,业务开发人员只需要知道数据库的概念,所以 数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。 在云计算时代,数据库中间件可以以多租户的形式给一个或多个应用提供服务,每个应用访问的可能是一个独立或者是共享的物 理库,常见的如阿里云数据库服务器RDS。 逻辑表(table) 逻辑表 既然有逻辑库,那么就会有逻辑表,分布式数据库中,对应用来说,读写数据的表就是逻辑表。逻辑表,可以是数据切分后,分 布在一个或多个分片库中,也可以不做数据切分,不分片,只有一个表构成。 分片表 分片表,是指那些原有的很大数据的表,需要切分到多个数据库的表,这样,每个分片都有一部分数据,所有分片构成了完整的 数据。 例如在mycat配置中的t_node就属于分片表,数据按照规则被分到dn1,dn2两个分片节点(dataNode)上。

    非分片表 一个数据库中并不是所有的表都很大,某些表是可以不用进行切分的,非分片是相对分片表来说的,就是那些不需要进行数据切 分的表。 如下配置中t_node,只存在于分片节点(dataNode)dn1上。
    ER表 关系型数据库是基于实体关系模型(Entity-Relationship Model)之上,通过其描述了真实世界中事物与关系,Mycat中的ER表 即是来源于此。根据这一思路,提出了基于E-R关系的数据分片策略,子表的记录与所关联的父表记录存放在同一个数据分片 上,即子表依赖于父表,通过表分组(Table Group)保证数据Join不会跨库操作。 表分组(Table Group)是解决跨分片数据join的一种很好的思路,也是数据切分规划的重要一条规则。 全局表 一个真实的业务系统中,往往存在大量的类似字典表的表,这些表基本上很少变动,字典表具有以下几个特性: • 变动不频繁 • 数据量总体变化不大 • `数据规模不大,很少有超过数十万条记录。 对于这类的表,在分片的情况下,当业务表因为规模而进行分片以后,业务表与这些附属的字典表之间的关联,就成了比较棘手 的问题,所以Mycat中通过数据冗余来解决这类表的join,即所有的分片都有一份数据的拷贝,所有将字典表或者符合字典表特 性的一些表定义为全局表。 数据冗余是解决跨分片数据join的一种很好的思路,也是数据切分规划的另外一条重要规则。 分片节点(dataNode) 分片节点(dataNode) 数据切分后,一个大表被分到不同的分片数据库上面,每个表分片所在的数据库就是分片节点(dataNode)。 节点主机(dataHost) 数据切分后,每个分片节点(dataNode)不一定都会独占一台机器,同一机器上面可以有多个分片数据库,这样一个或多个分片 节点(dataNode)所在的机器就是节点主机(dataHost),为了规避单节点主机并发数限制,尽量将读写压力高的分片节点 (dataNode)均衡的放在不同的节点主机(dataHost). 分片规则(rule) 分片规则 前面讲了数据切分,一个大表被分成若干个分片表,就需要一定的规则,这样按照某种业务规则把数据分到某个分片的规则就是 分片规则,数据切分选择合适的分片规则非常重要,将极大的避免后续数据处理的难度。 全局序列号(sequence) 全局序列号(

    01

    【TBase开源版测评】数据自动shard分片

    7月13日,TBase重磅发布了开源版本2.1.0,代码已上传至github:https://github.com/Tencent/TBase。同时开展大规模公测,体验地址为:https://github.com/Tencent/TBase 体验包括分布式数据自动shard分片、分布式数据库复制表关联查询、分布式事务全局一致性、高性能自研分区表、冷热分离存储、多核并行计算能力、子查询转化join能力等,作为国内首屈一指的国产开源数据库,其优良性能足以打动广大开源爱好者共同参与到此项活动中,作为开源思想传播者者及高校学生的身份,本身的研究方向就为分布式计算,tbase的分布式数据自动shard分片功能深深吸引了我,迫不及待的来试用下。

    09

    小工具:助你上手分布式数据库

    分布式数据库,无疑是近些年来数据库领域的重大技术进步。越来越多的用户考虑将传统集中式或单机数据库,迁移到分布式数据库。然而,正如同其他新技术一样,使用分布式数据库同样面临一定的使用门槛。如何平滑地迁移到这一新架构,享受新架构带来的优势的同时,还需规避潜在的劣势。尽管很多分布式数据库产品,正努力降低使用门槛,让用户近似传统数据库的体验去使用它,但这一过程仍面临诸多问题。此外,要想更好地使用分布式数据库,是需要其实现细节有着更多的了解。本文,尝试从研发角度谈谈,如何上手分布式数据库,针对常见的如何做表分片、如何选择分片键等问题加以描述。为了降低过程难度,结合之前在项目实施中的一点经验,自己也尝试编写工具来方便迁移分析。

    04

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭
      领券