Apache Kafka 自诞生之日起,就以其卓越的设计和强大的功能,成为了流处理领域的标杆。它不仅定义了现代流处理架构,更以其独特的分布式日志抽象,为实时数据流的处理和分析提供了前所未有的能力。Kafka 的成功,在于它能够满足各种规模企业对于高吞吐量、低延迟数据处理的需求,经过多年的发展铸就了极其丰富的 Kafka 生态,成为了事实上的行业标准。
容灾半径是衡量容灾方案所能承受的灾难影响范围的指标。不同灾难的影响范围是不同的,而距离也会影响到容灾技术的选择。容灾中心的架构按照源备端之间的距离,可分为本地容灾、同城双活、两地三中心。
POLARDB 是一个具有国际性质的数据库产品,虽是一个“国产数据库” ,可最专业的资料还要看 E 文。以下为翻译
AutoMQ[1] 是新一代基于共享存储架构实现的云原生 Kafka。得益于其存算分离的共享存储架构,通过和阿里云合作,深度使用阿里云可靠、先进的云服务如对象存储 OSS、块存储 ESSD、弹性伸缩 ESS 以及抢占式实例实现了相比 Apache Kafka 10 倍的成本优势并且提供了自动弹性的能力。
企事业机构的信息化建设已经在随着社会建设的不断推进而改进和创新。众企事业机构的决策层也愈发重视企事业机构的信息化,不同程度的运营和发展着自身的业务信息系统。但是日趋普遍的业务信息系统在为企事业机构带来利益的同时,也存在着一个不容忽视的隐患——越来越多的业务依赖于业务信息系统。如果运行着关键业务信息系统的服务器发生宕机或是因为不可控的原因而停止,从而导致整个企事业机构的信息运营系统瘫痪,将会给企事业机构带来巨大的经济损失,而由于企事业机构的业务不能正常运行也会影响企事业机构的信誉,导致客户对企事业机构失去信任,从而带来致命的危害。
很多人提到云计算,一定会说到云计算具备自动伸缩能力,会按照客户的业务负载自动伸缩,我在刚接触云计算时也这么认真。真是这样吗?没这么简单!
最近,隔壁部门的工程师小刘正在探索如何搞一套支持多地域容灾、且能共享访问的文件服务解决方案。在之前他尝试过本地的NAS存储,无奈扩容艰难、远程访问性能和吞吐量都很受限,管理复杂且成本高昂,多地备份服务更是代价巨大。其实这些功能,利用腾讯云的公有云基础服务,简单几步就可以实现。这篇小教程中,将和大家一起轻松探索,在腾讯云上搭建高可用的共享存储解决方案。
双机热备指基于高可用系统中的两台服务器的热备(或高可用),因两机高可用在国内使用较多,故得名双机热备。双机高可用按工作中的切换方式分为:主-备方式(Active-Standby方式)和双主机方式(Active-Active方式),主-备方式指的是一台服务器处于某种业务的激活状态(即Active状态),另一台服务器处于该业务的备用状态(即Standby状态)。而双主机方式即指两种不同业务分别在两台服务器上互为主备状态(即Active-Standby和Standby-Active状态)。
编译|Ailleurs 作者|陈彩娴 李飞飞,阿里巴巴集团副总裁、阿里云数据库产品事业部负责人,也是达摩院的数据库首席科学家,任达摩院数据库和存储研究实验室的主任。他在加入阿里巴巴之前是犹他大学计算学院的教授。他的研究兴趣包括数据库系统、大规模数据管理、数据安全、数据分析以及用于系统性能和监控的机器学习方法。同时,他还是ACM Transactions on Database Systems(ACM TODS)期刊的副主编,曾多次担任ACM SIGMOD和ACM SIGKDD的高级区域主席,并担任过各种领导
李飞飞,现任阿里巴巴集团副总裁、高级研究员,阿里云智能数据库事业部总负责人。加入阿里巴巴之前为美国犹他大学计算机系终身教授。研究成果多次获得了IEEE ICDE、ACM SIGMOD最佳论文奖等重要学术奖项。
原文 https://www.chenshaowen.com/blog/a-global-images-distribution-network.html
声明 本文为笔者根据自身的项目经验,以及参考大量文档书写而成。文中提到很多厂商的解决方案和概念,第一不方案之间的优劣评判,第二不进行厂商间的相互攻击,第三文中仅代表个人观点,不代表任何厂商的官方立场。 目前业内主流的双活存储技术 双活这个概念,2013年前后比较火热,那时候笔者有幸参与了IBM的一些双活项目,如GPFS A-A,PowerHA/HyperSwap等。因此本文也是有感而发,经验之谈。 谈到双活,首先这是一个很宽泛的概念。广义上说,双活是两个或多个数据中心,每个都具有独立运行生产应用所需要的所有
近日,第12届中国数据库技术大会(DTCC 2021)在北京国际会议中心召开。作为全球领先的云计算、数据库产品服务商,腾讯云数据库集结多位顶级技术大咖亮相本次大会,围绕当前比较热门的数据库技术主题,共同探讨最前沿的技术趋势与实践。 本期为大家带来腾讯专家工程师朱阅岸老师在本次大会上的分享,主题为“HTAP系统的问题与主义之争”。以下是分享实录: 问题与主义之争其实是上世纪初胡适与李大钊之间的一场论战。胡适主张改良,提倡解决一个个问题,也就是少谈些主义,多研究些问题;而李大钊则主张改革,认为只有解决了这个根
随着容器技术在生产环境中越来越多被使用,实际用户应用正在从无状态应用程序扩展到需要持久化存储支持的有状态应用程序。IT技术专业人员需要知道如何选择适合在容器中运行有状态应用程序的存储。我们深度解读Gartner报告,就存储类型及应用类型两个维度来帮技术专业人员分析容器存储的选择。
历史上,数据分析需求的不断提升(更大的数据规模、更快的处理速度、更低的使用成本)和计算基础设施的不断进化(从专用的高端硬件、到低成本的商用硬件、到云计算服务),这两大因素推动数据仓库的架构大体经历了三个时代:软硬一体的一体机时代、存算一体的分布式时代以及存算分离的云原生时代。
A上同步到B,B上写,就会报duplicate,这还比较好,至少两边数据还是一致的
2024年1月22日,沙利文分析师对《2023年中国云原生数据库十大厂商推荐-市场综合力表现》报告进行了线上解读,在分享云原生数据库发展现状以及最新技术趋势的同时,对腾讯云在云原生数据库领域的产品能力给与了最高评价。
双机热备就是使用互为备份的两台服务器共同执行同一服务,其中一台主机为工作机(Primary Server),另一台主机为备份机(Standby Server),保证系统不间断的运行。双机热备软件就是实现上述功能的软件产品。双机热备针对的是服务器的临时故障所做的一种备份技术,通过双机热备,来避免长时间的服务中断,保证系统长期、可靠的服务。
在上一期中分享虚拟化的第一个重要内容:计算虚拟化。那么,本期就进入第二个重要内容:存储虚拟化。在讲存储虚拟化之前,我们需要先了解存储是什么。
今天,中国信息通信研究院“原生聚力,云数赋能”第四届云原生产业大会首日活动取得圆满成功。作为云原生领域盛会,本次大会将邀请云原生业界顶级专家代表共探云原生产业发展方向,见证云原生发展阶段性成果,分享云原生应用先进经验。 腾讯云数据库专家团携顶尖云原生数据库TDSQL-C亮相,腾讯云数据库技术负责人程彬在主论坛分享了云原生时代数据库的技术沿革,四位鹅厂专家在下午的《云原生数据库架构探索与实践》专场中详细剖析了腾讯云在云原生数据库领域的技术演进历程、架构探索、问题解决思路和发展方向。 此外,凭借创新技术和领先实
Blog: https://databend.rs/blog/databend-0-7-0-release
单口 RAM(Single RAM)、双口 RAM(Dual RAM)、简单双口 RAM(Simple-Dual RAM)、真双口 RAM(True-Dual RAM)有什么不同?
近日,AutoMQ 团队发布了基于云的开源云原生 Kafka—— AutoMQ for Kafka,所有的代码采用 Apache 2.0 开源许可。AutoMQ 充分挖掘了云原生的技术红利和成本优势,再结合 Serverless 弹性技术,实现了 Apache Kafka 十倍的降本增效。本文从技术架构的角度,来揭秘 AutoMQ 为 Kafka 量身打造的云原生十倍降本方案。
"鹅厂网事"由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营,我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息,同时分享腾讯在网络与服务器领域,规划、运营、研发、服务等层面的实战干货,期待与您的共同成长。 前言 4月14日,2016 ODCC技术分享和成果宣贯会在深圳召开。开放数据中心委员会的技术专家分享了各自研究领域的最新进展及部分已公开成果。ODCC服务器工作组项目经理、腾讯服务器平台中心架构师王伟,介绍了天蝎3.0在整机设计优化方面的思考,并向行业征求意见。 和小编一起
HTAP系统诞生的初衷,是要打破事务处理和分析处理的界限,使企业能通过HTAP系统更好地发现市场反馈,获得更好的创新。但如何让OLTP和OLAP在系统运行的过程中相互干扰最小,却成了HTAP系统面临的难题。 总体来看,HTAP系统架构的实践可以分成两类:一类是改革,另一类是改良。前者采用One size fits all的策略,用一个大而全的系统同时满足OLTP和OLAP的需求,后者采用One size doesn’t fit all模型,将OLTP和OLAP两种系统组合起来,通过CDC的方式把OLTP上
两个节点可以采用简单的一主一从模式,或者双主模式,并且放置于同一个VLAN中,在master节点发生故障后,利用keepalived/heartbeat的高可用机制实现快速切换到slave节点;
本文介绍了如何在腾讯云上构建企业级应用环境,从安全、网络、服务器、应用、集群、存储、监控、运维等多个方面进行阐述。同时,本文还提供了详细的操作步骤和截图,以帮助读者快速掌握腾讯云上的企业级应用环境构建方法。
关于对高可用的分级在这里我们不做详细的讨论,这里只讨论常用高可用方案的优缺点以及高可用方案的选型。
日前,第11届PostgreSQL中国技术大会圆满落幕,大会上腾讯云多位顶级技术达人携手亮相,分别对腾讯云PostgreSQL系列产品技术亮点和创新实践案例进行了深入解读,针对TDSQL-C PostreSQL高可用特性、TDSQL-A发展历程、技术架构等做出了详细介绍。 会上腾讯云数据库开源产品TDSQL PostgreSQL版(开源代号Tbase)再次公布升级:分区表能力增强,分区剪枝性能提升30%,分布区表关联查询性能(Join)提升超十倍。此外,异地多活易用性增强、分布式死锁自动检测并解锁功能上线
TDSQL-C再创佳绩 9月16日,Distributed Cloud|2021全球分布式云大会在上海召开,腾讯云原生数据库TDSQL-C荣获“云原生卓越技术提供商”奖项,TDSQL-C 是腾讯自研的云原生分布式数据库(原CynosDB), 基于共享存储,实现了强大的扩展能力和超百万级QPS的高吞吐性能,深度定制的数据库内核TXSQL是支撑关键业务平稳运行的基石。 (云原生卓越技术提供商奖项) TDSQL-C的总体架构是基于共享存储,存储和计算分离的架构。 (传统的MySQL主备架构和TDSQL
云原生Clickhouse 优势概述 以Clickhouse为基础,借鉴Snowflake等系统的设计思路,打造一款高性能的云原生OLAP系统,为用户提供多场景下的一站式的数据分析平台。 简单、易维护:集群管理、统一共享分布式调度服务 高可用、可扩展:支持500万以上的Table 低成本:存储成本至少降低了50% 兼容开源,复用超高性能:兼容协议、语法、数据库存储格式 Clickhouse是一款性能十分强悍的OLAP引擎,凭借优秀的性能在用户行为分析、ABTest、在线报表等多个领域大放异彩,但是目前C
在云计算中,存储扮演着非常重要的作用,采用共享存储的方式可以实现Oracle RAC等应用场景的需要。实际上云计算中的NAS、SAN存储中,有着不同的应用场景,我们来看一看。
腾讯云文件存储CFS在中国香港地区上线,提供企业出海高速直通车服务。这是国内首家在中国香港地区提供该服务的云厂商。CFS主要为云主机服务的可多客户端共享、弹性拓展的高性能NAS存储服务。随着中国社交软件、视频点播产品、游戏等业务在国外的扩张,如何保障海外用户体验的诉求越来越强烈。腾讯云文件存储CFS作为最便捷易用的静态文件存储产品,此次中国香港节点的推出,既免去用户用云主机自建NAS的繁琐及高成本,也为用户出海提供更高效便捷的共享存储方案。
题记:对于企业关键业务而言,信息系统可靠性是关键。各行业关键 IT系统因为系统故障导致服务中断的事件仍然时有发生,近年来有一些银行 IT 系统,虽然建有两地三中心布局,但仍然有业务中断服务的现象。传统的存储复制容灾架构和DG容灾架构理论上是可以避免业务中断的,但很多企业在实际操作过程中,往往灾备切换的过程很漫长。 近年来,互联网企业云计算、大数据风起云涌,传统企业在市场压力下,也面临着利用新技术,更好的服务用户与市场的迫切要求。 Extended RAC方案 Oracle ADG上的列式存储支持 Oracl
贾晶晶,Zilliz 数据工程师 & 高昌健,Juicedata 解决方案架构师,十年互联网行业从业经历,曾在知乎、即刻、小红书多个团队担任架构师职位,专注于分布式系统、大数据、AI 领域的技术研究。
关于对高可用的分级我们暂不做详细的讨论,这里只讨论常用高可用方案的优缺点以及选型。
管道是Unix系统IPC最古老的方式。管道有下列两种局限性: (1) 历史上,它们是半双工的(即数据只能在一个方向上流动)。 (2) 它们只能在具有公共祖先的进程之间使用。通常,一个管道由一个进程创建,然后该进程调用fork,此后父子进程就可以应用该管道
一 、腾讯云云函数 SCF 支持 CFS 文件系统 发布时间: 2020 年 7 月 22 日 产品介绍: 腾讯云云函数 SCF 本地文件系统是实例独享的,无共享存储空间,512 MB 存储空间较小且无法持久存储。云函数 SCF 支持与 CFS 无缝集成,只需进行相关配置,函数即可轻松访问存储在 CFS 文件系统中的文件。 CFS 符合标准的 NFS 文件系统访问协议,为多个计算节点提供共享的数据源,支持弹性容量和性能的扩展,现有应用无需修改即可挂载使用,是一种高可用、高可靠的分布式文件系统。 产品功能:
作为云原生技术先驱,腾讯云数据库内核团队致力于不断提升产品的可用性、可靠性、性能和可扩展性,为用户提供更加极致的体验。为帮助用户了解极致体验背后的关键技术点,本期带来腾讯云数据库专家工程师王鲁俊给大家分享的腾讯云原生数据库TDSQL-C的架构探索和实践,内容主要分为四个部分: 本次分享主要分为四个部分: 第一部分,介绍腾讯云原生数据库 TDSQL-C 产品架构,包括产品的研发背景和架构主要特性; 第二部分,分享用户场景实践,针对线上真实的用户场景做一些分析和针对性实践; 第三部分,分享系统关键优化; 第四部
任小闯,云和恩墨交付技术顾问,6年以上数据库开发维护工作经历,Oracle 10g OCM,Oracle 11g OCP,曾就职于某互联网行业任数据库的设计和开发优化,现任某省移动运营商负责数据库的维护和交付工作。 擅长数据库的日常维护,设计开发,故障诊断,数据迁移,性能调优等工作。
oracleAllSilent_$(date +"20%y%m%d%H%M%S").log
作者简介 任小闯 云和恩墨交付技术顾问,6年以上数据库开发维护工作经历,Oracle 10g OCM,Oracle 11g OCP,曾就职于某互联网行业任数据库的设计和开发优化,现任某省移动运营商负责
大数据领域对ClickHouse可谓非常的熟悉了。这个最初由俄罗斯的Yandex公司开发并开源的数据仓库,以单表查询快闻名于世,一改传统Hadoop技术栈“笨,重,慢”的特点。很多时候,ClickHouse的性能相对于Hadoop技术栈,性能有百倍的提升。 ClickHouse的查询性能快,不仅仅在老东家Yandex得到了证实,更是征服了世界各地大量的互联网公司,成为了它们数据分析的不二选择。 然而开源版的ClickHouse要想用好并不是很容易。很多企业用ClickHouse不但没有见到它传说中的极速
面对数字化大潮,央国企作为我国国民经济的中坚力量,扛起了先行军和顶梁柱的大旗,全国范围内,央国企推动企业向数字化转型深处迈进。在这过程中,基础软件数据库作为数字化的重要环节与基础设施被提上建设的日程。
我们在考虑MySQL数据库的高可用的架构时,如果数据库发生了宕机或者意外中断等故障,能尽快恢复数据库的可用性,尽可能的减少停机时间,保证业务不会因为数据库的故障而中断。与此同时,用作备份、只读副本等功能的非主节点的数据应该和主节点的数据实时或者最终保持一致。当业务发生数据库切换时,切换前后的数据库内容应当一致,不会因为数据缺失或者数据不一致而影响业务。这些都是MySQL高可用方案的基本标准。
Master-Slave 部署方式主从热备,方式包括通过共享存储目录来实现(shared filesystem Master-Slave)、通过共享数据库来实现(shared database Master-Slave)、5.9版本后新特性使用 ZooKeeper 协调选择 master(Replicated LevelDB Store)。
从传统关系型数据库到云数据库,数据库在不断演进。与此同时,它也发挥着越来越重要的作用。从云计算、新媒体、音视频、云游戏到移动 App,几乎各行各业都离不开数据库。一方面,数据库作为 IT 基础设施的关键一环,对企业业务的发展起着支撑作用;另一方面,数字化在经济社会中不断深入,数据成为核心要素,围绕数据的生产、存储和消费均依赖数据库。
在数据量持续爆增、数据日益多样化的今天,传统数据库的迭代速度已经追不上数据的增速,且企业对数据库计算和存储能力的要求越来越高。面对当前的挑战和机遇,国产数据库厂商的研发创新速度不断加快,可以说云计算时代的到来,扭转了国外商业数据库一家独大的局面。 目前,国产数据库领域正处于百花齐放的状态,已经有越来越多的行业巨头参与到了数据库的建设中,腾讯云便是其中之一。为了更深入地了解腾讯云数据库的发展历程,从而进一步透视国产数据库的发展方向,InfoQ 和腾讯云数据库专家工程师窦贤明就云数据库的发展、前景与挑战进行
各VLAN之间访问通过两台核心交换设备来完成,仅核心交换设备具备路由功能,接入设备仅提供二层转发功能
领取专属 10元无门槛券
手把手带您无忧上云