SSDB是一个高性能的KV存储数据库,个人开发作品,已开源。凭借其兼容redis协议、支持数据硬盘存储、简单易用等特性在业界有一定知名度。SSDB主要解决场景是Redis的存储问题,底层基于LevelDB作存储,可以大幅降低数据存储成本,具体产品介绍可查看其官网介绍。
这是上月在公司内部的一次分享,现把PPT及交流内容整理成博客。 高可用 高可用(High Availability),是当一台服务器停止服务后,对于业务及用户毫无影响。 停止服务的原因可能由于网卡、路由器、机房、CPU负载过高、内存溢出、自然灾害等不可预期的原因导致,在很多时候也称单点问题。 解决单点问题主要有2种方式: 主备方式 这种通常是一台主机、一台或多台备机,在正常情况下主机对外提供服务,并把数据同步到备机,当主机宕机后,备机立刻开始服务。 Redis HA中使用比较多的是keepalived
导读:本案例描述的数据仓库建设问题和解决经验,在企业数仓初期建设时多少都会遇到,对制定数仓初期建设方案有一定的参考意义,推荐收藏。
企业大量的IT投资建立了众多的信息系统,但是随着信息系统的增加,各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。企业急需通过建立底层数据集成平台来联系横贯整个企业的异构系统、应用、数据源等,完成在企业内部的ERP、CRM、SCM、数据库、数据仓库,以及其它重要的内部系统之间无缝的共享和交换数据。
分库分表的文章网上非常多,但是大多内容比较零散,以讲解知识点为主,没有完整地说明一个大表的切分、新架构设计、上线的完整过程。
安全业务的核心逻辑在安全策略中实现。整个的策略开发流程包括特征数据的收集,安全策略的编写实现,和策略的反馈评估。其中特征数据的收集是必不可少的环节,数据的质量将直接影响安全策略的效果。
微信作为月活过10亿的国民级应用,其安全能力备受关注。值得注意的是,没有足够的特征数据,安全策略将是"无根之木,无源之水"。微信安全数据仓库作为安全业务的特征数据存储中心,每天服务了万亿级的特征数据读写请求,为整个微信安全策略提供了可靠的数据支撑,是微信安全的一块基石。事实上,微信安全数据仓库不仅仅是一个存储中心,更是一个特征管理和数据质量管理的中心。本文将介绍安全数据仓库的起源、演进、当前的架构设计和数据质量保证系统的实现,请往下阅读。
当谈到架构的高可用时,无论是高可用计算架构,还是高可用存储架构,其本质的设计目的都是为了解决部分服务器故障的场景下,如何保证系统能够继续提供服务。但在一些极端场景下,有可能所有服务器都出现故障。例如,典型的有机房断电、机房火灾、地震、水灾……这些极端情况会导致某个系统所有服务器都故障,或者业务整体瘫痪,而且即使有其他地区的备份,把备份业务系统全部恢复到能够正常提供业务,花费的时间也比较长,可能是半小时,也可能是一天。因为备份系统平时不对外提供服务,可能会存在很多隐藏的问题没有发现。如果业务期望达到即使在此类灾难性故障的情况下,业务也不受影响,或者在几分钟内就能够很快恢复,那么就需要设计异地多活架构。
用一个具体的例子来解释一下这个核心差异,比如说你去便利店买一瓶水,只要你付钱商家就会把水给你,这个商家可能都不在乎这笔交易有没有记录。但是如果你去银行办理银行卡,我们都知道不是提供了申请材料就可以直接拿到卡的,这些申请材料必须要先保存好记录,然后还有人对这个记录审核确认无误后,并且这个审核都要记录后,柜员才敢把银行卡给你。
随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。
数据库中间件承担应用与数据库之间的粘合与润滑,数据库中间件设计的合理应用跑起来就丝滑,否则会拉胯。本文就常见数据库组件相关的功能设计点做个归纳整理:
无论是高可用计算架构,还是高可用存储架构,其本质的设计目的都是为了解决部分服务器故障的场景下,如何保证系统能够继续提供服务。但在一些极端场景下,有可能所有服务器都出现故障。例如,典型的有机房断电、机房火灾、地震、水灾……这些极端情况会导致某个系统所有服务器都故障,或者业务整体瘫痪,而且即使有其他地区的备份,把备份业务系统全部恢复到能够正常提供业务,花费的时间也比较长,可能是半小时,也可能是12小时。因为备份系统平时不对外提供服务,可能会存在很多隐藏的问题没有发现。如果业务期望达到即使在此类灾难性故障的情况下,业务也不受影响,或者在几分钟内就能够很快恢复,那么就需要设计异地多活架构。
本文整理自 8 月 Apache Pulsar Meetup 上的分享。科大讯飞是中国最大的智能语音技术提供商,在中文语音合成、语音识别、口语评测等多项技术上拥有国际领先的成果。2022 年 3 月,科大讯飞正式将 Pulsar 上线。本文将介绍经历一年多的测试与评估,科大讯飞为何选择 Pulsar;如何利用 SRE 保障体系将 Pulsar 从 0 到 1 落地;内部的监控与参数优化与 Pulsar 使用过程中可能出现的一系列问题及相应的解决方案。
互联网从来就不是一个安全的地方。很多时候我们过分依赖防火墙来解决安全的问题,不幸的是,防火墙是假设“坏人”是来自外部的,而真正具有破坏性的攻击事件都是往往都是来自于内部的。
有赞搜索平台是一个面向公司内部各项搜索应用以及部分 NoSQL 存储应用的 PaaS 产品,帮助应用合理高效的支持检索和多维过滤功能,有赞搜索平台目前支持了大大小小一百多个检索业务,服务于近百亿数据。
2000年Eric Brewer教授提出CAP猜想,2年后CAP猜想被Seth Gilbert和Nancy Lynch从理论上证明。CAP是Consitency(强一致性)、Availability(可用性)、Partition tolerance(网络分区容忍性)三个不同维度的组合体,如图1所示。
对于IM系统来说,如何做到IM聊天消息离线差异拉取(差异拉取是为了节省流量)、消息多端同步、消息顺序保证等,是典型的IM技术难点。
作者:蘑菇先生 出处:http://www.cnblogs.com/mushroom/ 1. 使用Redis有哪些好处? (1) 速度快,因为数据存在内存中,类似于HashMap,HashMap的优势就是查找和操作的时间复杂度都是O(1) (2) 支持丰富数据类型,支持string,list,set,sorted set,hash (3) 支持事务,操作都是原子性,所谓的原子性就是对数据的更改要么全部执行,要么全部不执行 (4) 丰富的特性:可用于缓存,消息,按key设置过期时间,过期后将会自动删除
2020年2月23日19点,国内最大精准营销服务商微盟出现大面积系统故障,旗下300万商户线上业务全停,商铺后台所有数据被清。始作俑者是一位运维,在生产环境数据库删库,而刚上市不久的微盟就因此遭受巨大的损失,2月23日宕机以来,市值蒸发30亿港元。最贵的安全事件。数据中台咋防止类似事件?
1. 使用Redis有哪些好处? (1) 速度快,因为数据存在内存中,类似于HashMap,HashMap的优势就是查找和操作的时间复杂度都是O(1) (2) 支持丰富数据类型,支持string,list,set,sorted set,hash (3) 支持事务,操作都是原子性,所谓的原子性就是对数据的更改要么全部执行,要么全部不执行 (4) 丰富的特性:可用于缓存,消息,按key设置过期时间,过期后将会自动删除 2. redis相比memcached有哪些优势? (1) memcached所有的值均
A云Polardb-x 1.0现已全面升级为Polardb-x 2.0,但Polardb-X 1.0有其自有特色,仍然有很多企业在使用Polardb-X 1.0方案。那么,当这些企业想将业务系统迁移至腾讯云时,该如何进行数据库选型?怎么样进行数据同步?其中又会涉及到哪些问题呢?
摘要:很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式,可以非常方便地完成 MySQL 数据实时同步到ClickHouse,跟大家分享一下,希望对你有帮助。
摘要:很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式,可以非常方便地完成 MySQL 数据实时同步到ADB MySQL,跟大家分享一下,希望对你有帮助。
摘要:很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式,可以非常方便地完成 MySQL 数据实时同步到DM DB 达梦数据库,跟大家分享一下,希望对你有帮助。
摘要:很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式,可以非常方便地完成 MySQL 数据实时同步到ADB PostgreSQL,跟大家分享一下,希望对你有帮助。
摘要:很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式,可以非常方便地完成 MySQL 数据实时同步到Greenplum,跟大家分享一下,希望对你有帮助。
注意: 其他附加功能与实现一基本一致,这里需要注意的是“where name=lock ”,name字段必须要走索引,否则会锁表。有些情况下,比如表不大,mysql优化器会不走这个索引,导致锁表问题。
随着企业信息化程度的不断提高,为了满足企业对于业务系统更加可靠、使用性强和安全性的需求,许多企业选择使用虚拟化技术,其中VMware是早期最流行的虚拟化平台之一。
作为优秀的打工人,如果可以将办公中的重复性、繁琐性、低效性工作自动化,那么将省去许多日常工作。许亚宁就是这样一个优秀的打工人,善于使用各类自动化工具来提升工作效率,上周的直播他分享了如何利用自动化工具,实现自动化办公的最佳实践。如果你错过了上周的直播,今天的精华回顾可一定不要错过哦~
平台用户分为两类角色:其一是数据服务生产方,其二是数据服务调用方。数据服务生产方只需要配置,做到“配置即开发”,配置包括:1)数据源;2)数据加速到何处;3)接口形态,访问方式;4)配置独立的测试环境,访问隔离的测试数据。当配置完毕后,数据服务平台便会根据配置清单,完成接口的自动化生产和部署。生产和部署完毕后,调用方在平台申请服务权限调用。通过自动化生产,达到配置即开发的目的,从而极大的提升效率。
4)在perJob模式下,最终调用的是YarnJobClusterEntrypoint
快手是一家数据驱动的公司,数据扮演了非常重要的角色,而数据的生产加工主要依靠数据开发工程师,其工作内容会涉及多个方面:数据开发工程师则首先根据业务需求开发好高质量的数据,通常是结构化数据(数据表);其次,开发稳定可靠的数据服务,并通过API方式交付给业务方使用。数据开发工程师有两个痛点:1)开发数据服务门槛高;2)重复开发数据服务。
在腾讯云数据库举办的【国产数据库专题线上技术沙龙】中,4月30日陈爱声的分享已经结束,没来得及参与的小伙伴不用担心,以下是直播的视频和文字回顾。 关注“腾讯云数据库”公众号,回复“0430陈爱声”,即可下载直播分享PPT。 大家好,我是陈爱声,目前负责腾讯云TBase产品实施和运维相关工作。非常感谢大家百忙之中抽空来到TBase直播间。 今天的分享主题是“TBase优秀的企业级能力原理剖析”,主要分为四个特性。 第一:数据透明加密能力。 第二:基于任意时间点的恢复能力。 第三:异构数据同步能力。 第
前段时间记录了技术博客Yarn快速入门系列(1-5),详情请见Yarn专栏。最近打算花点时间把Yarn也精炼一番,整理出来,以便于后期的快速复习。
支持 Linux、FreeBSD、AID 等Unix系统,解决了大容量的文件存储和高并发访问问题,文件存取实现了负载均衡,适合存储 4KB~500MB 之间的小文件,特别适合以文件为载体的在线服务,如图片、视频、文档等等。
在实时数据仓库建设或迁移的过程中,用户必须考虑如何高效便捷将关系数据库数据同步到实时数仓中来,Apache Doris 用户也面临这样的挑战。而对于从 Oracle 到 Doris 的数据同步,通常会用到以下两种常见的同步方式:
今天对接完成了SQL自动化上线的一个功能,其实心里还是有点小激动,终于可以很肯定说,数据库方向开始提供的是数据服务,而不是传统意义的工单了。
“ 2个月的开发时间,微信后台系统经历了从0到1的过程。从小步慢跑到快速成长,经历了平台化到走出国门,微信交出的这份优异答卷,解题思路是怎样的?本文由张文瑞,微信后台团队出品。 从无到有 2011.1.21 微信正式发布。这一天距离微信项目启动日约为2个月。就在这2个月里,微信从无到有,大家可能会好奇这期间微信后台做的最重要的事情是什么? 我想应该是以下三件事: 1 确定了微信的消息模型 微信起初定位是一个通讯工具,作为通讯工具最核心的功能是收发消息。微信团队源于广硏团队,消息模型跟邮箱的邮件模型也很有渊
分布式数据服务(Distributed Data Service,DDS) 为应用程序提供不同设备间数据库数据分布式的能力。通过调用分布式数据接口,应用程序将数据保存到分布式数据库中。通过结合帐号、应用和数据库三元组,分布式数据服务对属于不同应用的数据进行隔离,保证不同应用之间的数据不能通过分布式数据服务互相访问。在通过可信认证的设备间,分布式数据服务支持应用数据相互同步,为用户提供在多种终端设备上最终一致的数据访问体验。
上篇文章说mysql5.6之后新增了系统变量optimizer_tance可以看到他的优化过程。
平台化的OA产品,以流程、门户、内容、集成、消息、组织、建模等7大引擎为基础,可以帮助客户统一人员管理、打造便捷的业务集成接口,与各类业务软件无缝集成,让客户在一个平台上协同办公。
(六·一节快乐,花儿一样的少年) 目前公司项目偏多,平均每周五天基本上有四天都会有项目上线,有时一天会上线至少二个版本,就在昨天刚上线了一个项目,星期一才提测的一个项目,星期二就安排上线了,所以悄悄地告诉小伙伴们,昨晚俺加班了(再悄悄地告诉大家其实这个昨晚已经过去很久了~微笑脸)。 今天跟小伙伴们分享一下王豆豆公司的上线流程。 01 早会 每天早晨上班之后,都会开早会,早会主要是回朔昨天的内容、今天的计划、需要解决的问题三个方面。 开发每个人讲自己的情况后。 主持人:“测试呢?” 测试A:... ...
在 Leader 节点选举后,还需要把 Leader 服务器和 Follow 服务器进行数据同步。在保证整个 ZooKeeper 集群中服务器数据一致的前提下,ZooKeeper 集群才能对外提供服务。
HarmonyOS是万物互联时代的操作系统。通过分布式技术,HarmonyOS将多台终端形成一台“超级虚拟终端”,让用户使用多设备如同使用单设备一样简单。那么在这个“超级虚拟终端”中,数据怎么存储?怎么同步?怎么访问?想必是大家最关心的问题。
数据治理是国央企在数字化转型中的重要内容。2020年国务院国资委办公厅发布《关于加快推进国有企业数字化转型工作的通知》中要求:加快集团数据治理体系建设,明确数据治理归口管理部门,加强数据标准化、元数据和主数据管理工作,定期评估数据治理能力成熟度。
领取专属 10元无门槛券
手把手带您无忧上云