展开

关键词

为什么现在都要搞,高大上的分布式数据库

在数据库的领域尤其是国内,专门搞单体方面的数据库公司是越来越少,基本上大部分都在搞或正要搞分布式数据库. 分布式数据库不光是专业的数据库公司在做, 各大银行也有在搞自己的分布式数据库. 想想那些还用ORACLE 盗版的企业,哪里有钱你的二次开发的MYSQL , 而国家核心的那些"厉害角色", 早就把MYSQL 这样的产品画在圈外了. 并且这些资源尤其人员,很难找到合适的. 资本家本性除了要榨干每一滴血管的血外,另一个本性或者人性,就是不愿意受制于人, 所以ORACLE 这样产品也必然让资本不欢喜. 但分布式数据库本身也带来一些不好解决的问题, 1 随着并发的提高, 事务控制节点的性能瓶颈的问题 (集中控制的事务ID, MVCC 会在此方面存在性能瓶颈 ) 2 数据备份,尤其是增量备份的问题, 在数据量超大时的FULL备份的时长问题 3 高并发下,分布式数据库设计中的2PC,造成的性能衰减愈加严重的问题, 尤其在大事务回滚的情况下. 4 数据存储节点非传统模式(非行存储模式)在数据存储中带来的性能损耗以及查询速度问题

17330

【秋招备战计划第二弹】最后俩月能提升的知识清单

滴答清单 【秋招备战计划第二弹】最后俩月能提升的知识清单 又是一个 比较庸俗的标题做开头 这一期 分享一下 秋招要准备的必备知识点 当然 仅仅是站在我自己 春招的面试经验上 得知的 看看自己哪里还有疏漏的 在同一个事务中,一次锁定尽量多的资源,减少死锁概率 给表建立合适的索引以及降低事务的隔离级别等 数据库配置 超时时间innodb_lock_wait_timeout 死锁检测主动回滚 SQL优化 coding.imooc.com/class/303.html 倍速看9小时的课程 我在面试前一天刷了一晚上 刚好第二天全问到了 《MySQL 必知必会》 某多多19.9包邮两本还带上 《SQL必知必会》不知道贵了没有 SQL语句入门必备 《大型网站技术架构》 淘宝二手的正版用券3块钱包邮 但是活动没了 不放链接了 十分建议新手看这个书籍 缓存集群都讲了很简单 面试吹B必备 牛客专栏 Java工程师 求职经验分享 我是一起结合食用的 牛客专栏《Java开发岗高频面试题》 https://www.nowcoder.com/tutorial/10014/a41e7c7a0e3c4efd926d0462dfd66429 大二的时候

21110
  • 广告
    关闭

    【玩转 Cloud Studio】有奖调研征文,千元豪礼等你拿!

    想听听你玩转的独门秘籍,更有机械键盘、鹅厂公仔、CODING 定制公仔等你来拿!

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    这才是分布式系统CAP的正确打开方式!

    我们暂时不讨论数据库事务。这里我们主要还是聊聊正儿八经的分布式系统。 2. 为什么CP系统不能满足A? 原子性就像我中午午休经常会去超市水果,要么就选苹果+结完账才算购买成功;苹果没选好或者选好了没结账 都不算购买成功。 一致性(Consistency)在事务的开始和结束时,需要满足一致性约束条件。 独立性(Isolation)如果有多个事务同时发生,互相之间不能被影响,并且不知道对方的存在。咱们还去苹果,我挑了苹果去结账,有个大妈也挑了苹果也去结账。这时我们之间是互不影响的,相互独立的。 我没带钱苹果失败也不影响大妈苹果成功。当然如果结完账大妈看小伙子我长得帅,硬给我塞几个苹果,我也没办法? 持久性(Durability)当事务运行成功的时候,对整个系统来说,这个更新就是永久的。 以上就是数据库系统里的ACID原则,主要针对数据库事务分布式事务我们后续的文章会讲到。 BASE原则(这里就不用苹果举例了,因为找不到同一个苹果的多个副本。?

    30720

    Rabbitmq分布式事务

    今天小编带来的是分享课题是分布式事务。小编是在一家O2O公司做程序员,今天就以公司的一则订单业务来作为分享课题的场景。 业务场景:用户在APP上进行下单操作,商家接单,配送,订单结束。 二、分布式事务 一段时间之后,公司规模扩大,一个DB已经支持不住压力了,我司规划多DB模式,结构如下: ? 在多DB的模式下,发现之前的单数据源事务已经无法满足当前多DB的模式了。为什么呢? 这样,就要引入分布式事务处理机制了。 关于分布式事务,我做了如下几个的调查分析: a. 2PC 如下是小编画的草图。2PC事务是由2个参与角色来参与的。 比如我要通过美团A站去C站的机票,但是没有直达,只能在B站做中转。那我在用美团机票的时候,美团必须同时给我2张票,我才能接受。 RabbitMQ实现分布式事务 如下是小编画的草图。在商家接单成功之后,仅仅更新商家订单表,然后把该消息存入MQ,存入成功之后就及时通过商家接单成功。

    21320

    跟我扯分布式事务之Try-Confirm-Cancel

    现在再回到软件领域中,我们最早接触的事务是数据库事务(也算是“本地事务”),后来又有了分布式事务。 但他们的核心都是去完成一个事情。 长时间事务 长时间事务(long-running transaction),也就是分布式事务。这个说法是相对于本地的ACID事务而言的。 之所以人们这么叫,是因为分布式事务涉及到多个服务或系统,不像那种数据库的本地事务一样,瞬间就结束了。分布式事务要耗不特定的更长的时间。 TCC相比直接方式的好处就是在有的场景下,TCC让你的分布式事务更加的符合业务体验。 ? 比如飞机票的例子。我要买机票从布鲁塞尔到多伦多。 比如股票。股票就买了,赔就赔了,也不需要TCC如此稳妥的方式,哈哈。 TCC开源实现 TCC开源框架,比较著名的有Atomikos、国内的TCC-transaction。更多框架欢迎补充。

    2.4K30

    请不要吸开源的血!!!

    网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 我严重怀疑这 star 不是某宝的吧? 对于开源项目我是不喜欢下载预构建的成品的,我更喜欢自己动手从源代码构建,所以我熟练的clone到本地根据readme里面写的指引构建。 构建完我一运行,既然上面写着支持学堂在线,那就输个学堂在线的地址进去试试呗 很快啊就给我返回了一个视频链接不合法 那就翻翻代码看看是不是哪里有需要微调的地方呗 这一翻代码不得了啊,我根本没在代码里找到学堂在线相关的组件 我不是说开源项目不能赚钱,相反我支持开源项目以合适的方式盈利,比如mupdf完整开源但商用需要额外许可费用,比如onlyoffice提供功能完全一致但限制用户数量的开源版本,又比如我贡献了翻译的LADB 这些开源项目都以合适的可持续的方式盈利,同时保证了开源的纯粹性,即用户可访问全部源码,可自行构建全功能版本。

    9230

    《redis in action》Redis分布式

    这块作者还是大概得将书中的内容进行一下翻译,首先为啥要用redis分布式锁。我们在之前学redis事务的时候说redis提供了watch/mutli/exec机制,其中的watch是乐观锁。 确实可以直接做分布式锁,为啥可以做这件事的原因是watch命令的监听特性会一直持续到exec的执行,如果watch的键值发生变化,那么watch后边的事务是不会执行的。 使用watch去做分布式锁的过程大概如下,这里直接截书中的python代码了: 使用watch做分布式锁的问题在于效率问题,我们说watch的乐观锁为了就是及时通知客户端,然后让其发起重试,所以当加锁压力比较大的时候重试就非常常见 所以潜在的问题是这个自动超时时间设置多大合适呐?是不是一脸问号,总不能写死吧。 第二:一个进程获得锁,然后操作数据,但是花了太久时间然后宕机了。 其他进程想要获得锁,但是不知道到底是哪个进程一直持有锁,所以一直傻傻的在哪里等,黄花菜都凉了也没音信。 第三:一个进程获得了锁,但是锁超时了,其他进程获取了锁。

    5920

    独到的见解,关于分布式事务,我有这些话要说

    这几天看分布式事务相关的知识,网上的信息都是大同小异,但总感觉理解起来比较费劲,不够接地气,所以自己按照自己的理解宏观的总结了一下,因为是纯理论的,没图,看着可能比较累,大家包涵,文章仅代表个人观点,不一定完全正确 ,如果哪里不对希望大家能评论指正,感激不尽。 1、事务的认识 无论是单机事务还是分布式事务,其目的都是一样的,就是保证数据的一致性,提交了商品订单就肯定要减少库存也必须扣钱,否则就会有纠纷出现,至于怎么实现数据一致性,那就方法比较多了,单机可以是数据库事务 ,某些情况可能也可以是触发器,分布式下可以是分布式事务也可以是可靠消息,从这个角度讲现在网络上说的分布式事务解决方案准确来说应该是分布式数据一致性解决方案,毕竟是有了数据一致性的需求才有了事务的解决方案而不是有了事务才保证了一致性 2、分布式数据一致性解决方案 在数据必须一致的情况下,有两种情况: 第一、高时效性要求 a动作和b动作必须同时完成,比如:订单生成了就一定要同时减库存,否则其他人就还能,但可能已经没货了,这种情况下只能使用全局事务牺牲性能保证一致性

    14220

    【好书分享】《Python3网络爬虫开发实战》

    今天给大家带来的是好玩又有用的爬虫书,熊猫弟弟曾经跟Panda姐说他做的那个项目用到的律师事务相关的数据是平安公司花了几百万的。啧啧啧,数据真实值钱,那些卖数据的公司,他们的数据是哪里来的呢? 应该也有跟其他有关单位的,但是很多应该是通过网络爬虫爬到的数据。像大家双十一购物之前会去慢慢app上比一下价格,那些数据绝对就是爬虫得到的!!

    1.2K30

    分布式事物:第一章:分布式事物简介

    C:一致性(Consistency): 你买东西,之前和买之后东西是一样的,如果在的过程,你不给钱,老板就把东西收回放到原来位置。 因为分布式系统的核心就是处理各种异常情况,这也是分布式系统复杂的地方,因为分布式的网络环境很复杂,这种“断电”故障要比单机多很多,所以我们在做分布式系统的时候,最先考虑的就是这种情况。 什么是分布式事物? 一次大的操作由不同的小操作组成,这些小的操作分布在不同的服务器上,且属于不同的应用,分布式事务需要保证这些小操作要么全部成功,要么全部失败。 分布式事务就是为了保证不同数据库的数据一致性。 分布式事物是怎么产生的? 分布式事务的两种解决方法: 1 补偿性策略,在服务执行失败时,不进行回滚,因为一旦回滚,其他子系统的数据也要跟着更新改变,不利于维护,所以重复执行某个失败的业务,如果数次不成功,发送系统信息,短信,以及服务器日志

    4410

    跳槽,杀疯了

    但很多小伙伴苦于没有合适的知识点来回顾整个java体系,或者不知道该从哪里开始学习,更担心知识点太多复习时间不够...... 限今天 备注暗号:112 三、Spring篇(2022) (含:spring IOC,spring AOP原理,spring 5,springMVC,事务管理,循环依赖,spring设计模式等) 四、Mysql篇(2022) (含:SQL执行原理,索引底层机制,SQL执行计划分析,Mysql锁机制,Mysql事务隔离,SQL优化实践等) 五、SpringCloud篇(2022) (含:服务发现与注册 Eureka与Nacos,服务限流熔断降级Hystrix与Sentinel,分布式事务Seata,网关Gateway等) 注:篇幅有限,资料已整理成文档,扫码领取! (2022) (含:分布式架构原理,集群架构原理,分布式锁,分布式事务分布式协议,分布式配置,海量数据分库分表,分布式调度,等) 注:篇幅有限,资料已整理成文档,扫码领取!

    12940

    大厂面试系列(八):数据库mysql相关

    然后问了我悲观锁和乐观锁问题使用场景、分布式集群实现的原理。 数据库索引原理 mysql索引 B+树原理 mysql索引是怎么实现的?b+树有哪些特点?真实的数据存在哪里?哪些情况下建索引? 数据库的悲观和乐观锁都说一下吧,什么时候用乐观锁比较合适?什么时候用悲观锁呢? mysql实现分布式锁了解吗?还有没有其他更好的方式?说一下事务的一些东西?你对事务的了解有哪些?说说数据库的乐观锁和悲观锁? 数据库事务?数据库的并发策略? 介绍下mysql的回表和覆盖索引? 数据库的悲观和乐观锁都说一下吧,什么时候用乐观锁比较合适,什么时候用悲观锁比较合适? 数据库事务的隔离级别有哪些?Mysql默认的隔离级别?不同的隔离级别是通过什么实现的? 真实的数据存在哪里?哪些情况下建索引?解释下最左匹配原则?现在一个表有三列a b c,组合索引(a,b,c)查询的时候where a like ? and b=? and c=?能用到这个组合索引吗?

    22230

    享知行·思考:从架构设计流程学习方法论,让手中多一把锤子

    第三步:深思熟虑-评估和选择备选方案,多维多角度的去比较方案的优劣,根据实际情况选择最合适的方案。第四步:精雕细琢-详细方案设计,落实方案的细节。 识别复杂度,明确目标和要解决的问题。 分布式事务问题? ? 设计备选方案,多一种选择。 选择哪个方案不是因为方案优的个数越多,也不是因为哪个方案技术更牛,也不是因为哪个方案我们更熟悉,更不是因为领导觉得哪个更好,最重要的是结合实际情况,选择最合适的。 ? 比如最近同事讨论小孩上哪个幼儿园的问题,可以使用这个流程,列出多个幼儿园作为备选方案,然后对方案进行距离、学费、师资力量、升学率等多维度对比,选择一个最合适的方案,然后对这个方案进行细化,小朋友怎么去学校 不是有了这把锤子就能解决所有的问题,毕竟不是万能的,如果点个外卖、件衣服都使用这个方法,那不是解决问题,而是带来新的问题。

    28030

    B站直播《MySQL冲冲冲》第五期文稿版

    分布式事务就蛮难的,通常是用差异事务去做,把中间件当作一个协调器在业务层做分布式事务。 比方说分布式事务,我看到阿里也开源了他们的分布式事务框架。中间件虽然帮你封装了一层分布式事务,但不一定是你想要的。特别是金融方面,我并不在意它的一致性要完全那么强,但我会在乎在事务中顺序的要求。 姜老师: 说到了分布式事务,那我想知道:DBLE 是怎样解决分布式事务这个难题的? 阎虎青: DBLE 在这方面做了一个封装,使用的 2PC 协议。 对于分布式事务是一个很大问题,但在业务这一侧还能接受。 第四个问题:有哪些问题是分布式事务也无法解决的? 首先它是开源的,大家都可以看到源代码,哪里有问题,哪里写得好,都看得到。第二个就是它经过了实践,有些银行业务在用了,你我都敢往里面存钱,说明是能撑得住的。

    30620

    「课代表」帮你总结了全网最全的Redis知识点

    你知道的越多,你不知道的越多 絮叨 本来是没这期的,按道理更新也应该是在周一更新消息队列的幂等,分布式事务相关的文章,但是这篇暖男我实在忍不住了,不是发自己的文章,是帮课代表发一下,她本科是北京交通大学 ,我一看,偶噶 !。 这是什么仙女啊,这是我第一次有这种感觉,这笔记有着前所未有的新鲜感,细节的勾勒,让整个笔记更显出奥妙. 花絮 人才群里的人才真的都是人才,一周两更高产似母猪了我都,还天天催更不过我也认了,课代表进去差点把人家吓走,这么好的课代表吓走了我哪里找第二个? ? ?

    20320

    扫码关注腾讯云开发者

    领取腾讯云代金券