在今天双 11 这个万众狂欢的节日，对于阿里员工来说，每个环节都将面临前所未有的考验，特别是技术环节，今天我们就一起来探讨下双11天量交易额背后的技术。
本文原题“阿里数据库十年变迁，那些你不知道的二三事”，来自阿里巴巴官方技术公号的分享。
阿里江湖中，很多资源和技术，如神龙服务器、OceanBase、POLARDB等等，在开源、自研、云这三架马车上形成协同效应，既是内功也是武器。
点击上方蓝色“程序猿DD”，选择“设为星标” 回复“资源”获取独家整理的学习资料！ 后台服务可以划分为两类，有状态和无状态。高可用对于无状态的应用来说是比较简单的，无状态的应用，只需要通过F5或者任何代理的方式就可以很好的解决。后文描述的主要是针对有状态的服务进行分析。服务端进行状态维护主要是通过磁盘或内存进行保存，比如MySQL数据库，redis等内存数据库。除了这两种类型的维护方式，还有jvm的内存的状态维持，但jvm的状态生命周期通常很短。 高可用的一些解决方案 高可用，从发展来看，大致经过了这几个
雷刚 发自 凹非寺 量子位 报道 | 公众号 QbitAI 2020年11月11日晚，又一年天猫双11狂欢接近尾声。 新交易纪录、新流量峰值，一切都是十全十美的样子。 此时，阿里巴巴CTO程立（鲁肃）才将一段实录视频公之于众—— 11月5日凌晨，阿里技术上下完成双11大考期间最后一次全链路压测后休息和交接间隙……服务器连续遭遇了两次攻击。 第一次，凌晨两点左右，监控大屏显示四个地区数据中心数值迅速下跌，技术保障团队启动紧急响应处理，确定遭遇了断网攻击。 紧接着第二次，2:10，更凶猛直接的攻击来了。华
从 2009 年到 2021 年，从千万交易额到千亿交易额，双 11 已经开展了 12 年。如今，每年的双 11 以及一个月后的双 12，已经成为真正意义上的全民购物狂欢节。刚刚过去的 2021 年双 11，就有超过 8 亿消费者参与。
作者 | 闫园园 近期，时序关系型数据库 TimescaleDB 背后的公司 Timescale 发布了 2022 年 PostgreSQL 现状调查，该调查从 2022 年 6 月 6 日到 2022 年 6 月 30 日，总共持续了四个星期。其中，根据 2019 年和 2021 年的调查结果，来自 EMEA（欧洲、中东、非洲）的受访者约占所有受访者的一半，其次是北美，占 25.9%。 1 全球第四大最受欢迎的数据库：PostgreSQL 根据 DB-Engines 最新 排名，PostgreSQL
数据君一般不带货，除非太实惠 腾讯云一年一度的双11盛典已全面开启！ 今年各大电商平台的“双节棍”让你心累了吗？定金立减、尾款、品类券、购物券、店铺券、专享券、满减券……不仅让人算得心累，可能到头来还没平时买的便宜省心。 但是，我们的双11不一样，没有花里胡哨的玩法，也没有心机满满的算法，简单直接的降价带给您更加直观的新“云”体验！上云就上腾讯云，双十一全网年度最低价来袭：MySQL高可用版1C2G低至99元/年！更有价值11000元代金券大礼包等你来领取，玩法简单直接，错过又要等一年！ 11月1
阿里妹导读：今年的双11，实时计算处理的流量洪峰创纪录地达到了每秒40亿条的记录，数据体量也达到了惊人的每秒7TB，基于Flink的流批一体数据应用开始在阿里巴巴最核心的数据业务场景崭露头角，并在稳定性、性能和效率方面都经受住了严苛的生产考验。本文深度解析“流批一体”在阿里核心数据场景首次落地的实践经验，回顾“流批一体”大数据处理技术的发展历程。
参考博客1给出了一种所谓的平滑帅气的秒级扩容的架构方案，但我个人却认为，这个看似没有什么问题的方案在实际中几乎没什么用处，业界也几乎不会用这种方案来进行扩容（分库分表）。为了便于说明这一点，本文先简单回顾下该方案，然后分析该方案为什么没有用，最后给出三种业界广泛使用的分库分表的平滑扩容方案。
编译｜Ailleurs 作者｜陈彩娴 李飞飞，阿里巴巴集团副总裁、阿里云数据库产品事业部负责人，也是达摩院的数据库首席科学家，任达摩院数据库和存储研究实验室的主任。他在加入阿里巴巴之前是犹他大学计算学院的教授。他的研究兴趣包括数据库系统、大规模数据管理、数据安全、数据分析以及用于系统性能和监控的机器学习方法。同时，他还是ACM Transactions on Database Systems（ACM TODS）期刊的副主编，曾多次担任ACM SIGMOD和ACM SIGKDD的高级区域主席，并担任过各种领导
正常情况下，用户访问某条数据，第一次从数据库获取，后面会set进缓存，从缓存获取。缓存穿透指的是数据库没有这个值，当大量请求时，会经过缓存在数据库不断查询，数据库负担不断增加。这种情况下可能是业务代码异常，也可能是黑客利用不存在的key不断攻击数据库（所以redis不光可以提高性能，还可以利用减轻数据库压力防止黑客攻击）。那这种情况如何解决呢？
关注腾讯云大学，了解行业最新技术动态 腾讯云双11盛典来袭，数据库直播专场好礼送不停！ 尊敬的各位“云”用户，腾讯云数据库一年一度的双11盛典已全面开启！ 没有花里胡哨的玩法，没有满满的心机算法，简单直接的降价带给您更加直观的新“云”体验！ 今天下午15:00 腾讯云数据库直播专场，史上最年轻的中国计算机行业协会开源数据库专业委员会副会长、北京航空航天大学特聘讲师，腾讯云数据库高级产品经理（网名迪B哥）首次上线，携运营小妹带着神秘奖品等着你！ 戳【阅读原文】或识别【二维码】预约直播 平均每3分钟抽
大家好，又见面了，我是你们的朋友全栈君。 hadoop与大数据的关系? 大数据技术正渗透到各行各业。作为数据分布式处理系统的典型代表，Hadoop已成为该领域的事实标准。但Hadoop并不等于
大数据文摘作品，转载要求见文末 大数据文摘记者 宁云州 在大数据应用场景中，互联网金融一直是一个诱人但危机四伏的领域：实时性高、交易量大、风险性高。而像蚂蚁金服这样一家用户量过6亿的互联网金融机构，更是需要面对“百亿个节点万亿条边的超大规模，并且实时更新的关系图进行高并发低延时的读写”。 “金融的业务场景对于实时性的要求都很高，比如说在转账的时候，我们几乎需要在这一瞬间判断这一笔转账是不是有风险，要求响应速度非常的高，才能把钱在一秒之中转出去。”蚂蚁金服首席数据架构师俞本权这样告诉大数据文摘记者，“但在
🔥🔥🔥本周GitHub项目圈选: 主要包含开发工具集、泄漏检测、Python BT下载客户器、MySQL平替、蚂蚁开源数据库、多线程Redis等热点项目。
在数据读多写少的情况下作为缓存来使用，恐怕是Redis使用最普遍的场景了。当使用Redis作为缓存的时候，一般流程是这样的。
伴随着互联网行业的发展，金蝶和用友分别都有可部署在云端的产品，如K3cloud与U8等。企业本身也变得越来越轻，原先动辄几万甚至几十万的机房部署与人工管理，是现代化企业所不能接受的，在残酷的生存环境下，他们需要更轻的模式和更经济的方案。随着公有云市场的逐渐繁荣，越来越多的企业开始进行云上的实践，ERP系统在云端的部署，也逐渐形成一种新的业务模式，节省了企业建设机房与昂贵的固定人工成本。将机器托管在云端，由专业的云厂商来管理、运维基础设施，无需太多的考虑扩展和冗余的问题，大幅度降低系统部署的支出，而转为按需付费，是企业所乐意接受的。
5.java电商网站，数据库分读写，解决高并发读写的问题，master和slave流量的问题。
休眠一段时间再删的目的是，假如请求 A 进来先删了 Redis 中的数据，然后再还没来得及更新数据库的时候，请求 B 进来了，读取到的是数据库的旧数据；接着请求 A 更新完了 DB，再删 Redis；然后请求 B 再把读取到的旧数据写到 Redis 中，这样还是会导致数据库和 Redis 数据不一致。休眠一段时间就可以保证请求 B 能把读取数据库和写 Redis 的步骤执行完，执行完后请求 A 再去删 Redis，就可以把 Redis 中的旧数据删除。 所以休眠的时间应该大于请求 B 读数据库和写 Redis 的总时间。如果不是要求强一致性，不推荐这种做法，休眠一段时间体验不太好。
在星爷的《大话西游》中有一句非常出名的台词：“曾经有一份真挚的感情摆在我的面前我没有珍惜，等我失去的时候才追悔莫及，人间最痛苦的事莫过于此，如果上天能给我一次再来一次的机会，我会对哪个女孩说三个字：我爱你，如果非要在这份爱上加一个期限，我希望是一万年！”在我们开发人员的眼中，这个感情就和我们数据库中的数据一样，我们多希望他一万年都不改变，但是往往事与愿违，随着公司的不断发展，业务的不断变更，我们对数据的要求也在不断的变化，大概有下面的几种情况：
尊敬的各位“云”用户，腾讯云数据库一年一度的双11盛典已全面开启！ 没有花里胡哨的玩法，没有满满的心机算法，简单直接的降价带给您更加直观的新“云”体验！ 11月9日，下午15:00 腾讯云数据库直播专场，史上最年轻的中国计算机行业协会开源数据库专业委员会副会长、北京航空航天大学特聘讲师，腾讯云数据库高级产品经理刘迪（网名迪B哥）首次上线，携运营小妹带着神秘奖品等着你! 平均每3分钟抽一次奖，Q币、腾讯视频会员、各类腾讯限定公仔、限定神秘大礼，等你来带走！直播时段中，更有让人意想不到的商品限时惊爆价抢购
由于业务的扩展或者其他原因，常常会有迁移系统数据库的场景，对于有大量用户7*24小时不间断使用的系统，如何不宕机实现数据库迁移，这是个很有挑战的话题。
所有数据来自【CSDN指数】 mysql、sqlserver、redis、oracle数据库使用率对比 从以下数据可得，最抢手的数据库依然是【mysql】，但是每年的【11】月份【oracle】的使用率会突然增高，说明很多国有企业年底查数据的时候都会对数据做一次大清洗。总体的【oracle】使用率应该也不低，实际上【mysql】活跃率是最高的。 在【双11】的时候，【Redis】的使用率也高出很多。 超级推荐啊，【CSDN指数】帮助你做未来规划。 目录 最近一个月数据： 最近半年： 最近一年数据：
集群就是一组（若干个）相互独立的计算机，利用高速通信网络组成的一个较大的计算机服务系统，每个集群节点（即集群中的每台计算机）都是运行各自服务的独立服务器。这些服务器之间可以彼此通信，协同向用户提供应用程序、系统资源和数据。
pnpm 发布了 v7.0.0，带来了大量的更新。如：不再支持 Node.js 12、pnpm run <script> 脚本名称后的所有命令行参数都会传递给 argv 等等，更多细节请前往如上链接的官方 release 页面查阅。
墨墨导读：MySQL如何实现高性能？以下内容是结合其他技术同仁的总结和自我实践整理的20个开源数据库设计原则，分享至此，希望对大家有帮助。
阶段一、大数据、云计算 - Hadoop大数据开发技术 课程一、大数据运维之Linux基础 本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等众多课程。因为企业 中的项目基本上都是使用Linux环境下搭建或部署的。 image.png 课程二、大数据开发核心技术 - Hadoop 2.x从入门到精通 本课程是整套大数据课程的基石：其一，分布式文件系统HDFS用于存储海量数据，无论是Hive
数据 3 分钟 由 ACDU (中国 DBA 联盟) 与墨天轮联合出品的全新视频节目上线啦～三分钟带你来了解数据行业动态，节目内容主要包含数据行业最新的产品发布、公司大事件、行业新闻等。 本期内容概览： 金融业国产数据库中标量大幅增长，openGauss生态中云和恩墨份额领先； TikTok的美国用户数据或将由甲骨文存储，字节跳动无权访问； Databricks CEO表示华尔街动荡不会影响IPO计划，Databricks或将于今年上市； 阿里云开源PolarDB总体架构和企业级特性首次公开； 中国信通院
12月11日，2021年腾讯犀牛鸟精英科研人才培养计划正式对外发布。计划截止申报时间为2021年1月28日24:00。 本年度精英科研人才计划将延续人工智能领域顶尖科研人才培养，发布包含机器人、AI医疗、量子计算、智慧城市等12个前沿热议方向，71项研究课题。入选学生将由校企导师联合制定专属培养计划，并获得3个月以上到访腾讯开展科研访问的机会，基于真实产业问题及海量数据，验证学术理论、加速成果应用转化、开阔研究视野。同时项目组将为学生搭建线上和线下学习、交流平台，帮助学生挖掘更多潜能。 本期小编整理了该计
文章集中整理总结mysql分库分表开源产品，分布式数据库的设计，以及实际应用案例等相关内容，部分附上本文作者实际应用过程中的理解。
在进行版本升级时，Sql不兼容，数据库升级经常报错，需要重复对比哪里执行过了。这种问题如何解决？
流图计算，一个基础软件领域攻坚难度极高的分支。行业首个工业级流式图计算引擎 TuGraph-Analytics，与目前世界范围内有记录的、最快的图数据库开源项目 TuGraph DB 来自于一家中国企业，这不仅仅解决了国产基础软件领域的一大难题，健全了开源生态，更重要的是向全球展示了中国的开源力量。
导读：etcd 是阿里巴巴内部容器云平台用于存储关键元信息的组件。阿里巴巴使用 etcd 已经有 3 年的历史, 在今年 双11 过程中它又一次承担了关键角色，接受了 双11 大压力的检验。为了让更多同学了解到 etcd 的最佳实践和阿里巴巴内部的使用经验，本文作者将和大家分享阿里巴巴是如何把 etcd 升级得更强、更稳、更高效的，希望通过这篇文章让更多人了解 etcd, 享受云原生技术带来的红利。
大家吼，我是你们的朋友煎饼狗子——喜欢在社区发掘有趣的作品和作者。【每日精选时刻】是我为大家精心打造的栏目，在这里，你可以看到煎饼为你携回的来自社区各领域的新鲜出彩作品。点此一键订阅【每日精选时刻】专栏，吃瓜新鲜作品不迷路！ *当然，你也可以在本篇文章，评论区自荐/推荐他人优秀作品（标题+链接+推荐理由），增加文章入选的概率哟~
👆点击“博文视点Broadview”，获取更多书讯 以前读书的时候，很多经典图书都是国外引进版。 如今，随着我们的科技实力越来越强，优质原创书籍越来越多，我们的图书也越来越多地被输出到国外。 这不，近期我们就有4本优质原创图书被全球知名学术出版机构施普林格·自然集团引进到德国啦 ~~ 国外的伙伴都感兴趣的技术书，你还不赶紧来学习一下咩？ ▊《数智驱动新增长》 肖利华，田野，洪东盈，杨文雅，陈赋明 等 著 新商业学院 编 企业数智化转型实战之书 阿里副总裁肖利华领衔写作 中科院黄维院士、清华大学经济
DB-Engines最近发布了2020年10月份的数据库排名。该网站根据数据库管理系统的受欢迎程度对其进行排名，实时统计了359种数据库的排名指数。前10名的排行情况详见下图：
昨天的《双11，来一把随机匹配匿名聊天》一文发表后，很多粉丝表示想要昨天的随机匹配匿名聊天系统的源代码，今天就开源给大家，项目开源在github上，点击文末的阅读原文即可查看，欢迎大家一起学习，一起进
笔记软件领域可能是软件行业最为内卷的赛道。如果你问一个重度笔记用户，他便能脱口而出几十个笔记软件。即便对笔记软件不怎么关心的普通用户，也能知道 5 个左右的笔记软件。
在2023年11月12日，刚经过双11的购物节大压力的阿里，却从17:44起发生了服务宕机，旗下的淘宝、闲鱼、饿了么等服务出现服务中断，甚至让高校学生宿舍的洗衣机都“宕机”了。从阿里云健康看板公布的数据可以看出，阿里云的几乎所有的云产品等服务都受到了影响，影响了全球范围内多个地域。阿里云这次故障，放在整个云厂商界都是炸裂般的存在。阿里云历时3个多小时，服务才陆续恢复。
数据 3 分钟 由 ACDU (中国 DBA 联盟) 与墨天轮联合出品的全新视频节目上线啦～三分钟带你来了解数据行业动态，节目内容主要包含数据行业最新的产品发布、公司大事件、行业新闻等。 本期内容概览： GitHub开放全世界最大安全咨询数据库； 国内首款金融数据库性能测试工具DataBench-T正式开源； 甲骨文史上最大收购——283亿美元收购Cerner； 时序数据库Timescale完成1.1亿元C轮融资； 国内超融合时序数据库MatrixDB 4.4正式发布。 往期回顾： 20220218期：M
作者 | 王一鹏 无论多么有主见的架构师，在做数据库选型的时候，也可能会犯难。 传统 SQL、NoSQL 还是 NewSQL？架构风格是以 久经考验的关系型数据库为主，还是偏向所谓原生的分布式架构？如果提及具体产品，那选择就更多了，TiDB、OceanBase、PolarDB、TDSQL、GaussDB、MongoDB…… 现在还有许多服务于新场景的产品，比如处理时序数据的 TDengine，处理图数据的 Nebula Graph……以及最老派又最完善的 Oracle。 如果从业务场景或即将面临的迁移成
导读：近几年来，图数据在计算机领域得到了广泛的应用。互联网数据量指数级增长，大数据技术、图数据方面的应用增长很快，各家互联网大厂都在图数据分析和应用方面大量投入人力和物力。为了让我们的搜索更加智能化，腾讯音乐也借助了知识图谱。今天和大家分享下腾讯音乐在图谱检索与业务实践方面的探索，主要包括以下几大部分：
数据 3 分钟 由 ACDU (中国 DBA 联盟) 与墨天轮联合出品的全新视频节目上线啦～三分钟带你来了解数据行业动态，节目内容主要包含数据行业最新的产品发布、公司大事件、行业新闻等。 本期内容概览： MariaDB将借壳上市，估值已达6.72亿美元； SphereEx-Console 可视化数据管控平台正式发布； Elastic 8.0 正式发布； 数仓“香馍馍” Snowflake 受青睐，DataOps.live 获1030万美元融资； 前融云 CTO 杨攀加入涛思数据，任战略合作 & 开发者生态副
关于如何入门MySQL，后台有好多同学咨询我，可能部分读者刚开始学习MySQL，我前面发的文章对部分同学来说暂时接触不到。原本写技术文章的目的是记录自己的工作学习，没有考虑到读者MySQL技术水平不一。本篇文章主要介绍MySQL技术的学习方法，刚入门的同学可以参考下。
肖鹏老师对于开源数据库尤其是MySQL的研究特别深入，今天我们来一起听他分享自己对MySQL数据库的优化经验！ 作者简介 肖鹏 微博研发中心数据库技术负责人，主要负责微博数据库（MySQL/Reids
当我们的应用升级时往往会伴随着数据库表结构的升级，此时就需要迁移数据库的表结构。一般我们会使用工具或者脚本来实现，手动操作毕竟有一定风险，要是能在应用启动时自动升级数据库表结构就好了！Flyway正是这么一款工具，通过Flyway和SpringBoot结合使用，在应用启动时就可以自动升级数据库表结构，非常方便，推荐给大家！
本教程是基于Python语言的深入学习。本次主要介绍MySql数据库软件的安装。不限制语言语法，对MySql数据库安装有疑惑的各位同仁都可以查看一下。
近两年，国内各大科技公司纷纷宣布成立开源办公室或者开源委员会，相较于其他很多企业还处于开源委员会或办公室的初期观望或摸索阶段，阿里巴巴早在 2009 年就建立了开源委员会，2019 年正式成立开源办公室，并于近期对开源委员会和开源办公室进行了新一轮升级。为了了解这次升级背后，阿里的思考和后续行动，InfoQ 专访了阿里巴巴开源委员会秘书长王晶昱，以期全面了解阿里巴巴自设立开源委员会和开源办公室之后的内部转变和对本次升级的思考。 1 设立开源委员会之初要解决的问题，进展如何？ 如果追溯阿里巴巴成立开源委
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
