snowflake是Twitter开源的分布式ID生成算法。传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了相应的支持，比如MySQL的自增键，Oracle的自增序列等。数据分片后，不同数据节点生成全局唯一主键是非常棘手的问题。同一个逻辑表内的不同实际表之间的自增键由于无法互相感知而产生重复主键。虽然可通过约束自增主键初始值和步长的方式避免碰撞，但需引入额外的运维规则，使解决方案缺乏完整性和可扩展性。io.shardingsphere.core.keygen.DefaultKeyGenerator
通用唯一识别码 组成部分：当前日期和时间+时钟序列+全局唯一网卡mac地址获取 执行任务数：10000 所有线程共耗时：91.292 s 并发执行完耗时：1.221 s 单任务平均耗时：9.1292 ms 单线程最小耗时：0.0 ms 单线程最大耗时：470.0 ms 优点： 代码实现简单、不占用宽带、数据迁移不影响。 缺点： 无序、无法保证趋势递增、字符存储、传输、查询慢。
作者 | Daniel Nichter 译者 | Sambodhi 策划 | 褚杏娟 Daniel Nichter 是《高效 MySQL 性能》（Efficient MySQL Performance）一书的作者，该由 O’Reilly 出版，目前尚无中译版本。Nichter 在本文中又对书中第五章中关于分片的问题进行了讨论。 《高效 MySQL 性能》（Efficient MySQL Performance）第五章论述了分片问题，这个问题很难写，但并不是因为技术原因。关于这一问题，让我多说几句
作者：卢钧轶 出处：CENALULU’S TECH BLOG 本文罗列了一些适用于MySQL及运维入门和进阶使用的书籍。 背景：各大论坛上总是有很多同学咨询想学习数据库，或者是为入行DBA做些准备。几年来作为一个MySQL DBA的成长过程有一些积累和感悟，特此拿出来和大家分享。 ---- SQL 入门 在准备成为MySQL DBA之前，能熟练的编写SQL是一个必要条件。exists 和 join之间的等价转换；基本的行列转换；SQL 循环等的熟练掌握对之后的运维和调优工作都有很大的帮助。 推荐书籍： 《S
机械特性 指明接口所用接线器的形状和尺寸、引线数目和排列、固定和锁定装置等等。 电气特性 指明在接口电缆的各条线上出现的电压的范围。 功能特性 指明某条线上出现的某一电平的电压表示何种意义。 过程特性 指明对于不同功能的各种可能事件的出现顺序。
读写分离是让主库处理事务性增删改，而从库处理查操作。数据库复制来把事务性操作的数据变更同步到从库。
本文是一篇译文，介绍 Percona 的工程师对 ScaleFlux 的性能压测报告。
最近作者有一个针对ScaleFlux 的产品也叫做 CSD 2000 进行压测的机会. 本文中作者将介绍使用 Intel SSD 和ScaleFlux 存储设备进行压测的对比结果。
一，需求缘起 互联网公司，这样的场景是否似曾相识： 场景一：pm要做一个很大的运营活动，技术老大杀过来，问了两个问题： （1）机器能抗住么？ （2）如果扛不住，需要加多少台机器？ 场景二：系统设计阶段，技术老大杀过来，又问了两个问题： （1）数据库需要分库么？ （2）如果需要分库，需要分几个库？ 技术上来说，这些都是系统容量预估的问题，容量设计是架构师必备的技能之一。常见的容量评估包括数据量、并发量、带宽、CPU/MEM/DISK等，今天分享的内容，就以【并发量】为例，看看如何回答好这两个问题。 二，容量评
7.设置table数组。实在抱歉，这个地方弄错了，没有第7步，2021-01-21修改。
技术上来说，这些都是系统容量预估的问题，容量设计是架构师必备的技能之一。常见的容量评估包括数据量、并发量、带宽、CPU/MEM/DISK等，今天分享的内容，就以【并发量】为例，看看如何回答好这两个问题。
HashMap和Hashtable都是用hash算法来决定其元素的存储，因此HashMap和Hashtable的hash表包含如下属性：
HashMap、Hashtable、ConcurrentHashMap的原理与区别
随着唯品会业务的快速发展，订单量的不断增长，原有的订单存储架构已经不能满足公司的发展了，特别是在大促高峰期，原订单库已经成为抢购瓶颈，已经严重制约公司的发展。
负载测试、压力测试、强度测试、容量测试和可靠性测试是软件测试中的不同类型，每一种测试方法都有其特定的目的和关注点。
作者 | Indhumathy Chelliah 编译 | VK 来源 | Towards Data Science
单位每年都会举行运动会，有一个2000m长跑的项目，大约每年报名人员为男选手40人，女选手20人，只有一条橡胶跑道。一次比赛10人齐跑，所以至少需要6场比赛。
数据库很容易成为系统性能的一个瓶颈，单机存储容量、IO、CPU处理能力都有限，当单表的数据量达到1000W或100G以后，库表的增删改查操作面临着性能大幅下降的问题。存储容量现在一般容易解决，主要是IO瓶颈和CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。从业务方来看，就是数据库可用连接少，甚至无连接可用。
中心极限定理（Central Limit Theorem）是统计学中的核心理论，指出当独立随机变量的样本量足够多时，它们的平均值将逐渐趋近于正态分布。它建立在大数定律和正态分布的基础上，通过数学推导和证明，解释了为什么当样本容量足够大时，样本均值的采样分布会趋近于正态分布。基于这一定理，我们能够通过样本的均值来估计总体均值。该理论在统计推断和假设检验中占据重要地位，使我们得以从样本数据中推断出总体的特性。
内容来源：2017 年 10 月24 日，知数堂 MySQL技术专家吴炳锡在“2017 MySQL技术交流大会---上海站”进行《MySQL高扩展架构设计》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。 阅读字数：2571 | 7分钟阅读 摘要 随着传统企业去IOE的声音越来越大，也有很多朋友来咨询MySQL的架构设计问题，本次分享讨论如何利用MySQL构建一个高扩展的架构，从而在MySQL上构建出来基于百万在线的系统。 嘉宾演讲视频及PPT回顾：h
随着各行各业电子信息化的不断加深，线上交易数据保持了长时间高速增长的态势，对数据存储的需求越来越大，数据库管理系统（DBMS）面临越来越大的性能、空间和稳定性压力。在此过程中，得利于计算&存储&网络等硬件领域的不断进步，业界流行的数据库管理系统逐步从单机架构向分布式架构演变。笔者希冀从梳理数据库管理系统所面临的一个又一个实际挑战及业界所提出的诸多解决方案的过程中，发现片缕灵感以指引未来的数据库开发工作。
前面我们讲过中心极限定理，没看过的同学可以去看看：讲讲中心极限定理。这一节来讲讲大数定理，大数定理和中心极限定理是比较接近的两个概念，这两个定理经常一起出现。我们来具体看下大数定理的内容：
我很想知道HashMap到底极限容量是多少呢？搜了很久，没找到答案。也懒得继续找了~~~ 反正应该很大很大~~ 但HashMap占内存比较大，不少人都更关注于HashMap所占的内存怎么计算。 运行了一下，没找到HashMap的极限容量，但就发现HashMap很耗内存，一下子就OutOfMemoryError了。 Integer a = 1; long start = 0; long end = 0; // 先垃圾回收 Sys
作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。为使更多童鞋受益，现给出开源框架地址：
在 FreeWheel 的核心业务系统中，我们使用 MySQL 来存储数据。但随着数据量的不断增加，原有数据库已经无法满足如今的业务需求。经过前期大量的调研，我们决定将 MySQL 中的部分表迁移到 AWS Dynamodb 中。本文主要介绍从关系型数据库平顺迁移到非关系型数据库的实践经验。
HashMap是什么想必大家都是知道的，日常开发中经常使用，而且常驻于笔试题目及面试中，那么今天将从源码的角度来深入理解一下HashMap。
点击上方蓝色字关注我们~ 探秘MySQL极限，解锁核心运维关卡——3月3日20:00 根据 DB-engine 流行度显示，MySQL 是最流行的开源关系型数据库管理系统，在 WEB 应用方面，是最好的 RDBMS 之一。作为继 Oracle，DB2 之后的老牌轻量级数据库，MySQL 已经非常广泛使用于国内各行业里。 此次分享，我们邀请云和恩墨 MySQL 技术专家崔虎龙围绕 MySQL 功能、性能、高可用、运维等核心话题，带您解读 MySQL 能发挥的极限在哪里，助力运维小伙伴职场逆袭，开“卷”有益！
提到香农定理，通信领域的小伙伴应该是非常熟悉的了，可称得上是该领域的「金科玉律」。1948 年，香农博士在《通信的数学原理》一书中提出了这一著名的定理。此后，香农定理成为现代信息论的基础理论，在通信和数据存储领域得到了广泛应用，并为今天通信的发展打下了坚实的理论基础。
ps：性能测试很多专有名词，eg 性能测试 负载测试 压力测试 容量测试 极限测试等， 概念又多又乱，界限又很模糊，如下：
压测过程中很重要的一点是观察cpu的各项指标，比如说cpu idel、user、cpu.load等，这些指标也间接反映了一个系统的抗压能力（容量）。 在linux内核中，每个进程都会被分配一个固定的时间片，默认是10ms，在这10ms中，该进程享有cpu的使用权，如果该进程用完了10ms,或者有其他优先级高的进程发出请求，系统会触发一个中断，内核重新接管cpu，内核分配cpu给其他进程。 cpu的使用时主要分为用户态、内核态，对于使用率来说主要分为用户态、系统态、空闲态。
上一期负载特性讲的是对电机输出提出的要求，这一期我们说说电机的运行条件或者叫运行的限制条件和控制策略，如果说上一期说的是让马儿跑多快，让牛儿挤出多少奶，那么这一期说的就是给马儿和牛儿吃的是什么样的草料，怎么快马加鞭，怎么挤奶。电源是最重要的运行条件，我们就从电源说起。 1 电源限制条件 对于变速运行的永磁电机，通常要用变频器来供电，即变频器就是调速永磁电机的电源。作为电源最主要的指标就是容量，而容量又是由输出电压和电流两个指标所决定的。受功率器件最大允许电流限制，变频器有一个最大输出电流极限值，我们称之为峰值电流Imax。电机在运行时电枢(定子)电流就受变频器这个峰值电流的限制，不能大于它，即： Is≤Imax (1) 我们可以把定子电流分解成两个相互正交的直轴和交轴电流分量Id、Iq，这就像给你一定的饲料钱，至于多少钱买青草，多少钱买粮食饲料，由你自由支配，只要能让马儿跑得快，牛儿多产奶就是达到目的，但总钱数不能超预算。于是有： Id=Is•cosβ Iq=Is•sinβ } (2) Id²+Iq²=Is² 综合式(1)(2)得： Id²+Iq²≤(Imax)² (3) 以上各式说明受峰值电流限制，在以Id、Iq为坐标轴的复平面内，定子电流应该在峰值电流极限圆内，如图1所示。
MySQL 服务器性能受制于整个系统最薄弱的环节，承载它的操作系统和硬件往往是限制因素。磁盘大小、可用内存和 CPU 资源、网络，以及所有连接它们的组件，都会限制系统的最终容量。
原订单表的数据量巨大，且业务要求查询维度较多，即使加了两个从库，优化索引，仍然存在很多查询不理想的情况。去年大量抢购活动的开展，使数据库达到瓶颈，应用只能通过限速、异步队列等对其进行保护；业务需求层出不穷，原有的订单模型很难满足业务需求，但是基于原订单表的DDL又非常吃力，无法达到业务要求。
原文链接：https://planetscale.com/media/one-million-queries-per-second-with-mysql?page=%2Fresources&widge
前言 数据中心作为一个由多个系统高度结合的复杂工程，在基础设施建设全部完成，各系统调试结束后，就具备了开展假负载验证测试的基本条件。一场规模宏大的数据中心规划、建设的质量检测就此拉开了帷幕。 一 数据中心假负载验证测试前提条件 1 完成数据中心各系统建设、调试 开展假负载测试要求项目团队确认各系统已经按要求完成建设、调试工作，亦即数据中心各系统已经达到投产前的各项设计要求及开展运行的基本条件。 2 建立验证测试项目团队 项目团队成员职责分工项目经理（项目团队，含监理）组织开展验证测试，推动测试问题整改第三方
在互联网项目中，当业务规模越来越大，数据也越来越多，随之而来的就是数据库压力会越来越大。
作者 | 李德怀 前言：通用场景下的线上服务相比头部互联网服务，往往单个服务访问量较小，最大 DAU 几万甚至几千；需要提供服务的后端服务器少，往往只需十几台甚至几台就足够支持服务压力；服务种类多不规范，有几百甚至上千个服务；开发语言不统一，每个团队根据自己的喜好选择语言种类或者技术栈，而且存在很多无人维护的服务。这就导致通用场景下的互联网服务的资源利用率低，比如 CPU 利用率普遍不足 10%，而且服务治理困难，稳定性差，很少能达到 3 个 9。 在当前疫情反复、经济下行的宏观大背景下，通用场景下的
在服务端读数据进行访问时，往往会对数据进行分片，此过程中会在某一主机 Server 上对相应的 Key 进行访问，当访问超过 Server 极限时，就会导致热点 Key 问题。
近期不少网友表示Android的NIO中有关ByteBuffer的几种常用方法比如clear,rewind和flip到底有哪些区别。下面给大家这三种方法的源码，方便大家记忆。
本文想来和大家聊聊那些年我们听烂了的名词之 ‘高可用’ ，那么第一个问题就是: “如何构建一个高可用系统呢？”
机器之心报道 编辑：杜伟 后香农时代的通信技术会如何发展？又有哪些值得业界关注的数学问题呢？在上月底结束的长沙「数学促进企业创新发展论坛」上，华为董事、战略研究院院长徐文伟抛出了后香农时代信息产业发展面临的了十大挑战数学问题。 提到香农定理，通信领域的小伙伴应该是非常熟悉的了，可称得上是该领域的「金科玉律」。1948 年，香农博士在《通信的数学原理》一书中提出了这一著名的定理。此后，香农定理成为现代信息论的基础理论，在通信和数据存储领域得到了广泛应用，并为今天通信的发展打下了坚实的理论基础。 信息论之父克
性能计数器，指的是服务器或者操作系统性能的一些指标数据，包括系统负载 System Load、对象和线程数、内存使用、CPU 使用、磁盘和网络 I/O 使用等指标。这些指标是系统监控的重要参数，反映系统负载和处理能力的一些关键指标，通常这些指标和性能是强相关的。这些指标很高，成为瓶颈，通常也预示着性能可能会出现问题。
当程序试图将多个 key-value 放入 HashMap 中时，以如下代码片段为例：
由图可见，摩托罗拉TAC有着很长的天线，可现在的手机已经看不到天线了，原因是我们现在使用的电磁波频段较高，天线很小，完全可以藏在手机里面。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
云直播
