年前本应该是回顾一年工作和收尾的阶段，奈何各种促销，活动都等着春节，因此也遇到了不少的问题，回顾了一下最近遇到的问题，发现有好几个问题比较类似，正好整理一下，作为年前收尾的案例吧。表现上都是数据库假死，无响应，发生的场景有较高的业务压力到来时，也有业务正常运行的时候，突然就出现问题了。
如果我有一个 32 核心的服务器，我就可以实现 1 个亿的数据分片，我有 32 核心的服务器么？没有，所以我至今无法实现 1 个亿的数据分片。——Mycat’s Plan
产生"假锁"原因 MySQL如果频繁的修改一个表的数据，那么这么表会被锁死。造成假死现象。在网上试过很多种解决方法,重启mysql服务,重连数据库都没有用。
Mycat前世今生 如果我有一个32核心的服务器，我就可以实现1个亿的数据分片，我有32核心的服务器么？没有，所以我至今无法实现1个亿 的数据分片。——Mycat ‘s Plan 上面这句话是Mycat 1.0快要完成时候的一段感言，而当发展到Mycat 1.3的时候，我们又有了一个新的Plan： 如果我们有10台物理机，我们就可以实现1000亿的数据分片，我们有10台物理机么？没有，所以，Mycat至今没有机会验证 1000亿大数据的支撑能力——Mycat ‘s Plan 2.0 “每一个成功的男人背后都有一个女人”。自然Mycat也逃脱不了这个法则。Mycat背后是阿里曾经开源的知名产品—— Cobar。Cobar的核心功能和优势是MySQL数据库分片，此产品曾经广为流传，据说最早的发起者对Mysql很精通，后来从阿里 跳槽了，阿里随后开源的Cobar，并维持到2013年年初，然后，就没有然后了。 Cobar的思路和实现路径的确不错。基于Java开发的，实现了MySQL公开的二进制传输协议，巧妙地将自己伪装成一个MySQL Server，目前市面上绝大多数MySQL客户端工具和应用都能兼容。比自己实现一个新的数据库协议要明智的多，因为生态环境在 哪里摆着。 Cobar使用起来也非常方便。由于是基于Java语言开发的，下载下来解压，安装JDK，然后配置几个不是很复杂的配置文件，猛 击鼠标，就能启动Cobar。因此这个开源产品赢得了很多Java粉丝以及PHP用户的追捧。当然，笨人(Leader us)也跟着进入，并 且在某个大型云项目中——“苦海无边”的煎着熬，良久。 爱情就像是见鬼。只有撞见了，你才会明白爱情是怎么回事。TA是如此神秘，欲语还羞。情窦初开的你又玩命将TA的优点放大， 使自己成为一只迷途的羔羊。每个用过Cobar的人就像谈过一段一波三折、荡气回肠的爱情，令你肝肠寸断。就像围城：里面的 人已经出不来了，还有更多的人拼命想挤进去。 仅以此文，献给哪些努力在IT界寻求未来的精英和小白们，还有更多被无视的，正准备转行的同仁，同在江湖混，不容易啊，面 试时候就装装糊涂，放人家一马，说不定，以后又是一个Made in China的乔布斯啊。 如果我有一个32核心的服务器，我就可以实现1个亿的数据分片，我有32核心的服务器么？没有，所以我至今无法实现1个亿的数 据分片。——Mycat ‘s Plan 曾经的TA 曾经的TA，长发飘飘，肤若凝脂，国色天香，长袖善舞，所以，一笑倾城。 那已成传说，一如您年少时的坚持：“书中自有黄金屋…” Cobar曾是多少IT骚年心中的那个TA，有关Cobar的这段美好的描述(不能说是广告)俘虏了众多程序猿躁动纯真的心： Cobar是阿里巴巴研发的关系型数据的分布式处理系统，该产品成功替代了原先基于Oracle的数据存储方案，目前已 经接管了3000+个MySQL数据库的schema，平均每天处理近50亿次的SQL执行请求。 50亿有多大？99%的普通人类看到这个数字，已经不能呼吸。当然，我指的是**RMB**。99%的程序猿除了对工资比较敏感，其 实对数字通常并不感冒。上面这个简单的数字描述，已立刻让我们程序型的大脑短路。恨不得立刻百度Cobar，立刻 Download，立刻熬夜研究。做个简单的推算，50亿次请求转换为每个schema每秒的数据访问请求即TPS，于是我们得到一个让 自己不能相信的数字：20TPS，每秒不到20个访问。 Cobar最重要的特性是分库分表。Cobar可以让你把一个MySQL的Table放到10个甚至100个位于不同物理机上的MySQL服务器 上去存储，而在用户看来是一张表（逻辑表）。这样功能很有价值。比如：我们有1亿的订单，则可以划分为10个分片，存储到 2-10个物理机上。每个MySQL服务器的压力减少，而系统的响应时间则不会增加。看上去很完美的功能，而且潜意识里，执行 这句SQL： select count(*) from order 100%的人都会认为：会返回1条数据，但事实上，Cobar会返回N条数据，N=分片个数。 接下来我们继续执行SQL: select count(*) from order order by order_date 你会发现奇怪的乱序现象，而且结果还随机，这是因为，Cobar只是简单的把上述SQL发给了后端N个分片对应的MySQL服务器去执 行，然后把结果集直接输出…. 再继续看看，我们常用的Limit分页的结果…可以么？答案是：**不可以** 这个问题可以在客户端程序里做些工作来解决。所以随后出现了Cobar Client。据我所知，很多Cobar的使用者也都是自行开发 了类似Cobar Client的工具来解决此类问题。从实际应用效果来说，一方面，客户端编程方式解决，困难度很高，Bug率也居高 不下；另一方面，对于DBA和
MySQL查询执行流程 📷 查询流程： 客户端发送一条查询给服务器； 服务器先检查查询缓存，如果命中了缓存，则立即返回存储在缓存中的结果；否则，进入下一阶段； 服务器进行SQL解析、预处理，再由优化器生成对应的执行计划； MySQL根据优化器生成的执行计划，调用存储引擎的API来执行查询； 将结果返回给客户端； 查询缓存 用于保存MySQL查询语句返回的完整结果，被命中时，MySQL会立即返回结果，省去解析、优化和执行等阶段； MySQL保存结果于缓存中，把select语句本身做hash计算，计算的结果作
mysql需要将流式查询中的所有记录全部读取才能关闭流 中断时剩余的记录数量过多，遍历时间长导致假死现象
ProxySQL提供强大的路由规则。当应用程序自身不支持读写分离时，DBA可以通过配置路由规则为应用程序提供透明的读写分离，使用Keepalived + ProxySQL + Orchestrator为主从提供高可用时，能够有效的避免keepalived + 双主结构 由于keepalived脑裂而造成数据被写错乱的痛点。
ProxySQL是一个高性能的MySQL中间件，拥有强大的规则引擎。具有以下特性：
最近项目新打的版本，过不了多长时间，项目就会挂掉。状况就是处于一种假死的状态。索引查询都很慢，几乎进行不了任何操作，慢慢卡死。 然后我们再发版时，只能基于之前打好的war包，替换或者增加class文件。
所谓假死现象，是指 Linux 内核 Alive，但是其上的某个或所有操作的响应变得很慢的现象。
最近项目新打的版本，过不了多长时间，项目就会挂掉。状况就是处于一种假死的状态。索引查询都很慢，几乎进行不了任何操作，慢慢卡死。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/ajianyingxiaoqinghan/article/details/89736329
因为女朋友大二刚学到JavaSE，所以她的课程设计就简单的采用了JavaGUI--SWT。想当年我刚接触Java的时候，也是蛮喜欢的，Eclipse的界面就是实用SWT创建的。当然现在已经算是非常过时了，尽管有了更新和更强大的JavaFX，但是运行一个JavaGUI和要想运行一个Java程序一样，都必须满足一个条件--JAVA环境，这对于用户体检而言是非常不友好的，我运行一个小程序还要安装JDK？这一点在安装Eclipse的时候被充分体现到了，在本机没有安装JDK的时候，我们是打不开Eclipse的。
现今几乎每个大型技术峰会，都离不开互联网金融，企业数字化转型话题。国内外大型云计算独角兽企业，例如阿里云、Amazon、微软Azure等云计算供应商更是提供一站式服务，从底层硬件基础服务到顶层应用业务SaaS软件，帮助企业实现互联网架构的数字化转型。
产生这种异常的原因在于，mysql中的utf8编码最多会用3个字节存储一个字符，如果一个字符的utf8 编码占用4个字节（最常见的就是ios中的emoji表情字符），那么在写入数据库时就会报错。
Condition 是 JDK 1.5 中提供的用来替代 wait 和 notify 的线程通讯方法，那么一定会有人问：为什么不能用 wait 和 notify 了？ 哥们我用的好好的。老弟别着急，听我给你细说...
Python爬虫假死是指在使用Python进行网络爬虫时，程序在执行过程中突然停止响应，无法继续执行或响应的情况。这种情况通常是由于网络请求被目标网站限制或阻止，导致爬虫无法正常访问和获取数据。
本篇博文是《从0到1学习 Netty》中实战系列的第二篇博文，主要内容是通过引入心跳检测机制来解决假死连接问题，避免资源浪费和通信失败，往期系列文章请访问博主的 Netty 专栏，博文中的所有代码全部收集在博主的 GitHub 仓库中；
最近做了一个多人竞拍的小功能 因为以前没做过 所以踩了很多坑 用的是 mysql + php + redis 实现的竞拍功能
在压测过程中，使用了过期的cookie导致访问应用接口鉴权失败，访问接口走协议里约统一认证里面去了。里约统一认证压测多次，准入网关假死，报错504与502
执行 python-2.7.12.amd64.msi文件，不需要修改安装路径，默认为C:/Python27即可
这里做个小预告，可能下周或者下下周。我的好基友顺子要给大家讲讲MHA的故事。请期待~~
最近系统（基于SpringCloud+K8s）上线，运维团队早上8点左右在群里反馈，系统登录无反应！我的第一反应是Mysql数据库扛不住了。
好久没写 Node.js 故障案例了，今天是一枚全新的进程假死无响应案例。 特点是完全不同于之前常规遇到的类死循环引发的阻塞假死，值得记录分析的过程，希望对遇到其它的类似案例的开发者有所启发。
Apple 在10月5日正式发布了macOS High Sierra，我听说最新的APFS 磁盘类型会大大提高 SSD 效率，很早以前就升级到 Beta 版了。经过1个多月的初体验，我总结了一些经验，在这里和大家分享。 首先是一些关于在最新 Macos 下搭建LNMP开发环境的流程建议，直接进入正题：
问题发生的过程是再点击按钮后弹出一个层，层里有一个表单，表单弹出之前会通过后台接口获取下拉选项列表，第一次点击这个按钮不会有任何问题。第二次点击的时候会发生个别请求 Initial Connection 时间特别长的问题，同时页面假死（CPU占用很高），无响应，需要等请求超时后页面可以恢复操作。
注：文中使用版本为Mycat 1.6.5。 1、Mycat 正如官方所说， Mycat 是数据库中间件，就是介于数据库与应用之间，进行数据处理与交互的中间服务。由于前面讲的对数据进行分片处理之后，从
“庄恕接到陆晨曦电话了解了大致情况，现如今救陆妈妈的办法只能是“强抢”，也就是人造休眠让陆妈妈撑到一个小时的时间，用低温治疗法。这种办法是庄恕在美国时听教授说起过，每一分每一秒都要配合到位，而且成不成全靠机率，不是医学上通用的范畴。好在庄恕和到位的大夫护士配合默契，为陆妈妈做了缝合止血，接下来就是送去手术室做人造休眠。”
假死：心跳出现超时可能是master挂了，但是也可能是master，zookeeper之间网络出现了问题，也同样可能导致。这种情况就是假死，master并未死掉，但是与ZooKeeper之间的网络出现问题导致Zookeeper认为其挂掉了然后通知其他节点进行切换，这样slaver中就有一个成为了master，但是原本的master并未死掉，这时候client也获得master切换的消息，但是仍然会有一些延时，zookeeper需要通讯需要一个一个通知，这时候整个系统就很混乱可能有一部分client已经通知到了连接到新的master上去了，有的client仍然连接在老的master上如果同时有两个client需要对master的同一个数据更新并且刚好这两个client此刻分别连接在新老的master上，就会出现很严重问题。
本文重点讲解ZooKeeper脑裂问题的处理办法。ZooKeeper是用来协调（同步）分布式进程的服务，提供了一个简单高性能的协调内核，用户可以在此之上构建更多复杂的分布式协调功能。脑裂通常会出现在集群环境中，比如Elasticsearch、ZooKeeper集群，而这些集群环境有一个统一的特点，就是它们有一个大脑，比如Elasticsearch集群中有Master节点，ZooKeeper集群中有Leader节点。
https://www.cnblogs.com/yhxx511/p/9609765.html
最近系统（基于 SpringCloud + K8s）上线，运维团队早上 8 点左右在群里反馈，系统登录无反应！我的第一反应是 MySQL 数据库扛不住了。
生产环境最佳实践 1.linux 系统： 1】关闭文件系统/分区的atime 选项 Vi /etc/fstab 在对应的分区项后面添加noatime ,nodiratime LABEL=/1 / ext3 defaults 1 1 LABEL=/data1 /data ext4 defaults,noatime,nodiratime 1 2 2】设置文件句柄４ｋ＋，目前该配置已经集成到启动脚本中。 Vi /etc/security/limit.conf * soft nproc 65536
Consumer Group ：Kafka提供的可扩展且具有容错性的消息者机制。 1、重要特征： A：组内可以有多个消费者实例（Consumer Instance）。 B：消费者组的唯一标识被称为Group ID，组内的消费者共享这个公共的ID。 C：消费者组订阅主题，主题的每个分区只能被组内的一个消费者消费 D：消费者组机制，同时实现了消息队列模型和发布/订阅模型。 2、重要问题： A：消费组中的实例与分区的关系： 消费者组中的实例个数，最好与订阅主题的分区数相同，否则多出的实例只会被闲置。一个分区只能被一个消费者实例订阅。 B：消费者组的位移管理方式： （1）对于Consumer Group而言，位移是一组KV对，Key是分区，V对应Consumer消费该分区的最新位移。 （2）Kafka的老版本消费者组的位移保存在Zookeeper中，好处是Kafka减少了Kafka Broker端状态保存开销。但ZK是一个分布式的协调框架，不适合进行频繁的写更新，这种大吞吐量的写操作极大的拖慢了Zookeeper集群的性能。 （3）Kafka的新版本采用了将位移保存在Kafka内部主题的方法。 C：消费者组的重平衡： （1）重平衡：本质上是一种协议，规定了消费者组下的每个消费者如何达成一致，来分配订阅topic下的每个分区。 （2）触发条件： a，组成员数发生变更 b，订阅主题数发生变更 c，定阅主题分区数发生变更 （3）影响： Rebalance 的设计是要求所有consumer实例共同参与，全部重新分配所有用分区。并且Rebalance的过程比较缓慢，这个过程消息消费会中止。
在套接字编程中，连接远程未开启的TCP端口会导致GUI界面假死，一段时间内无法响应用户的其他键盘和鼠标操作，影响用户体验。解决这个问题的主流方案有使用子线程连接远程TCP套接字和设置连接操作超时时间这两种方法，本文介绍第二种方法的原理和实现。
在微软例行推送三月补丁之后，大量使用 windows 8/8.1 的用户遇到了资源管理器卡死以及任务栏冻结的问题。具体表现为：切换程序时任务栏点击无响应，桌面假死，稍后 explorer 自动重启恢复正常。该问题由补丁 KB3033889 引起，仅在安装了东南亚输入法的系统上出现。
从这个报错的异常内容我们先翻译一下，大概就是指在集群启动的时候,namenode因为出现了端口占用的情况,导致nameNode不可用，导致的集群无法正常启动！
数据迁移，工作原理和技术支持数据导出、BI报表之类的相似，差异较大的地方是导入和导出数据量区别，一般报表数据量不会超过几百万，而做数据迁移，如果是互联网企业经常会涉及到千万级、亿级以上的数据量。
微信公众号：码农编程进阶笔记 关注可获得更多的视频教程及面试技巧。问题或建议，请公众号留言!
死锁是在开发多线程时才会遇到的。原因就是不同的线程都在等待其它线程释放锁，而其它线程由于一些原因迟迟没有释放，这就造成了所有的线程都开始等待程序出现了假死的现象。说白了这就是一个BUG。我们用下面简单的程序来模拟一下死锁发生的现象。
Tomcat 重启脚本，送给有需要的 JSP 环境运维同行们~ 运行环境：XP/windows 2003 测试通过,其他环境由于手头上条件限制未测试; 脚本功能：在常规调用 tomcat 自带的关闭/重启脚本中加入假死判断，若出现假死则予以强行 Kill 掉相关 JAVA 进程; 脚本特点：可在 tomcat/Jboss/apache 混合平台使用，针对性的只重启 tomcat 相关进程; 注意事项：就是注意 tomcat 环境变量是否正确即可。 @echo off title Tomcat重啟脚本 cal
上一篇文章介绍到云存储项目，下一个做的项目就是统一日志。这一个项目前前后后做了一年多，版本迭代更新了很多版本，架构升级都做了3次以上。做这一个项目是收获最大的，我在这一个项目中锻炼了大型分布式系统的架构设计能力，也从0开始完全自主研发和设计的一个分布式系统。里面涉及到了很多技术，例如日志实时抓取和采集技术、数据实时传输、数据压缩、软负载均衡、zookeeper等。统一日志项目从最开始的3个人到最多的时候19人，到最后又只剩下3个人。从每天除了几GB的数据到每天处理每天几百TB的数据，从每天处理几千条日志
问题描述 Hadoop 中有一个分布式调度框架 YARN，是很基础的重要框架，用来支持多种计算模型和进行资源调度。 先看下 YARN 的架构图 不需要了解这个架构的细节，只需要看到其中的一个重点： 中
买了一台数据库，最大连接数的参数是 4000，看起来很棒！但是 cpu 和内存并不咋好！是 2c4g的超低配制。
因为工作的原因，我有机会仔细用过市面上几乎所有的 MySQL 管理工具，对各家的数据库管理软件的特性有了全面的了解。
---- 前言 调试内核肯定不是什么轻松的事情, 这里是使用kgdb进行调试, 你理解的没错, 就是kernel版的gdb. ---- 虚拟机串口设置 首先克隆下已经重新编译内核的虚拟机 然
前言 身为一名前端工程师，对于 SQL了解程度并不是很深刻，盘点一些个人工作遇到的问题，给大家普及下知识，以及记录自己如何解决这些问题的。 导航 SELECT 语句不区分大小写? SELECT IN
工作流：有的同学认为执行一个脚本就是执行一个任务，而有的同学则是将多个脚本组装的流称为任务。本文采用后者的思路，为了避免歧义，则会将任务流称为工作流。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
