在处理一个故障的时候怀疑大量的删除数据导致了查询比较慢，但是自己对purge线程的工作流程一直不太清楚，本文不做深入解析，只做工作流程解析，待着如下问题进行：
那么这里又有个新的问题了，如果在 InnoDB 下，多事务并发的情况下，如果事务A删除了 id=1 的数据，同时事务B又去读取 id=1 的数据，如果这条数据真的被删除了，那 MVCC 拿啥数据返回给用户呢？
MySQL数据库主从复制在缺省情况下从库的relay logs会在SQL线程执行完毕后被自动删除，但是对于MHA场景下，对于某些滞后从库的恢复依赖于其他从库的relay log，因此采取禁用自动删除功能以及定期清理的办法。对于清理过多过大的relay log需要注意引起的复制延迟资源开销等。MHA可通过purge_relay_logs脚本及配合cronjob来完成此项任务，具体描述如下。
https://dev.mysql.com/doc/refman/5.7/en/innodb-improved-purge-scheduling.html
Varnish的缓存清除非常复杂。无论是Varnish的清除方式还是清除时候使用的语法规则等，都是比较复杂。为了理解他，我花费了不少时间，现在我很高兴我知道怎么来解释给大家听了。 1、Varnish有两种方式来清除缓存，其中一种方式是通过命中对象的单一变体，所以在他命中一个没有压缩的对象的时候他不能清除一个已经压缩的对象。这个方式也就是强制过期(forced expiry)，他是通过设置你想清除的对象的TTL为0去强制它过期。VCL设置如下：
网站进行内容更新是常有的事情，当被缓存的资源更新时，前端Squid 缓存服务器内容也必须要相应的更新，否则用户就可能会看到过期的数据。当没有程序支持时就需要每次登录到服务器上执行刷新操作，在服务器数量小的的时候这种方式还可行，如果服务器数量上了一定的规模，这就是一种非常笨重的处理方式，以下分别介绍通过编程方式实现刷新 Squid 的三种方法：
1、检查to_log在mysql-bin.index中是否存在，避免非法的purge操作
如果指定的类名不存在，或者指定的字母大小写不正确，则跳过该类名，命令继续清除列表中的下一个缓存查询; 对于无效的类名，不会执行任何操作，也不会生成任何错误。 如果指定的表没有任何关联的缓存查询，或者该表不存在，则不执行任何操作，也不会产生错误。
看最近EdgeOne活动力度很大，忍不住买了一年，准备把博客从CDN换成EdgeOne。
之前配置好的zookeeper突然就连接不上了，在这之前我重置了服务器密码，服务器重启过一次，然后就发现连接不上了。参考之前的解决方案，成功解决问题。
熟悉InnoDB的朋友都知道，innodb的history list长度代表了有多少undo日志还没有被清理掉，可以通过show engine innodb status 命令来获得。如果发现hist
nginx_cache_purge是nginx的一个三方模块，主要是对nginx生产的缓存（proxy_cache）内容进行清理。
上一节讲解了在那些场景下使用 Nginx Cache服务器，以及如何配置、调试 Nginx Cache功能，需要的可以看这里，这一节讲一讲 Nginx Cache服务器在使用中经常遇到的一些问题。 第一个问题 我们自定义了 Nginx日志格式，并添加了 $upstream_cache_status变量，可以在日志查看请求的资源是否命中缓存。 例如 nginx日志: 10.42.248.154 - 省略... - MISS 0.004 表示请求没有命中缓存，请求由上游服务器负责返回响应，花费 0.004秒。 但是我们不可能时时刻刻的登录后台查日志，如果请求结果中带有缓存状态信息那就方便了，其实在 CDN中都是带有缓存状态信息的，幸运的是在 Nginx可以很方便的添加一个http 头信息。 第二个问题 缓存更新问题，由于在用户端(浏览器) 与 服务器端(App) 添加了代理缓存层(Nginx), 浏览器强制刷新的功能因为加入代理缓存层失效，举个例子： 用户端访问 http://demo.com/css/ui/test.css 资源，命中 Nginx Cache服务器 Expires时间为5天，但是前端小伙伴在缓存期间调整了 test.css样式文件，那么当用户再次访问 test.css 仍然获得是旧的数据(Nginx Cache认为没有过期)，所以我们需要能够主动清理/更新缓存的功能，同样幸运的是 Nginx提供了 ngx_cache_purge 第三方模块可以解决这个问题。
上篇文章介绍了Nginx一个较为重要的知识点：Nginx实现接口限流。本篇文章将介绍Nginx另一个重要知识点：Nginx缓存原理。其实说到缓存技术大家应该都不会很陌生，缓存技术的基本思想其实是对用户已经访问过的内容在Nginx建立副本，如果在一段时间内(缓存尚未过期)再次访问该数据，则不需要重新发起请求获取数据，可以直接从缓存中读取到该数据，好处在于减少了Nginx与后端服务之间的网络交互，减轻了网络的压力，而且在减少数据传输的延迟时同时可以提升用户访问速度。而且如果碰上后端服务出现异常时，还可以通过缓存进行相应用户请求，提高了后端服务的稳定性。
在日志文件中发现大量 Note InnoDB: Stopping purge [Note] InnoDB: Resuming purge
之前写过一篇名为“快速安全删除MySQL大表”的博客，讲解如何在不影响线上数据库服务的前提下删除大表。实际上清理MySQL binlog也会遇到同样的问题。例如，我们每个binlog文件的大小是1G。最初的做法是，每天凌晨2:30执行下面的操作清理10天前binlog：
BINLOG文件生成与删除 binlog文件生成： 在每条二进制日志写入到日志文件后，会判断该文件是否超过max_binlog_size，如果超过则生成一个新的binlog
Ubuntu 17.10 发布已经有一段时间了， 终于下定决心全新安装， 安装系统容易， 下载 iso 直接安装即可， 安装之后要配置自己习惯的桌面环境确需要不少的时间。 下面是安装后基本的折腾记录。
在 "nginx 缓存服务器(下)" 这篇文章中，我们讲解了如何使用 ngx_cache_purge模块主动清理缓存，不过默认的 nginx镜像是不包含 ngx_cache_purge模块的，我们需要自己安装这个模块，但是大家都知道 容器的生命周期会随着镜像更新而结束，也就是说在当前容器中安装的 ngx_cache_purge模块并不会保留在后续的镜像/容器里。 这是因为 Docker存储机制，Docker镜像使用的是分层存储，容器也是如此。每一个容器运行时是以镜像为基础层，并在其上创建一个当前容器的存储层，容器存储层的生存周期和容器一样，容器消亡时容器存储层也随之消亡，因此任何保存于容器存储层的数据都会随容器删除而丢失。
昨天编了个PIC的项目，对C语言里的位运算还是蛮有感悟的，特此记录一下。 譬如说，在程序中定义了一个char类型的变量， purge_short_enable_flag， //bit<0>-- start short circuit circle timing //bit<1>--short circuit enable //bit<2>--purge H2 enable 所以在复制的时候，一定要记得不要影响其他为，之前我在使能purge的时候，直接复制了，就像purge_short_enable_flag = 0x02，结果，pic跑起来就出问题了，因为这样就影响到了short的使能的，所以还是要purge_short_enable_flag |= 0x02,这样就没问题了。 用一个变量来控制好几个因素，有好处也有坏处，优点是节省了变量的使用，然而不仔细的话，很容易出错，code的时候要仔细点，不要编写代码，边听音乐。不过这在编了久了，心里自然有底，不过还是要是是提防，因为少个或的“|”符号，很难看出来的。
姚远在一个有两万个客户的公司做数据库支持，什么稀奇古怪的事情都能遇到，有个客户的数据库不停地产生大量的trace，经常把硬盘撑爆，看看姚远怎么解决这个问题的。
正在生产线上跑着web前端是nginx+tomcat,现在有这样一个需求，需要对网站的单品页面和列表页设置缓存，不同的页面设置不同的缓存，但是由于开始没有安装ngx_cache_purge这个模块，现在没法直接往配置文件里边写，这时候，就需要在线安装ngx_cache_purge此模块，下边就说下怎么在线编译安装新模块。 安装步骤： 1.首先看下内核和系统的版本号。 [root@vmware1 ~]# uname -a Linux vmware1 2.6.18-308.el5 #1 SMP Tue Feb 21 20:06:06 EST 2012 x86_64 x86_64 x86_64 GNU/Linux [root@vmware1 ~]# lsb_release -a LSB Version: :core-4.0-amd64:core-4.0-ia32:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-ia32:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-ia32:printing-4.0-noarch Distributor ID: CentOS Description: CentOS release 5.8 (Final) Release: 5.8 Codename: Final
高并发网站架构的核心原则其实就一句话“把所有的用户访问请求都尽量往前推“，即：能缓存在用户电脑本地的，就不要让他去访问CDN。 能缓存CDN服务器上的，就不要让CDN去访问源（静态服务器）了。能访问静态服务器的，就不要去访问动态服务器。以此类推：能不访问数据库和存储就一定不要去访问数据库和存储。
有用户在使用 MySQL 5.7 的数据库时，遇到 undo 暴涨情况，经排查存在一条慢 SQL 执行了上万秒仍没有结束，导致后续事务产生的 undo 不能清理，越来越多。
选择普通索引还是唯一索引？ 对于查询过程来说： a、普通索引，查到满足条件的第一个记录后，继续查找下一个记录，知道第一个不满足条件的记录 b、唯一索引，由于索引唯一性，查到第一个满足条件的记录后，停止检索 但是，两者的性能差距微乎其微。因为InnoDB根据数据页来读写的。 对于更新过程来说： 概念：change buffer 当需要更新一个数据页，如果数据页在内存中就直接更新，如果不在内存中，在不影响数据一致性的前提下，InnoDB会将这些更新操作缓存在change buffer中。下次查询需要访问这个数据页的时候，将数据页读入内存，然后执行change buffer中的与这个页有关的操作。
该方法可以删除列于索引文件中的所有二进制日志，把二进制日志索引文件重新设置为空，并创建一个新的二进制日志文件mysql-bin.000001。该语法一般只用在主从环境下初次建立复制时。在主从复制进行过程中，该语句是无效的。
purge-icons/packages/vite-plugin-purge-icons at main · antfu/purge-icons (github.com)
有用户在使用 MySQL5.7 的数据库时，遇到 undo 暴涨情况，经排查存在一条慢 SQL 执行了上万秒仍没有结束，导致后续事务产生的 undo 不能清理，越来越多
编辑 /data/clickhouse/config.xml 增加 storage_configuration 片段(开启多磁盘的支持）如下：
由于磁盘空间不够大，Ubuntu软件更新升级时经常会提醒/boot空间不足的问题，一般是由于多次升级内核后，导致内核版本太多，占用了一些磁盘空间，清理一下没用的内核文件及其他文件就好了。
卸载 删除 nginx 1.删除nginx，–purge包括配置文件 sudo apt-get --purge remove nginx 1 2.自动移除全部不使用的软件包 sudo apt-get autoremove 1 3.罗列出与nginx相关的软件 dpkg --get-selections|grep nginx 1 执行结果: stephen@stephen-OptiPlex-390:~$ dpkg --get-selections|grep nginx nginx
flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/windowing/triggers/Trigger.java
1.先执行一下命令： 1.1 删除nginx，–purge包括配置文件 sudo apt-get --purge remove nginx 1.2 自动移除全部不使用的软件包 sudo apt-get autoremove 1.3 罗列出与nginx相关的软件 dpkg --get-selections|grep nginx 执行1.3的结果: stephen@stephen-OptiPlex-390:~$ dpkg --get-selections|grep nginx nginx
5 月份，张戈博客分享了一篇《Nginx 开启 fastcgi_cache 缓存加速，支持 html 伪静态页面》的文章。文中也提到了 WordPress 有一款名为 Nginx Helper 的插件
在Innodb存储引擎中，后台线程的主要作用是「负责刷新内存池中的数据，保证缓冲池中的内存缓存的是最近的数据」。此外它会将已经修改的数据文件刷新到磁盘文件中，保证在发生异常的情况下，Innodb能够恢复到正常的运行状态。
默认值就是最合理的设置。 因为参数名更改了所以下面统称simple_recovery来代替。
MySQL的服务实现通过后台多个线程、内存池、文件交互来实现对外服务的，不同线程实现不同的资源操作，各个线程相互协助，共同来完成数据库的服务。MySQL常用的后台线程概括如下，分为Master Thread，IO Thread，Purge Thread，Page Cleaner Thread
InnoDB存储引擎层产生，物理日志，记录的是对页的修改，innodb1.2版本后，最大512GB
原文 : http://blog.csdn.net/u010571844/article/details/50819704
在Innodb存储引擎中，后台线程的主要作用是负责刷新内存池中的数据，保证缓冲池中的内存缓存的是最近的数据。此外它会将已经修改的数据文件刷新到磁盘文件中，保证数据库在发生异常的情况下，Innodb能够恢复到正常的运行状态。上一节中我们讲到了redo log的刷盘操作，其实就是后台线程帮忙完成的。
在基于Debian的Linux发行版中，默认的软件管理器是Advanced Packaging Tool, 也就是apt。本文将简单介绍下面有关添加和删除软件的命令：
1.切换为集成显卡 image.png 如果没有，那么先切换到字符界面 2.卸载驱动 sudo apt-get --purge remove nvidia* sudo apt autoremove To remove CUDA Toolkit: $ sudo apt-get --purge remove "*cublas*" "cuda*" To remove NVIDIA Drivers: $ sudo apt-get --purge remove "*nvidia*" 3.然后重装驱动
在几个月前，笔者介绍了一种保护服务器安全的方法 自动禁止攻击IP登陆SSH，保护服务器安全。这种方法需要自己去动手写相应的脚本，今天要介绍的是开源的脚本实现。
在日常运维工作中，只要用到squid缓存服务，就会常常被要求清理squid缓存。 比如公司领导要求删一篇新闻，新闻是生成的静态。运维人员把服务器上静态的新闻页面删除了后，不料代理服务器上缓存还有。 缓存服务器如果用的是suqid，下面就对清理squid缓存的方法做一梳理： （1）首先在squid的主配置文件中添加acl 列表，并允许受信任的主机有权限清除缓存。 [root@hqtime ~]# vim /etc/squid/squid.conf ....... ....... acl managerca
利用Nginx fastcgi_cache缓存，直接使用Nginx为页面生成缓存来加速wordpress，而且还支持html伪静态页面，效率比使用PHP缓存插件要高得多，也比较适合小配置的VPS上使用。
1.在选项卡的位置用上下键选择Install ubuntu的选项，先别点，按e进入编辑选项，会看到quiet splash --- 字样的代码，将 --- 去除，输入 nomodeset （内核不加载视频驱动程序）。按F10重新引导。
上一篇文章分享了如何开启 Nginx 的缩略图功能，也提到了 Nginx 缩略图在完美替代七牛缩略图或 PHP 缩略图的同时，还会带来一定的 CPU 负载消耗。 因此，本文就来分享一下如何解决这个实时生成缩略图带来的 CPU 开销问题。 思路很简单，既然你要实时生成，那我就将你生成的缩略图缓存一份好了！在我测试期间发现，Nginx 的缓存也同样可以缓存伪静态的 html 页面，完全可以替代 WP-Super-Cache 这类缓存插件了。相信大部分 CDN 也是用的这个原理，比如百度云加速，我们可以在 hea
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
