大家好，又见面了，我是你们的朋友全栈君。...1.关于AD域的介绍 AD的全称是Active Directory：活动目录 域（Domain）: 1)域是Windows网络中独立运行的单位，域之间相互访问则需要建立信任关系(即Trust Relation...logger.error(e.toString()); } } } } /** * 获取权限授权信息，如果缓存中存在...，则直接从缓存中获取，否则就重新获取， 登录成功后调用 */ protected AuthorizationInfo getAuthorizationInfo(PrincipalCollection...} catch (Exception e) { logger.error(e.toString()); } } } } } 这样就增加了域用户验证登录功能，即用户在登录时既可以使用数据库里的用户
Mysql如果在安装过程不进行其他改动的情况下默认占用「3306」的端口，客户端中我们连接的时候可以通过mysql -P3307中的-P参数进行端口的指定，而服务端的启动则可以使用mysqld -P3307...Unix域套接字文件 不是很重要的东西，同样简单了解即可，这种连接方式有点类似于本地的线程通信，因为现代操作系统多数都是从UNIX衍生出来的，所以这种连接方式需要操作系统底层的通信支持，既然是本地线程通信那么自然需要保证客户端和服务端在同一个机器上...请求处理流程在书中感觉并不是十分直观，这里用以前画的一幅图作为对比解释，可以看到从整体上看整个mysql的连接分为三个部分，第一部分为连接管理，主要负责的是和客户端的请求交接，以及接受客户端发送过来的命令等等...「查询缓存：」 查询缓存在8.0的版本中已经删除了，在mysql5.7的版本中也已经不推荐使用，至于原因大致可以理解为现代的互联网资源不比以前，硬盘容量随便用不说，内存也是随便加，根本不差那点查询缓存的性能...，但是重要原因基本还是 「缓存命中率极低」，比如下面的查询缓存命中的规则： 「1.
但是线程的创建和保持是需要消耗服务器资源的，因此服务器会把长时间不活动的客户端连接断开。 有2个参数控制这个自动断开连接的行为，每个参数都默认为28800秒，8小时。...之前使用过Redis缓存工具的读者应该会有这个很自然的想法，MySQL收到查询请求之后应该先到缓存中查看一下，看一下之前是不是执行过这条指令。...如果缓存命中，则直接返回结果；否则重新进行查询，然后加入缓存。 MySQL确实内部自带了一个缓存模块。 现在有一张500W行且没有添加索引的数据表，我执行以下命令两次，第二次会不会变得很快？...只要一个表的数据有任何修改，针对该表的所有缓存都会失效。对于更新频繁的数据表而言，缓存命中率非常低！...3.1 什么是存储引擎 到底该把数据存储在什么位置，是内存还是磁盘？怎么从表里读取数据，以及怎么把数据写入具体的表中，这都是存储引擎 负责的事情。 好吧，看到这里或许你还不知道存储引擎到底是什么。
这些层是堆叠在一起的，每个层都是上一层的变化的增量。通常可以认为这些层是缓存的一种形式。仅对更改的层进行更新，而不是对每个更改进行更新。...在每条指令中，Docker都会在其缓存中搜索要使用的现有镜像，而不是创建新的重复镜像。...Docker镜像通常在构建的过程中遵循以下基本规则： 1、从已在缓存中的父镜像开始，将下一条指令与从该基本镜像派生的所有子镜像进行比较，以查看是否其中一个是使用完全相同的指令构建的。...例如，在处理RUN apt-get -y update命令时，不会检查容器中更新的文件以确定是否存在缓存命中。在这种情况下，命令字符串用于查找匹配项。...4、缓存无效后，所有后续Dockerfile命令都会生成新镜像，并且不使用缓存。 在CI管道中优化Docker镜像构建 前面几节中提到的所有优化概念对于在CI管道中实施都是有效的。
根据自己的理解，我画了个不那么专业的执行流程图，先给出这条 SQL 语句的执行流程，再逐步解析每个流程，执行流程图如下： ?...server 层包括 连接器、查询缓存、分析器、优化器、执行器等，这一层涵盖了 MySQL 的大部分核心功能，包括你平时用到的很多函数。从图中可以看出，不同的引擎使用同一个 Server 层。...如果账号密码正确，连接器就会读取当前用户此时所拥有的的权限，值得注意的是，在连接过程中，即使你用管理员账号修改当前用户的权限，丝毫不会影响它在本次连接的权限，你的修改需要等到下次连接才会生效。...但是有个问题，长连接临时使用的内存管理在连接对象中，如果使用长连接，内存占用太大导致 MySQL 重启，而连接本来就是一个非常复杂的操作（想想 TCP 通信），我们又不能使用短连接。那如何取舍呢？...连接建立完成后，接下来，select 语句就是到查询缓存中判断是否有当前语句的缓存，若有直接返回结果集。 使用了查询缓存效率会很高。但一般不建议用，为什么？ 为什么不建议用查询缓存？
在“捐赠日”的特定时段，比如一天的开始和社交媒体协调推送期间，我们可以看到活动大幅增加。对于一个活动，在不到一秒的时间内，每秒请求数就可以从 0 增加 150。...在数据库中可以轻松处理的操作，有很多代码是在应用程序中执行的。例如，迭代数千条记录求和，而不是再数据库中求和，或者为了访问单个字段而加载整个文档。...我们可以将长时间运行的报表和其他对时间不敏感的查询转换为在读副本上运行，而不是在主副本上运行，从而在整个集群上分配负载，而不是在单个副本上。...如果一项活动的队列中已经有一个缓存更新作业，那么针对同一项活动在队列中添加第二个缓存作业是没有意义的。 这使得我们可以独立于触发缓存更新的事件来扩展缓存更新处理，并以最优的方式进行。...只在需要时才进行缓存。通过检查，我们还发现，CacheUpdateJob 在不加选择地更新缓存——甚至是几年前举办的活动还在缓存中。我创建了一个设置机制，让我们可以针对每个活动定义缓存频率。
可以在逗号分隔的列表中指定多个主机。在类Unix系统上，这可以是MySQL套接字文件的完全限定路径，这将导致使用Unix套接字而不是TCP / IP套接字。只能指定一个套接字名称。...LeastConnections：MaximumPoolSize将打开总连接数，它们将均匀分布在后端。将以最近最少使用的顺序从池中选择活动连接，这不能确保跨后端的均匀负载。...默认命令超时，命令超时，DefaultCommandTimeout 三十 每个命令在超时和抛出异常之前可以执行的时间长度（以秒为单位），或者为零以禁用超时。...在Windows上，大于0的值是在发送第一个keepalive数据包之前的空闲连接时间（以秒为单位）。由于.NET Core的限制，基于Unix的操作系统将始终使用操作系统默认保持活动设置。...使用受影响的行，UseAffectedRows 假 当false（默认）时，连接报告找到行而不是已更改（受影响）的行。
你可以先对每个组件的名字有个印象，接下来我会结合开头提到的那条 SQL 语句，带你走一遍整个执行流程，依次看下每个组件的作用。 连接器 第一步，你会先连接到这个数据库上，这时候接待你的就是连接器。...虽然密码也可以直接跟在 -p 后面写在命令行中，但这样可能会导致你的密码泄露。如果你连的是生产服务器，强烈建议你不要这么做。 连接命令中的 mysql 是客户端工具，用来跟服务端建立连接。...你可以看到，如果查询命中缓存，MySQL 不需要执行后面的复杂操作，就可以直接返回结果，这个效率会很高。 但是大多数情况下我会建议你不要使用查询缓存，为什么呢？因为查询缓存往往弊大于利。...如下所示 （在工程实现上，如果命中查询缓存，会在查询缓存返回结果的时候，做权限验证。查询也会在优化器之前调用 precheck 验证权限）。...由于篇幅的限制，我只是用一个查询的例子将各个环节过了一遍。如果你还对每个环节的展开细节存有疑问，也不用担心，后续在实战章节中还会再提到它们。
机器速度慢也就罢了，我曾经见过速度很快的机器在运行设计良好的查询时由于负载过重而失败，因为 mysqld 被大量繁忙的工作所占用而不能服务查询。...将 query_cache_size = 32M 添加到 /etc/my.conf 中可以启用 32MB 的查询缓存。 监视查询缓存 在启用查询缓存之后，重要的是要理解它是否得到了有效的使用。...与表的缓存类似，对于线程来说也有一个缓存。 mysqld 在接收连接时会根据需要生成线程。在一个连接变化很快的繁忙服务器上，对线程进行缓存便于以后使用可以加快最初的连接。...理想情况下，对于这些块的请求应该来自于内存，而不是来自于磁盘。清单 6 显示了如何确定有多少块是从磁盘中读取的，以及有多少块是从内存中读取的。...每个会话的设置 下面这些设置针对于每个会话。在设置这些数字时要十分谨慎，因为它们在乘以可能存在的连接数时候，这些选项表示大量的内存！
在缓存中上图也说明了，我们针对点查找进行了缓存优化，这是阿里巴巴对于电子商务中的大部分查询处理方式，行缓存使用了散列来缓冲记录，在缓存命中是可以快速返回结果，缓存大小是根据可用的内存大小和查询负载进行动态调整...，同时我们还使用BLOOM过滤器来加速在缓存中记录的查找，BLOOM过滤器可以快速确定某个键是否可能在缓存中，从而避免了对底层存储的访问，缓存还可以减少对存储的访问，提供更低的延迟和更高的吞吐量。...，也可以被缓存，一旦查找未命中的内存表，查询的键将通过哈希算法映射到行缓存中相应的槽位进行匹配，对于点查询，从行缓存中检索记录只需要话费O(1)的时间，当随机访问记录时，行缓存的影响较小。...上图展示了X-Engine中多版本源数据库索引的结构，每个字表的LSM-TREE 都有其关联的园数据库索引，他从根节点开始，索引的每次修改都会创建一个新的元数据快照，该快照只想所有关联的层次和内存表，而不修改现有的源数据库快照的节点...未解决这个问题我们提出了增量缓存替换法，在压缩的过程我们检查将要合并的extent的数据块是否已经缓存，如果是的话，我们讲魂村中的旧块替换为相同位置上的新合并块，而不是简单的将所有旧的块驱逐出缓存，这种方法通过在块缓存中保持一些块的更新和块不移动减少缓存未命中的次数
这个 SELECT 查询先根据 id 和 name 进行属性 投影 ，而不是将属性全部取出以后再进行过 滤，将这两个查询条件 连接 起来生成最终查询结果。...Qcache_inserts : 表示 多少次未命中然后插入 ，意思是新来的 SQL 请求在缓存中未找到，不得不执行查询处理，执行查询处理后把结果 insert 到查询缓存中。...Qcache_total_blocks : 当前缓存的 block 数量。 解析器：在解析器中对 SQL 语句进行语法分析、语义分析。 如果没有命中查询缓存，就要开始真正执行语句了。...执行编号 2 时，比执行编号 1 时少了很多信息，从截图中可以看出查询语句直接从缓存中 获取数据。...# 2) 查询缓存 那么什么是查询缓存呢？ 查询缓存是提前把 查询结果缓存起来，这样下次不需要执行就可以直接拿到结果。需要说明的是，在 MySQL 中的查询缓存，不是缓存查询计划，而是查询对应的结果。
锁信息：读锁等待个数、写锁等待个数、活动的读连接数和活动的写连接数等。 进出流量：数据库发送的字节数和接收的字节数。 操作数信息：增删改查操作次数。...本Oracle模板采集数据，通过连接数据库执行SQL语句获取数据，每个SQL单独保存在一个文件中。 获取数据的方式更加简单，可扩展性强，且所有指标都是在客户现场经过验证，和客户DBA共同开发的。 ?...Metric类型信息：缓存命中率、库缓存命中率、PGA缓存命中率、会话数、IO读写字节数和事务响应时间等。 参数信息：认证文件目录、恢复文件目录和进程总数等。...使用说明 通过连接Oracle数据库执行SQL获取监控数据，每个SQL都单独保存在一个SQL文件中，如果需要新增监控项，则单独创建SQL文件。该模板和脚本只支持单实例。...状态信息：读写字节数、命中次数、非命中次数和执行的命中数等。 持久性信息：上一次是否成功、花费的时间和多久没有持久化等。 同步信息：角色类型、连接的从机数和复制积压缓冲大小。
以上例子是一个相对简单的高并发架构，并发量不是很高的情况可以很好的支撑，但是随着业务的壮大，用户并发量增加，我们的架构也会进行不断的优化和演变，比如对业务进行服务化，每个服务有自己的并发架构，自己的均衡服务器...一级缓存 高并发请求连接缓存服务器超出服务器能够接收的请求连接量，部分用户出现建立连接超时无法读取到数据的问题； 因此需要有个方案当高并发时候时候可以减少命中缓存服务器； 这时候就出现了一级缓存的方案，...，目的是当有高并发请求的时候可以让数据的获取命中到一级缓存，而不用连接缓存nosql数据服务器，减少nosql数据服务器的压力 比如APP首屏商品数据接口，这些数据是公共的不会针对用户自定义，而且这些数据不会频繁的更新...CDN，这样在高并发的时候可以使数据的获取命中在CDN服务器上。...缓存 高并发业务接口多数都是进行业务数据的查询，如：商品列表，商品信息，用户信息，红包信息等，这些数据都是不会经常变化，并且持久化在数据库中 高并发的情况下直接连接从库做查询操作，多台从库服务器也抗不住这么大量的连接请求数
下面我给出的是 MySQL 的基本架构示意图，从中你可以清楚地看到 SQL 语句在 MySQL 的各个功能模块中的执行过程。 ?...你可以先对每个组件的名字有个印象，接下来我会结合开头提到的那条 SQL 语句，带你走一遍整个执行流程，依次看下每个组件的作用。 连接器 第一步，你会先连接到这个数据库上，这时候接待你的就是连接器。...虽然密码也可以直接跟在 -p 后面写在命令行中，但这样可能会导致你的密码泄露。如果你连的是生产服务器，强烈建议你不要这么做。 连接命令中的 mysql 是客户端工具，用来跟服务端建立连接。...你可以看到，如果查询命中缓存，MySQL 不需要执行后面的复杂操作，就可以直接返回结果，这个效率会很高。 但是大多数情况下我会建议你不要使用查询缓存，为什么呢？因为查询缓存往往弊大于利。...如果你还对每个环节的展开细节存有疑问，也不用担心，后续在实战章节中我还会再提到它们。
，像秒杀活动用户会在到点的时间涌入，DB瞬间就接受到一记暴击，hold不住就会宕机，然后影响整个业务； 像这种不是只有查询的操作并且会有高并发的插入或者更新数据的业务，前面提到的通用方案就无法支撑，并发的时候都是直接命中...一级缓存 高并发请求连接缓存服务器超出服务器能够接收的请求连接量，部分用户出现建立连接超时无法读取到数据的问题； 因此需要有个方案当高并发时候时候可以减少命中缓存服务器； 这时候就出现了一级缓存的方案，...，目的是当有高并发请求的时候可以让数据的获取命中到一级缓存，而不用连接缓存nosql数据服务器，减少nosql数据服务器的压力 比如APP首屏商品数据接口，这些数据是公共的不会针对用户自定义，而且这些数据不会频繁的更新...CDN，这样在高并发的时候可以使数据的获取命中在CDN服务器上。...，红包信息等，这些数据都是不会经常变化，并且持久化在数据库中 高并发的情况下直接连接从库做查询操作，多台从库服务器也抗不住这么大量的连接请求数（前面说过，单台数据库服务器允许的最大连接数量是有限的） 那么我们在这种高并发的业务接口要如何设计呢
缓存命中率：由于数组元素在内存中连续存储，可以提高CPU缓存的命中率，而链表节点不连续存储，可能导致CPU缓存的命中率较低，频繁的缓存失效会影响性能。...另外，不管是匿名管道还是命名管道，进程写入的数据都是缓存在内核中，另一个进程读取数据时候自然也是从内核中获取，同时通信数据都遵循先进先出原则，不支持 lseek 之类的文件定位操作。...在Redis集群中，数据被分片存储在多个节点上，每个节点负责存储部分数据，并且集群中的每个节点都可以处理读写操作。Redis集群可以提供更高的性能和扩展性，同时也具有一定的容错能力。...对于读数据，我会选择旁路缓存策略，如果 cache 不命中，会从 db 加载数据到 cache。对于写数据，我会选择更新 db 后，再删除缓存。...消息队列方案 我们可以引入消息队列，将第二个操作（删除缓存）要操作的数据加入到消息队列，由消费者来操作数据。 如果应用删除缓存失败，可以从消息队列中重新读取数据，然后再次删除缓存，这个就是重试机制。
以上例子是一个相对简单的高并发架构，并发量不是很高的情况可以很好的支撑，但是随着业务的壮大，用户并发量增加，我们的架构也会进行不断的优化和演变，比如对业务进行服务化，每个服务有自己的并发架构，自己的均衡服务器...一级缓存 高并发请求连接缓存服务器超出服务器能够接收的请求连接量，部分用户出现建立连接超时无法读取到数据的问题。因此需要有个方案当高并发时候时候可以减少命中缓存服务器。...，具体时间根据业务场景设定，目的是当有高并发请求的时候可以让数据的获取命中到一级缓存，而不用连接缓存NoSQL数据服务器，减少NoSQL数据服务器的压力。...CDN，这样在高并发的时候可以使数据的获取命中在CDN服务器上。...缓存 高并发业务接口多数都是进行业务数据的查询，如：商品列表、商品信息、用户信息、红包信息等，这些数据都是不会经常变化，并且持久化在数据库中 高并发的情况下直接连接从库做查询操作，多台从库服务器也抗不住这么大量的连接请求数
也就是所谓“动态”还是“静态”，并不是说数据本身是否动静，而是数据中是否含有和访问者相关的个性化数据 如何做静态数据缓存 1、应该把静态数据缓存到离用户最近的地方 静态数据就是那些相对不会变化的数据，...应该根据实际情况，把它们尽量缓存到离用户最近的地方 2、静态化改造就是要直接缓存HTTP连接 静态化改造是直接缓存HTTP连接而不是仅仅缓存数据，Web代理服务器根据请求URL，直接取出对应的HTTP响应头和响应体然后直接返回...以Java为例，因为Java系统本身也有其弱点（比如不擅长处理大量连接请求，每个连接消耗的内存较多，Servlet容器解析HTTP协议较慢），所以你可以不在Java层做缓存，而是直接在Web服务器层上做...，可以从以下5个方面来分离出动态内容: URL唯一化: 商品详情系统天然地就可以做到URL唯一化，比如每个商品都由ID来标识，那么http://item.xxx.com/item.htm?...Hash分组越少，缓存的命中率肯定就会越高，但短板是也会使单个商品集中在一个分组中，容易导致Cache被击穿，所以我们应该适当增加多个相同的分组，来平衡访问热点和命中率的问题 这里我给出了实体机单机部署方案的结构图
下面我给出的是 MySQL 的基本架构示意图，从中你可以清楚地看到 SQL 语句在 MySQL 的各个功能模块中的执行过程。 ?...你可以先对每个组件的名字有个印象，接下来我会结合开头提到的那条 SQL 语句，带你走一遍整个执行流程，依次看下每个组件的作用。 连接器 第一步，你会先连接到这个数据库上，这时候接待你的就是连接器。...虽然密码也可以直接跟在 -p 后面写在命令行中，但这样可能会导致你的密码泄露。如果你连的是生产服务器，强烈建议你不要这么做。 连接命令中的 mysql 是客户端工具，用来跟服务端建立连接。...MySQL 拿到一个查询请求后，会先到查询缓存看看，之前是不是执行过这条语句。之前执行过的语句及其结果可能会以 key-value 对的形式，被直接缓存在内存中。...你可以看到，如果查询命中缓存，MySQL 不需要执行后面的复杂操作，就可以直接返回结果，这个效率会很高。 但是大多数情况下我会建议你不要使用查询缓存，为什么呢？因为查询缓存往往弊大于利。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
