在使用python时，常常会出现Memory Error，主要是由于python不会自动回收内存，造成内存一直占用，可以采取手动释放内存的方法，详见http://blog.csdn.net/nirendao...在使用python将结果输出到文件时，可以采取： 方法一：将结果保存至python的数据结构DataFrame中，最后处理完成后一次性写到输出文件。 ...方法二：一边处理一边写入输出文件。 在数据量较小的情况下可以采用方法一，但是当数据量很大时，方法二比较适合。
前言 目前工作中用到的分布式缓存技术有redis和memcached两种，缓存的目的是为了在高并发系统中有效降低DB的压力，但是在使用的时候可能会因为缓存结构设计不当造成一些问题，这里会把可能遇到的坑整理出来...这种分片方式会导致一个问题，那就是新增或者减少节点后会在一瞬间导致大量key失效，最终导致缓存雪崩的发生，给DB带来巨大压力，所以我们的mc client启用了xmemcached的一致性哈希算法来进行数据分片...B属性的情况，而预发和灰度时，新逻辑需要使用B属性，就会导致生产&预发缓存污染。...这种情况在少量访问时不能算作一个问题，但是当一个热点key失效后，就会发生回源时涌进过多流量，全部打在DB上，这样会导致DB在这一时刻压力剧增。 2. 如何解决缓存击穿？...缓存服务宕机：某一时刻缓存服务器出现大量宕机的情况，导致缓存服务不可用，根据现有的实现，是直接打到DB上的。 2. 如何避免雪崩的发生？
一、nginx缓存的优点 ? 如图所示，nginx缓存，可以在一定程度上，减少源服务器的处理请求压力。 因为静态文件（比如css，js， 图片）中，很多都是不经常更新的。...nginx使用proxy_cache将用户的请求缓存到本地一个目录。下一个相同请求可以直接调取缓存文件，就不用去请求服务器了。 毕竟，IO密集型服务的处理是nginx的强项。...当用户输入http://wangxiaokai.vip域名时，解析得到ip:port的访问地址。port默认为80。所以页面请求会被当前server截取到，进行请求处理。...当解析到上述文件名结尾的静态资源，会到缓存区获取静态资源。 如果获取到对应资源，则直接返回数据。 如果获取不到，则将请求转发给proxy_pass指向的地址进行处理。...四、参考 [1] nginx文档 [2] nginx反向缓存代理详解 [3] Nginx缓存服务器静态文件 五、后记 我的GitHub仓库 Give me a star,if it’s work out
一、nginx缓存的优点 图片 如图所示，nginx缓存，可以在一定程度上，减少源服务器的处理请求压力。 因为静态文件（比如css，js， 图片）中，很多都是不经常更新的。...nginx使用proxy_cache将用户的请求缓存到本地一个目录。下一个相同请求可以直接调取缓存文件，就不用去请求服务器了。 毕竟，IO密集型服务的处理是nginx的强项。...proxy_temp_file_write_size 设置nginx每次写数据到临时文件的size(大小)限制 proxy_temp_path 从后端服务器接收的临时文件的存放路径 proxy_cache_path...当用户输入http://wangxiaokai.vip域名时，解析得到ip:port的访问地址。port默认为80。所以页面请求会被当前server截取到，进行请求处理。...当解析到上述文件名结尾的静态资源，会到缓存区获取静态资源。 如果获取到对应资源，则直接返回数据。 如果获取不到，则将请求转发给proxy_pass指向的地址进行处理。
一、问题现象： 项目中使用 https://github.com/danikula/AndroidVideoCache 作为视频缓存组件，但是在9.0手机上无法正常缓存，并且报错： 1、详细错误截图 ?...但是，在AndroidVideoCache中使用了一个缓存代理地址：http://127.0.0.1，所以，就会报错。...三、解决方案： 解决的基本思路是：对指定的网址进行过滤，强制允许指定网址继续使用http请求 参考地址1： https://stackoverflow.com/questions/45940861/android...在解除上述视频缓存库报错信息时，节点的具体取值如下： 127.0.0.1 如果需要过滤某个地址，则只写域名即可，不需要写... 3、步骤3 在 @david.s'的回答中指出 android:targetSandboxVersion 也可能会导致该问题 - 在 Manifest
背景 如果你的eclipse管理maven依赖时无法搜索出结果？...如我现有一个常用的项目工作空间目录为： /Users/pollyduan/Documents/workspace 工作目录中的仓库index缓存保存在哪里呢？...${basedir}/.metadata/.plugin/org.eclipse.m2e.core/ 在使用一段时间以后，该目录会膨胀的很严重，比如我现在该目录的大小是1.8G。...如果我再创建一个工作空间，如：/Users/pollyduan/Documents/workspace_new，这时候就有问题了，maven编辑pom文件时无法搜索，除非再更新一次index，众所周知这是挺致命的...小结 可以将前面的脚本写成一个公用的脚本，在新的工作空间执行以下。 好在这种事情不是很频繁操作。 附 本地缓存我打包了一份放在云盘里，需要的话自取。
1、简介 TransmittableThreadLocal 是Alibaba开源的、用于解决 “在使用线程池等会缓存线程的组件情况下传递ThreadLocal” 问题的 InheritableThreadLocal...但对于使用线程池等会池化复用线程的组件的情况，线程由线程池创建好，并且线程是池化起来反复使用的；这时父子线程关系的ThreadLocal值传递已经没有意义，应用需要的实际上是把 任务提交给线程池时的ThreadLocal...但对于使用线程池等会池化复用线程的组件的情况，线程由线程池创建好，并且线程是池化起来反复使用的；这时父子线程关系的ThreadLocal值传递已经没有意义，应用需要的实际上是把 任务提交给线程池时的ThreadLocal...TTL从v2.6.0开始，加载TTL Agent会自动把自己的Jar设置到boot class path上。...如果修改了下载的TTL的Jar的文件名（transmittable-thread-local-2.x.x.jar），则需要自己手动通过-Xbootclasspath JVM参数来显式配置： 比如修改文件名成
前言 在研究 『 Spring 是如何解决循环依赖的 』 的时候，了解到 Spring 是借助三级缓存来解决循环依赖的。 同样在上一节留下了疑问： 循环依赖为什么要使用三级缓存？...而不是使用二级缓存？ AOP 动态代理对循环依赖的有没有什么影响？ 本篇文章也是围绕上面的内容进行展开。 笔记也在不断整理，之前可能会有点杂乱。 循序渐进，看一看什么是循环依赖？...B 属性赋值时，从三级缓存获取 A 有时会比较疑惑 singletonFactory.getObject() 调用的是哪里？ ?...这块会获取一个代理对象。 也就是说此时返回，并放到二级缓存的是一个 A 的代理对象。 这样 B 就创建完毕了！ 到 A 开始初始化并执行后置处理器了！...中的 A 赋值时： 无代理：getObject 直接返回原来的 Bean 有代理：getObject 返回的是代理对象 然后都放到二级缓存。
如果将其扩展到多个节点，会发生什么情况？如果请求层扩展到多个节点，那么每个节点仍然有可能拥有自己的缓存。但是，如果负载平衡器在节点间随机分配请求，则相同的请求将转到不同的节点，从而增加缓存未命中。...缓存的数据允许快速检索，而且，由于相同的数据被写入永久存储器，我们将在缓存和存储器之间拥有完全的数据一致性。此外，此方案还确保在发生崩溃、电源故障或其他系统中断时不会丢失任何东西。...对于写密集型应用程序，这会导致低延迟和高吞吐量，但是，在发生崩溃或其他不利事件时，这种速度会带来数据丢失的风险，因为写数据的唯一副本在缓存中。...image.png read-through 读取数据时，先尝试从缓存中取得，如果缓存中没有，那么再从数据库中读取，而后也将数据放入缓存中，以便下次读取。这个也是普遍使用的方案。...4.最近使用（MRU）：与LRU不同的是，首先丢弃最近使用的物品。 5.最少使用频率（LFU）：统计需要某个项目的频率。最不常用的会先被丢弃。
假设当前 ID=2 的行，字段 c 的值是 0，再假设执行 update语句过程中在写完第一个日志后，第二个日志还没有写完期间发生了 crash，会出现什么情况呢？...既然是缓存，就会失效，那查询缓存何时失效呢？MySQL的查询缓存系统会跟踪查询中涉及的每个表，如果这些表（数据或结构）发生变化，那么和这张表相关的所有缓存数据都将失效。...基于此，我们要知道并不是什么情况下查询缓存都会提高系统性能，缓存和失效都会带来额外消耗，只有当缓存带来的资源节约大于其本身消耗的资源时，才会给系统带来性能提升。...在这个过程中可能会出现以下问题: 1.转账操作的第一步执行成功,A账户上的钱减少了100元,但是第二步执行失败或者未执行便发生系统崩溃,导致B账户并没有相应增加100元。...2.转账操作刚完成就发生系统崩溃,系统重启恢复时丢失了崩溃前的转账记录。 3.同时又另一个用户转账给B账户,由于同时对B账户进行操作,导致B账户金额出现异常。
; 如果要将 ID=2 这一行的值加 1，SQL 语句就会这么写： mysql> update T set c=c+1 where ID=2; image.png 在一个表上有更新的时候，跟这个表有关的查询缓存会失效...这也就是我们一般不建议使用查询缓存的原因 查询流程不一样的是，更新流程还涉及两个重要的日志模块: redo log（重做日志）和 binlog（归档日志） redo log InnoDB 的 redo...假设当前 ID=2 的行，字段 c 的值是 0，再假设执行 update 语句过程中在写完第一个日志后，第二个日志还没有写完期间发生了 crash，会出现什么情况呢？...补充理解 1prepare阶段 2写binlog 3commit 当在2之前崩溃时 重启恢复：后发现没有commit，回滚。...崩溃恢复的时候,会按照顺序扫描redo log: 1.如果碰到既有prepare、又有commit的redo log,就直接提交 2.如果碰到只有prepare、而没有commit的redo
所以在使用 RPC 机制时需要考虑自身的业务场景。 8：向不存在的 exchange 发 publish 消息会发生什么？向不存在的 queue 执行consume 动作会发生什么？...虽然都保存到了文件里，但它和持久化消息的区别是，重启后持久化消息会从文件中恢复，非持久化的临时文件会直接删除。 那如果文件增大到达了配置中的最大限制的时候会发生什么？...这些发送的数据都在接收者的缓存里，接收者如果调用 read 方法仍旧能从缓存中读取这些数据，尽管对方已经关闭了连接。但是当接收者尝试发送数据时，由于此时连接已关闭，所以会发生异常，这个很好理解。...这时客户端发出的消息其实还在服务器的缓存里等待处理，不过由于服务器心跳包的设置，导致发生了 java.net.SocketException 异常，把缓存里的数据作废了，没处理的消息全部丢失。...但是如果消费者既不消费确认，又不崩溃，那这些消息就永远躺在消费者的缓存区里无法处理。
那什么情况下会造成 JVM 崩溃呢，有哪几种类型的崩溃呢？俗话说，知己知彼，方能百战不殆。了解了发生崩溃的原因，才能更好的解决 JVM 崩溃问题。...发生堆内存溢出的根本原因就是使用中的对象大小超过了堆内存大小。 堆内存空间设置的太小，要根据预估的实际使用堆大小合理的设置堆空间设置。...程序有漏洞导致，某些静态变量持续的增大，例如缓存数据错误的初始化，导致缓存无止境的增加，最终导致堆内存溢出。针对这种情况，恐怕没什么好方法，除了做好测试之外，就是在问题发生后做好日志分析。...所以，在出现系统内存占用过大的情况时，排查堆栈无果后，可以看一下堆外内存的使用情况，看看是不是堆外内存溢出了。...另外，垃圾收集日志一定要有保留，还有就是发生内存溢出时要保存 dump 文件。
据我理解，按照标准当浏览器请求manifest文件时，若没有请求到，或者文件发生改变，应当不使用缓存，进行缓存更新的，然而实验的结果并不总是这样。...再次请求时抓包如下图，发现请求appcache文件后，尽管百度返回了302的错误页，但是浏览器没有跳转，仍然保持了离线缓存的页面，实现了缓存中毒的效果。...由于在请求appcache时会返回404 not found，浏览器更新了页面，没有使用缓存（貌似会使用缓存一段时间，没懂什么情况）。...个人认为，对于类似百度网站这样的服务器设置，会导致缓存攻击成功，感觉是浏览器实现时的一个bug。如果支付宝https能被离线缓存攻击，那么危害性还是很大的。...另外，当访问过https的一个域名时，浏览器firefox会默认访问https，而不能访问http，这可以在浏览器的站点设置那里删除记录。实验时特别注意dns缓存和浏览器本身缓存的影响。
使用复合索引时没有遵循最左匹配原则 ref:这个连接类型只有在查询使用了不是惟一或主键的键或者是这些类型的部分（比如，利用最左边前缀）时发生。...既然是缓存，就会失效，那查询缓存何时失效呢？MySQL的查询缓存系统会跟踪查询中涉及的每个表，如果这些表（数据或结构）发生变化，那么和这张表相关的所有缓存数据都将失效。...基于此，我们要知道并不是什么情况下查询缓存都会提高系统性能，缓存和失效都会带来额外消耗，只有当缓存带来的资源节约大于其本身消耗的资源时，才会给系统带来性能提升。...file，便于管理员查看以及监控 innodb_status_file = 1 #当设置为0，该模式速度最快，但不太安全，mysqld进程的崩溃会导致上一秒钟所有事务数据的丢失。...回写式（Write Back）：当有数据要写入数据库时，只会更新缓存，然后异步批量的将缓存数据同步到数据库上。这种实现比较复杂，需要较多的应用逻辑，同时可能会产生数据库与缓存的不同步，但效率非常高。
解释一下Frangipani服务负责实现文件系统逻辑的含义: Frangipani服务通过Write-Back缓存来管理文件数据信息，这意味着我们对文件的所有修改操作都是发生在缓存中的，比如创建文件时，...同时，其他的客户端还在使用文件系统。那么，客户端在执行操作的过程中的崩溃，最好不要损坏其他人同样会使用的文件系统。...这意味着如果发生了故障，那么发生故障时可能会有这几种场景： 要么客户端正在向Petal写入Log，所以这个时候客户端必然还没有向Petal写入任何文件或者目录。...这意味着，当客户端2执行恢复，查看崩溃了的客户端的Log时，发现里面没有任何信息，自然也就不会做任何操作。之后客户端2会释放客户端1所持有的锁。...这就是当在向Petal写入Log时，发生了故障的修复过程。 另一个有趣的可能是，客户端1在写入Log之后，并且在写入块数据的过程中崩溃了。
当 buffer pool 中的数据还没有写入到磁盘中时，发生了宕机，当 mysql 重启时，会读取已经持久化 redo log 中的数据，再恢复到 buffer pool 中。...在开启事务准备更新一条记录时，InnoDB 会先在 buffer pool 中更新数据，然后将更新后的数据记录到 redo log buffer 中，这也是一个缓存。...当然这个时候也是会发生宕机，但是没关系，如果该部分数据丢失，则认为该次事务提交失败，数据会恢复到之前的状态。...” 逻辑 log，给 ID=2 这一行的 c 字段加 1 写入 循环写入 追加写，写到一定大小切换下一个文件继续写 应用 崩溃恢复(crash-safe) 主从同步，数据恢复 两阶段提交 为什么需要两阶段提交...因为 redo log 没写完，所以该事务没有生效，但是 binlog 中已经有该条记录，所以使用 bin log 时，会多出一个事务，与原来的数据不一致。 所以使用两阶段提交可以解决上面两种场景。
事务隔离级别，每个级别会引发什么问题，MySQL 默认是哪个级别？. 3.MySQL 常见的三种存储引擎（InnoDB、MyISAM、MEMORY）的区别？...10.有哪些锁（乐观锁悲观锁），select 时怎么加排它锁？ ?...Redis缓存 1.为什么要用 redis /为什么要用缓存 2.redis 和 memcached 的区别 3.redis 常见数据结构以及使用场景分析 4.redis 设置过期时间 5.redis...7.Spring Boot 的核心配置文件有哪几个？它们的区别是什么？ 8.Spring Boot 的核心注解是哪个？它主要由哪几个注解组成的？ 9.Spring Boot 中的监视器是什么？...RabbitMQ 集群中唯一一个磁盘节点崩溃了会发生什么情况？ ?
由于接下来要在perfect-ssm项目中引入缓存模块，恰好在翻看日记时看到了这次事故的记录，因此整理了这篇文章，根据事件发生时的日记来回顾一下这次事件，通过这次数据库事故的真实案例及后续的事故处理作为引子来讲讲缓存...，为什么要这么做呢，因为我觉得网上关于缓存使用的重要性和必要性的文章已经很多了，一个又一个的原因及使用缓存的益处都写的很清晰，我再去写一遍有些多余，不如通过这种亲身经历的案例来得好。...虽然当时也知道缓存的重要性，也想去在项目中使用，但是由于当时太菜了也不知道怎么去在项目中整合缓存，所以使用缓存的事情就一拖再拖，而这次事件及后续的处理也是我第一次在项目开发中使用缓存，这也是为什么我选择使用这篇日记来写这篇文章并作为缓存接入的引子...看到这里肯定有很多朋友会问，你们网站是怎么做的，一入库就会崩溃，那还玩什么啊？...而这次事故的发生就是这么巧合，因为仓管后台刚做了改版不久，加了一些功能，原来比较稳定的功能被要求修改，主要原因在于这次更新后的页面设计以及对应的sql语句问题，与数据库的配置没有特别大的联系，当然，数据库配置高的话可能这个事故的发生会晚一些
· 禁用fsync通常可以提高性能，但在发生电源故障或系统崩溃时可能会导致数据丢失。 · 从外部数据重新创建整个数据库，则建议停用fsync。...在服务器崩溃的情况下，即使客户端在提交时收到成功消息，数据也可能丢失。在这种情况下，事务提交非常快，因为它不会等待刷新WAL文件，但可靠性受到损害。...高频率的检查点可能会影响性能。实例崩溃的机率与长时间运行的性能相比，实例崩溃所占的比重要小的多，该值设置为实例崩溃后客户允许恢复的时间。 · 检查点进程将数据刷新到数据文件中。...· 发生CHECKPOINT时完成此活动。这是一项昂贵的操作，可能会导致大量的IO。 整个过程涉及昂贵的磁盘读/写操作。...· 控制每次检查点发生时i/o的吞吐量，值越高，则i/o占用的资源越少，数据库性能越好;值越低，则i/o占用的资源越多，影响数据库性能，但是提高检查点完成速度。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
