◆ 冷热分离 本文讲的第一个场景是冷热分离。简单来说，就是将常用的“热”数据和不常使用的“冷”数据分开存储。 本章要考虑的重点是锁的机制、批量处理以及失败重试的数据一致性问题。这部分内容在实际开发中的“陷阱”还是不少的。 首先介绍一下业务场景。 ◆ 1.1 业务场景：几千万数据量的工单表如何快速优化 这次项目优化的是一个邮件客服系统。它是一个SaaS（通过网络提供软件服务）系统，但是大客户只有两三家，最主要的客户是一家大型媒体集团。 这个系统的主要功能是这样的：它会对接客户的邮件服务器，自动收取发到几个
编辑手记：对于资深的老DBA们，他们在漫长的职业生涯中养成了很多稀奇古怪的守则，以在复杂多变的环境中“幸存”，这源于无数血泪的教训，我曾经在《数据安全警示录》一书收录了大量现实案例，现在整理分享给大家，共为警示。
一、什么是执行计划？ 1）执行计划 执行计划是数据库根据SQL语句和相关表的统计信息作出的一个查询方案，这个方案是由查询优化器自动分析产生的，比如一条SQL语句如果用来从一个 10万条记录的表中查1条记录，那查询优化器会选择“索引查找”方式，如果该表进行了归档，当前只剩下5000条记录了，那查询优化器就会改变方案，采用 “全表扫描”方式。 可见，执行计划并不是固定的，它是“个性化的”。产生一个正确的“执行计划”有两点很重要： a、SQL语句是否清晰地告诉查询优化器它想干什么？ b、查询优化器得
1、使用java的Calendar工具类获取到本月的第一天起始时间和最后一天结束时间。
“增删改查”都是查找问题，因为你都得先找到数据才能对数据做操作。那存储系统性能问题，其实就是查找快慢问题。
该文介绍了Java 8中新的日期时间类，包括LocalDate、LocalTime、LocalDateTime、ZonedDateTime和Instant，以及它们之间的区别和用法。此外还介绍了如何从数据库中查询日期和时间。
当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化： 单表优化 除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量： 字段 尽量使用TINYINT、SMALLINT、MEDIUM_INT作为整数类型而非INT，如果非负则加上UNSIGNED VARCHA
除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量：
时间函数是PHP里面的日常函数，时间的默认时期，今天、昨天、明天 、上一周、下一周，本周开始时间和结束时间；本月开始时间结束时间；上月开始时间结束时间，指定日期的周一和周日等等方法。
1.1 Prometheus踩过的坑 在这里，我们先简单复习一下Prometheus中的数据结构。其为典型的k-v对，k（一般叫Series）由MetricName，Lables，TimeStamp组成，v则是值。 在早期的设计中，相同的Series会按照一定的规则组织起来，同时也会根据时间去组织文件。于是就变成了一个矩阵： 优点是写可以并行写，读也可以并行读（无论是根据条件还是时间段）。但缺点也很明显：首先是查询会变成一个矩阵，这样的设计容易触发随机读写，这无论在HDD还是SSD上都很难受（有兴趣的同学可以看后面的3.2小节）。 于是Prometheus又改进了一版存储。每一个Series一个文件，每个Series的数据在内存里存满1KB往下刷一次。 这样缓解了随机读写的问题，但也带来新的问题：
小史是一个应届生，虽然学的是电子专业，但是自己业余时间看了很多互联网与编程方面的书，一心想进BAT互联网公司。
事情前几天有一个顾问（也可以叫项目经理），在测试库上执行了一条她认为OK 的语句，她的目的是删除表中的数据，而她忘记了测试数据库中的表的量在2千2百万。然后就发生了一些不大让人愿意回忆的事情。MYSQL 的DBER们都懂，并且还KILL 了语句，然后数据库又开始回滚。
常来小杰博客的人可能发现了，最近一段时间小杰并没有新的作品，可能是到了一个瓶颈期了，有很久没有学习新的知识了，前段时间出去散了散心，其实并没有很高兴，可能一个人孤独惯了，教程就是教程，软文就是软文，废话也不多说了，谢谢各位一直在支持小杰的博客。 这次发布是几个月前二次修复的一个蜘蛛记录插件，从建站初期就希望有一个能使用的蜘蛛记录插件，可惜弄了大半年也没找到一个可用的，机缘巧合之下，在官网发现一款蜘蛛记录插件是可以正常记录到库的，但是不能输出，小杰那个时候有一点基础了，所以就把输出搞定了，最后排版和
今天查看两个月前上线的小项目，发现运行非常慢，而且增删改查失效了（吓我一大跳），急急忙忙的就开始了我的线上问题排查之路。
原文出处： mkrecny 译文出处：外刊IT评论 【导读】：前几天的一篇文章《为什么Hacker News昨晚一夜宕机》讲的也是一个低级错误，但那个犯错误的人是老板自己，他在问题未解决前仍然能回家睡觉，但如果你不是老板，而是一个普通员工，而且犯了一个无法饶恕的愚蠢错误，那你知道你的下场吗——死的很惨。 ---- 2010年7月份，我22岁，在加州的一家网游公司工作。我刚毕业，这是我的第一份真正意义上的工作。我有了工资收入，有了自己的宿舍。我感觉长大了，头一次有这样的感觉。 有两个“工程师”在为公司
在数据库运维中， 有一种类型的表需要格外重视，在Oracle中可能是分区表，在MySQL中更多是日期表，其实无论哪种形式，他们的属性是相通的，属于周期表。这里就会涉及两类维护，一类是创建，一类是清理。对于变更来说，其实和其他的表类型是相通的，就此不再赘述。
不过，这个平台到底能开放到什么程度，现在还不好说。 一个月前的上海车展上，百度正式发布阿波罗计划。这个被某些“自媒体”称之为行业核武器的计划，将向汽车行业及自动驾驶领域的合作伙伴提供一个“开放、完整、
之前在A股动量与反转的实证过程中，提到了因子择时和风格轮动的重要性，本篇算是对因子择时的一个小小的尝试，没有什么创新性，只是把现在比较传统的方法都拿来试了一遍，目前没有能力创造方法，只做方法的搬运工。
一个功能完善可以自定义的渗透系统可以帮助你省下很多的时间来思考目标站点的弱点，本文章就是教你怎么搭建一个Web入口的集群式渗透系统。 0×00 介绍 不知道大家在平时渗透中，有没有觉得在自己电脑上进行渗透非常的不方便。需要费一部分的脑力进行窗口切换，结果查看，并且有时还要黏贴到下一个工具进行自动化渗透等等。而我们的电脑本身运算能力有限，带宽有限，稳定性有限，都不能最大程度的加快我们的渗透进程，所以在一个月前，就想搭建一个Web平台的集群渗透系统，把任务下发到服务器去做，我们只要等一段时间浏览下网页看看结果
第一种方法： #!/bin/sh # 备份数据库 # Mysql 用户名密码 MYSQL_USER=root MYSQL_PASS=root BACKUP_DIR=/data/backup/mysql DATA_DIR=/data/backup/dbdata # 查询mysql中所有数据库名字 SQL_STRING="SELECT SCHEMA_NAME AS db FROM information_schema.SCHEMATA WHERE SCHEMA_NAME NOT IN ('mysql
在最近的一个大型项目中，用户提到由我们云提供商进行Oracle数据库的备份、迁移集成工作，是选择用DG、还是RMAN？我们今天来分析一下。
PG 最近的使用中，发现这个数据库确确实实是一个无底洞，东西太多了，但学习一样东西都是通过主干和分支的方式来学习，后续的学习其实有的时候是靠自觉和运气。
我们很高兴向大家宣布，TiDB 6.1 于 6 月 xx 日发布了，这是 TiDB 6 系版本的第一个长期支持版（Long Term Support）。
🪁🍁 希望本文能够给您带来一定的帮助🌸文章粗浅，敬请批评指正！🐅🐾🍁🐥
禁用目录浏览，敏感文件数据禁止放在web目录下面（包括svn，cvs版本控制的文件）
那么，简单地说，Git 究竟是怎样的一个系统呢？ 请注意接下来的内容非常重要，若你理解了 Git 的思想和基本工作原理，用起来就会知其所以然，游刃有余。 在开始学习 Git 的时候，请努力分清你对其它版本管理系统的已有认识，如 Subversion 和 Perforce 等；这么做能帮助你使用工具时避免发生混淆。 Git 在保存和对待各种信息的时候与其它版本控制系统有很大差异，尽管操作起来的命令形式非常相近，理解这些差异将有助于防止你使用中的困惑。
所有数据来自【CSDN指数】 mysql、sqlserver、redis、oracle数据库使用率对比 从以下数据可得，最抢手的数据库依然是【mysql】，但是每年的【11】月份【oracle】的使用率会突然增高，说明很多国有企业年底查数据的时候都会对数据做一次大清洗。总体的【oracle】使用率应该也不低，实际上【mysql】活跃率是最高的。 在【双11】的时候，【Redis】的使用率也高出很多。 超级推荐啊，【CSDN指数】帮助你做未来规划。 目录 最近一个月数据： 最近半年： 最近一年数据：
什么是Git 在Git官网上找到这样一段描述 Git is a free and open source distributed version control system designed to handle everything from small to very large projects with speed and efficiency. 重点是 version control system (VCS)，翻译过来也就是 版本控制系统。（Pycharm中有一个） 关于版本控制 版本控制是一种记
9 月初，我对 python 爬虫 燃起兴趣，但爬取到的数据多通道实时同步读写用文件并不方便，于是开始用起mysql。这篇笔记，我将整理近一个月的实战中最常用到的 mysql 语句，同时也将涉及到如何在python3中与 mysql 实现数据交换。
我们在工作中很容易陷入一个漩涡，那就是因为并发事务选择了关系型数据库，因为关系型选择了MySQL,因为MySQL的业务特点而选择了对事务降维。
GreatSQL 社区成立于 2021 年，由万里数据库发起，致力于通过开放的社区合作，构建国内自主开源数据库版本及开源数据库技术，推动中国开源数据库及应用生态繁荣发展。
今天和大家分享的是前不久老肥我参加的银联商务和华东理工商学院一起举办的智慧支付挑战赛，本次比赛我也是单人参加，最终很高兴收获了一等奖的好成绩。
本文介绍了谷歌相册的人脸识别功能，可自动识别和分类宠物照片。通过使用 TensorFlow 技术，Google Photos 可以自动识别和分类宠物照片，从而方便用户更快捷地管理相册。Google Photos 还提供了智能搜索功能，可以基于时间、地点、场景等关键词进行搜索。
知乎上总看到有人提这个问题， 我想转行，我要学多久才能学会，分享下我到经历，以便你评估一下自身来不来得及，别人是没办法帮你评估的。
假设有三个索引，my-index-001, my-index-002, my-index-003, 全部绑定到别名 my-alias, 并且 my-index-003 设置了 "is_write_index": true。这意味着对 my-alias 查询可以查询到以上所有三个索引的数据，而对 my-alias 写入数据只会写入到 my-index-003。
关系型数据库的事务特性可以帮我们解决很多难题，比如数据的一致性问题，所以常规业务持久化存储都会mysql 来兜底。但mysql 的性能是有限的。当业务规模发展到上百万用户，访问量达到上万QPS时，单台mysql实例很难应付。
在前面的内容中，组了一个2节点的K3S集群，后来我又给集群添加了3个节点，添加集群的过程参考第一篇文章中关于agent节点安装的部分，需要特别注意的是，每个节点别忘了通过命令yum install nfs-utils安装nfs-utils，参考第三篇文章。
六一儿童节，虽然是大家快乐的假期，但是也宣告了2018年进入中场。在DB-Engines的6月排行榜上，不同的数据库产品竞争也进入中场。先预祝大家中场收获满满！
一个管理平台门户网页进统计页面提示请求超时，随进服务器操作系统检查load average超过4负载很大，PID为7163的进程占用到了800%多。
事情是这样的，我负责我司的报表系统，小胖是我小弟。某天他手贱误删了一条生产的数据。被用户在群里疯狂投诉质问，火急火燎的跑来问我怎么办。我特么冷汗都出来了，训斥了他一顿：蠢，蠢得都可以进博物馆了，生产的数据能随便动？
本文是专题的第一篇文章，主要讲解优化数据存储，涉及到锁、批处理、重试机制以及数据一致性等问题。下面 我们就开始吧。
其中current_date获取今天的日期，convert_tz函数对某个时间进行时区转换，比如我们直接current_date获得的是北京时间，如果我们需要转换为UTC的时间，也就是从 ** "+08:00" -> "+00:00" **
TiDB这个词，相信大家或多或少都曾经耳闻过，但是很多人觉得他是分布式数据库，自己的业务是使用mysql，基本使用不上这个技术，可能不会去了解他或不会去深入了解。最近一个月，基于实际业务的应用场景，从测试环境测试基础学习，到生产环境性能压测、高可用测试、故障测试等的学习，到今天TiDB终于完成了线上业务的承接使命，而这一切只是开始，而非终点；
几个月前，WordPress 打算在核心底层直接支持 SQLite，现在可以测试 WordPress SQLite 的实现了，首先说明一下，WordPress 官方目前让测试的实现，并不是做成独立的功能插件，而是作为一个模块整合到 Performance Lab 插件的 1.8.0 版开始。
Swift开源以来就有了许多服务器的框架，以下是目前github上比较热门的服务器框架(页面收集来自awesome-swift)，我对每个开源库按照star进行了排序：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
