前言：当业务数据达到一定量级(比如：mysql单表记录量>1千万)后，通常会考虑“分库分表”将数据分散到不同的库或表中，这样可以大大提高读/写性能。但是问题来了，对于 select * from table limit offset , pagesize 这种分页方式，原来一条语句就可以简单搞定的事情会变得很复杂，本文将与大家一起探讨分库分表后”分页”面临的新问题。
select group_name,max(score) from table group by group_name order by group_name
公司的一个ETL项目，主要是从Blob上的CSV文件和HDFS平台下载数据并解析后入到业务的Mysql,数据量大概一个小时20个文件左右(基本集中到每个小时的50分左右),每个文件8~20万条数据量，分别入到不同的表, 我们在入库的时候是把文件解析后分成1000条一批批量插入(篇幅有限，这里只聊入库的场景)。用的是jdk1.8的Stream.parallel()的方式并发入库。
1. 加大max_length_for_sort_data参数的设置 在MySQL中，排序算法分为两种，一是只加载排序字段到内存，排序完成后再到表中取其他字段，二是加载所有需要的字段到内存，显然第二种节省了IO操作，所以更快 决定使用哪种算法是通过参数max_length_for_sort_data来决定的 当所有返回字段的最大长度小于这个参数值时，MySQL就会选择第二种算法，反之使用第一种。所以，如果有充足的内存让MySQL存放须要返回的非排序字段，就可以加大这个参数的值来让MySQL选择第二种排序算法
随着业务数量的增大，部分批量查询会导致数据库的慢查询（已经增加了索引），比如模糊搜索等，所以准备迁移到ElasticSearch 要求 平滑迁移，不影响用户使用 为了降低风险，接口会逐个切换 减少测试工作量 方案 数据同步方案 使用Flink SQL CDC迁移MYSQL数据到ES 业务升级方案 平行请求再对比: 这样的方式可以减少测试工作量，不需要测试肉眼对比查询结果是否一致 设置不同的工作模式，而且支持动态切换（结合配置中心） MYSQL: 只访问MYSQL, ES: 只访问ES FAST: 两
mysq中有一种机制是表锁定和行锁定，是为了保证数据的完整性。表锁定表示你们都不能对这张表进行操作，必须等我对表操作完才行。行锁定也一样，别的sql必须等我对这条数据操作完了，才能对这条数据进行操作。当出现这种情况时，我们可以考虑分表或分区。
当业务数据达到一定量级(比如：mysql单表记录量>1千万)后，通常会考虑“分库分表”将数据分散到不同的库或表中，这样可以大大提高读/写性能。但是问题来了，对于 select * from table limit offset , pagesize 这种分页方式，原来一条语句就可以简单搞定的事情会变得很复杂，本文将与大家一起探讨分库分表后"分页"面临的新问题。
MyBatis-Plus（简称 MP）是一个 MyBatis 的增强工具，在 MyBatis 的基础上只做增强不做改变，为简化开发、提高效率而生。
之前我们讲过架构设计的一些原则，和架构设计的方法论，今天我们谈谈高性能数据库集群的设计与应用。
简单是最好的策略。 数据服务公司如何构建数据仓库？我曾担任一家平台的实时计算工程师，该平台旨在允许用户搜索公司的业务数据、财务和法律详细信息。已采集300多个维度、3亿+实体信息。我和我的同事的职责是确保这些数据的实时更新，以便我们能够为我们的注册用户提供最新的信息。这就是我们数据仓库面向客户的功能。除此之外，它还需要支持我们内部营销和运营团队的临时查询和用户细分，这是随着我们业务的增长而出现的新需求。
在Java并发场景中，会涉及到各种各样的锁如公平锁，乐观锁，悲观锁等等，这篇文章介绍各种锁的分类：
分区表就是按照某种规则将同一张表的数据分段划分到多个存储位置。对数据的分区存储提高了数据库的性能，被分去存储的数据在物理上是多个文件，但在逻辑上仍然是一个表，对表的任何操作都和没有分区之前一样。在执行增删改查等操作时，数据库会自动通过找到对应的分区，然后执行操作。
上一篇文章，我们介绍了如何使用pyecharts展示带地图的数据分析结果，并且实际绘制了省份图和全国城市图，用于展示数据。本文我们继续来使用pyecharts绘制以地图为基础的图像。
select id,name from product limit 866613, 20
imgurl.org是xiaoz 2017年12月开始运营的一个图床网站，以下简称ImgURL，ImgURL运营期间经历了几次迁移，不过当时数据都还不多，没什么难度。随着时间推移数据量越来越多，至今图片数据已经超过100万张，截至2022.03.29已经达到1176457张图片。
工作一年了，也是第一次使用Mysql的索引。添加了索引之后的速度的提升，让我惊叹不已。隔壁的老员工看到我的大惊小怪，平淡地回了一句“那肯定啊”。
本文介绍用python3的多进程 + 协程处理MySQL的数据，主要逻辑是拉取MySQL的数据，然后使用flashtext匹配关键字，在存回MySQL，代码如下(async_mysql.py)：
MongoDB是NoSQL数据库的典型代表，支持文档结构的存储方式数据存储和使用更为便捷，数据存取效率也很高，但计算能力较弱，实际使用中涉及MongoDB的计算尤其是复杂计算会很麻烦，这就需要具备强计算能力的数据处理引擎与其配合。
稀疏索引的创建过程包括将集合中的元素分段，并给每个分段中的最小元素创建索引。在搜索时，先定位到第一个大于搜索值的索引的前一个索引，然后从该索引所在的分段中从前向后顺序遍历，直到找到该搜索值的元素或第一个大于该搜索值的元素。
因为女票在北京，打算去北京实习，所以从去年12月开始复习Java，做项目，视频是看的黑马的视频，还可以吧，把Java基础和SSM框架看了下，做了个小项目，然后看牛客网的中级项目课，做了一个健身头条项目，接着就是刷题之路，建议把剑指Offer上的题多刷几遍，有能力的可以把LeetCode也刷刷，然后多看一些好的博客，总结的真是超级棒，书籍方面的话，主要是深入理解Java虚拟机，并发编程的艺术或者Java并发编程实战，TCP/IP详解 卷1：协议，Spring源码解析，高性能MySQL，算法，计算机操作系统，计
1.MySQL悲观锁 悲观锁：顾名思义，对待过来的请求持比较悲观的态度，在处理请求的整个过程中，将数据锁定，不允许其他进程/线程 修改
--upgrade=minimal：当MySQL Server指定--upgrade=minimal选项启动时，如果发现需要执行更新，则，在执行升级操作完成之后，可能会导致组复制无法启动，因为minimal选项在执行更新时，只会更新数据字典、information_schema、performance_schema，但不会更新组复制内部所依赖的系统表（--upgrade选项在MySQL 8.0.16版本引入，之后，升级操作将不再需要单独使用mysql_upgrade工具，默认情况下--upgrade选项值为AUTO，表示自动判断是否需要执行完整的更新操作）。
通常我们都把数据存到关系型数据库中，但为了提升应用的性能，我们应该把访频率高且不会经常变动的数据缓存到内存中。Redis 没有像 MySQL 这类关系型数据库那样强大的查询功能，需要考虑如何把关系型数据库中的数据，合理的对应到缓存的 key-value 数据结构中。
本文为《数据密集型应用系统设计》的读书笔记第一部分第三章的笔记整理，也是个人认为的这本书第一部分最重要的内容。本文将会针对目前数据库系统两个主要阵营进行展开，分别是采用日志型存储结构高速读写的LSM-Tree和面向OLTP的事务数据库BTree两种数据结构对比。
为了让一个复制组正常使用消息分段功能，所有组成员必须运行MySQL 8.0.16或以上版本，并且组使用的组复制通信协议版本必须支持消息分段。可以使用group_replication_get_communication_protocol() UDF检查组使用的通信协议版本是多少，UDF 返回版本号字符串代表了组支持的最老的MySQL Server版本。MySQL 5.7.14的版本支持压缩消息，MySQL 8.0.16的版本支持消息分段。如果所有组成员都运行在MySQL 8.0.16以上版本，并且组中不需要运行更低版本的组成员，则可以使用group_replication_set_communication_protocol UDF()来设置通信协议版本为MySQL 8.0.16及其以上，这样就能够确保消息分段功能在组中所有成员上正常运行。有关更多信息，请参见"4.1.4. 设置组的通信协议版本”。
爬取视频的时候发现，现在的视频都是经过加密（m3u8），不再是mp4或者avi链接直接在网页显示，都是经过加密形成ts文件分段进行播放。
（五）进阶技术 16. 分段维度 本篇说明分段维度的实现技术。分段维度包含连续值的分段。例如，年度销售订单分段维度可能包含有叫做“低”、“中”、“高”的三档；各档定义分别为0.01到15000、15000.01到30000.00、30000.01到99999999.99。如果一个客户的年度销售订单金额为10000，则被归为“低”档。 分段维度可以存储多个分段集合。例如，可能有一个用于促销分析的分段集合，另一个用于市场细分，可能还有一个用于销售区域计划。分段一般由用户定义，而且很少能从交易源数据直接获得。本篇要使用（五）进阶技术 10. 多重星型模式的开发经验实现分段维度。 年度销售订单星型模式 本节说明如何实现一个年度订单分段维度。你需要两个新的星型模式，如图（五）- 16-1所示。星型模式的事实表使用（关联到）已有的customer_dim和一个新的year_dim表。年维度是日期维度的子集。annual_customer_segment_fact是唯一用到annual_order_segment_dim表的表。annual_order_segement_dim是分段维度。
https://blog.csdn.net/sufu1065/article/details/88051083
Ping 是Windows自带的一个DOS命令。利用它可以检查网络是否能够连通，用好它可以很好地帮助我们分析判定网络故障。该命令可以加许多参数使用，键入Ping按回车即可看到详细说明。Ping 命令可以用来验证与远程计算机的连接。
恰巧在交流群看到这么一条消息，由于安全意识缺乏，被不法之人黑进了数据库，并且 dump 了数据进行勒索；
Java实用类库提供了一套相当完整的容器来帮助我们解决很多具体问题。因为我本身是一名Android开发者，包括我在内很多安卓开发，最拿手的就是ListView(RecycleView)+BaseAdapter+ArrayList三剑客, 平时接触使用的容器也只有ArrayList和HashMap。导致对于整个Java容器体系的掌握和使用还停留在很浅的层面。省不足而思改进，那么跟着我来总结一下Java容器的相关知识吧。
不管是为了满足业务发展的需要，还是为了提升自己的竞争力，关系数据库厂商（Oracle、DB2、MySQL 等）在优化和提升单个数据库服务器的性能方面也做了非常多的技术优化和改进。但业务发展速度和数据增长速度，远远超出数据库厂商的优化速度，尤其是互联网业务兴起之后，海量用户加上海量数据的特点，单个数据库服务器已经难以满足业务需要，必须考虑数据库集群的方式来提升性能。
需求：在从银行数据库中取出 几十万数据时，需要对 每行数据进行相关操作，通过pandas的dataframe发现数据处理过慢，于是 对数据进行 分段后 通过 线程进行处理；
MySQL对于IN做了相应的优化，即将IN中的常量全部存储在一个数组里面，而且这个数组是排好序的。但是如果数值较多，产生的消耗也是比较大的。再例如：select id from t where num in(1,2,3) 对于连续的数值，能用between就不要用in了；再或者使用连接来替换。
MySQL对于IN做了相应的优化，即将IN中的常量全部存储在一个数组里面，而且这个数组是排好序的。但是如果数值较多，产生的消耗也是比较大的。再例如：select id from table_name where num in(1,2,3) 对于连续的数值，能用 between 就不要用 in 了；再或者使用连接来替换。
简单来说，微服务架构就是把传统的一个单体应用以一套"小服务"的方式进行开发，这些"小服务"可以运行在不同机器上，它们在自己的进程中运行，"小服务"之间可以通过像是 HTTP API 这样的轻量级的机制进行通信,这些"小服务"紧紧围绕项目的业务需求开发，同时，它们是以业务边界进行划分成独立的微服务。这些微服务看似独立又像是一个整体，构成了一个业务集群。
本文我们来谈谈项目中常用的MySQL优化方法，巧用这19条技巧，至少提高3倍效率，具体如下：
本文总结了 19 条关于 MySQL 的优化方案，本文的优化方案都是基于 “ MySQL-索引-BTree 类型 ” 。希望对你有帮助，码字不易，如果觉得有用，感谢分享。
MySQL 对于 IN 做了相应的优化，即将 IN 中的常量全部存储在一个数组里面，而且这个数组是排好序的。
type列，连接类型。一个好的SQL语句至少要达到range级别。杜绝出现all级别。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
