本文为《数据密集型应用系统设计》的读书笔记第一部分第三章的笔记整理，也是个人认为的这本书第一部分最重要的内容。本文将会针对目前数据库系统两个主要阵营进行展开，分别是采用日志型存储结构高速读写的LSM-Tree和面向OLTP的事务数据库BTree两种数据结构对比。
稀疏索引的创建过程包括将集合中的元素分段，并给每个分段中的最小元素创建索引。在搜索时，先定位到第一个大于搜索值的索引的前一个索引，然后从该索引所在的分段中从前向后顺序遍历，直到找到该搜索值的元素或第一个大于该搜索值的元素。
在一次和技术大佬的聊天中被问到，平时我是怎么做Mysql的优化的？在这个问题上我只回答出了几点，感觉回答的不够完美，所以我打算整理一次SQL的优化问题。
1.HashMap存储键值对实现快速存取，允许为null。key值不可重复，若key值重复则覆盖。
总结：最主要的优化策略还是索引优化和SQL优化，之后就是再调整下Mysql的配置参数，想读写分离、分库分表在系统架构设计的时候就需要确定，后续变更的成本太高。
---- 文章来源：https://c1n.cn/tEsnA 前言 在应用开发的早期，数据量少，开发人员开发功能时更重视功能上的实现，随着生产数据的增长，很多 SQL 语句开始暴露出性能问题，对生产的影响也越来越大，有时可能这些有问题的 SQL 就是整个系统性能的瓶颈。 SQL 优化一般步骤 | 通过慢查日志等定位那些执行效率较低的 SQL 语句 | explain 分析SQL的执行计划 需要重点关注 type、rows、filtered、extra。 type 由上至下，效率越来越高： ALL 全表扫描
虽然上至下，效率越来越高，但是根据cost模型，假设有两个索引idx1(a, b, c),idx2(a, c)，SQL为select * from t where a = 1 and b in (1, 2) order by c;如果走idx1，那么是type为range，如果走idx2，那么type是ref；当需要扫描的行数，使用idx2大约是idx1的5倍以上时，会用idx1，否则会用idx2
在应用开发的早期，数据量少，开发人员开发功能时更重视功能上的实现，随着生产数据的增长，很多 SQL 语句开始暴露出性能问题，对生产的影响也越来越大，有时可能这些有问题的 SQL 就是整个系统性能的瓶颈。
10. HashMap 和 Concurrentmap 区别10. HashMap 和 Concurrentmap 区别
哈喽，小伙伴们好呀，我是狗哥。我们在应用开发的早期，数据量少，开发人员开发功能时更重视功能上的实现，随着生产数据的增长，很多 SQL 语句开始暴露出性能问题，对生产的影响也越来越大，有时可能这些有问题的 SQL 就是整个系统性能的瓶颈。
3、show profile 分析 了解SQL执行的线程的状态及消耗的时间。 默认是关闭的，开启语句“set profiling = 1;” SHOW PROFILES ; SHOW PROFILE FOR QUERY #{id}; 4、trace trace分析优化器如何选择执行计划，通过trace文件能够进一步了解为什么优惠券选择A执行计划而不选择B执行计划。 set optimizer_trace="enabled=on"; set optimizer_trace_max_mem_size=1000000; select * from information_schema.optimizer_trace; 5、确定问题并采用相应的措施
图中，紫色部分即代表哈希表，也称为哈希数组（默认数组大小是16，每对key-value键值对其实是存在map的内部类entry里的），数组的每个元素都是一个单链表的头节点，跟着的绿色链表是用来解决冲突的，如果不同的key映射到了数组的同一位置处，就会采用头插法将其放入单链表中。
"微分段"的英文为micro segmentation，英语好的同学会发现，micro是macro的反义词。
点击关注公众号，Java干货及时送达 作者：狼爷 来源：www.cnblogs.com/powercto/p/14410128.html 一、前言 在应用开发的早期，数据量少，开发人员开发功能时更重视功能上的实现，随着生产数据的增长，很多SQL语句开始暴露出性能问题，对生产的影响也越来越大，有时可能这些有问题的SQL就是整个系统性能的瓶颈。 二、SQL优化一般步骤 1、通过慢查日志等定位那些执行效率较低的SQL语句 2、explain 分析SQL的执行计划 需要重点关注type、rows、filtere
在应用开发的早期，数据量少，开发人员开发功能时更重视功能上的实现，随着生产数据的增长，很多SQL语句开始暴露出性能问题，对生产的影响也越来越大，有时可能这些有问题的SQL就是整个系统性能的瓶颈。
在 Kafka 的日志管理器中会有一个专门的日志删除任务来周期性地检测和删除不符合保留条件的日志分段文件，这个周期可以通过 broker 端参数 log.retention.check.interval.ms 来配置，默认值为300000，即5分钟。当前日志分段的保留策略有3种：
微信公众号：码农编程进阶笔记 关注可获得更多的视频教程及面试技巧。问题或建议，请公众号留言!
很多数据仓库产品都采用了列式存储。如果数据表的总列数很多而计算涉及的列很少，采用列存就只读取需要的列即可，能够减少硬盘访问量，提高性能。
Kafka作为一个消息中间件(后面Kafka逐渐转向一个流失处理平台KafkaStream)，消息最终的存储都落在日志中。
前言 使用Linux主机也有一段时间，常常会监测某一个端口是否已经开启了、或者某一个端口被哪一个程序占用了，然而今天就系统整理一下，Share～ ---- 端口类型 说点理论的的东西，额～Unix/Linux服务器的类型有哪些呢？按照端口的分段基本可以分成三大类型： 公认端口（Well Known Port） 公认端口号从0到1023，它们紧密绑定与一些常见服务，例如FTP服务使用端口21、HTTP服务使用端口80 注册端口（Registered Ports) 注册端口一般从1024到49151，它
今天这篇文章，我就先跟你说说join语句到底是怎么执行的，然后再来回答这两个问题。
Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partition的关系。
前言 在应用开发的早期，数据量少，开发人员开发功能时更重视功能上的实现，随着生产数据的增长，很多SQL语句开始暴露出性能问题，对生产的影响也越来越大，有时可能这些有问题的SQL就是整个系统性能的瓶颈。 SQL优化一般步骤 1、通过慢查日志等定位那些执行效率较低的SQL语句 2、explain 分析SQL的执行计划 需要重点关注type、rows、filtered、extra。 type由上至下，效率越来越高 ALL 全表扫描 index 索引全扫描 range 索引范围扫描，常用语<,<=,>=,betwe
如上图所示、kafka 中消息是以主题 topic 为基本单位进行归类的，这里的 topic 是逻辑上的概念，实际上在磁盘存储是根据分区存储的，每个主题可以分为多个分区、分区的数量可以在主题创建的时候进行指定。例如下面 kafka 命令创建了一个 topic 为 test 的主题、该主题下有 4 个分区、每个分区有两个副本保证高可用。
因为女票在北京，打算去北京实习，所以从去年12月开始复习Java，做项目，视频是看的黑马的视频，还可以吧，把Java基础和SSM框架看了下，做了个小项目，然后看牛客网的中级项目课，做了一个健身头条项目，接着就是刷题之路，建议把剑指Offer上的题多刷几遍，有能力的可以把LeetCode也刷刷，然后多看一些好的博客，总结的真是超级棒，书籍方面的话，主要是深入理解Java虚拟机，并发编程的艺术或者Java并发编程实战，TCP/IP详解 卷1：协议，Spring源码解析，高性能MySQL，算法，计算机操作系统，计
数据分段&分组是一个非常常规的数据操作，但是分组组数比较多的时候就容易写IF嵌套套晕自己，不妨试试lookup函数，说不定有奇效哦~
kafka 使用日志文件的方式来保存生产者和发送者的消息，每条消息都有一个 offset 值来表示它在分区中的偏移量。Kafka 中存储的一般都是海量的消息数据，为了避免日志文件过大，一个分片并不是直接对应在一个磁盘上的日志文件，而是对应磁盘上的一个目录，这个目录的命名规则是_。 比如创建一个名为firstTopic的topic，其中有3个partition，那么在 kafka 的数据目录（/tmp/kafka-log）中就有 3 个目录，firstTopic_0~3 多个分区在集群中多个broker上的分配方法
Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建top
ES提供的批量（bulk）API，可以用来一次索引多篇文档，从而大幅加快索引速度。如图1所示，可以使用http完成这个操作，并且将获得包含全部索引请求结果的答复。
MongoDB是NoSQL数据库的典型代表，支持文档结构的存储方式数据存储和使用更为便捷，数据存取效率也很高，但计算能力较弱，实际使用中涉及MongoDB的计算尤其是复杂计算会很麻烦，这就需要具备强计算能力的数据处理引擎与其配合。
1. 加大max_length_for_sort_data参数的设置 在MySQL中，排序算法分为两种，一是只加载排序字段到内存，排序完成后再到表中取其他字段，二是加载所有需要的字段到内存，显然第二种节省了IO操作，所以更快 决定使用哪种算法是通过参数max_length_for_sort_data来决定的 当所有返回字段的最大长度小于这个参数值时，MySQL就会选择第二种算法，反之使用第一种。所以，如果有充足的内存让MySQL存放须要返回的非排序字段，就可以加大这个参数的值来让MySQL选择第二种排序算法
这道理放在编程上也一并受用。在编程方面有着天赋异禀的人毕竟是少数，我们大多数人想要从编程小白进阶到高手，需要经历的是日积月累的学习，那么如何学习呢？当然是每天都练习一道题目！！
每当我们遇到数据库查询耗时过长，总会第一时间想到，在经常使用的条件上添加索引。我们知道索引会帮我们更快地查询到想要的数据，但是我们真的清楚究竟什么是索引，为什么索引能帮我们将查询时间缩短十倍百倍甚至更多吗？接下来请大家根据下文，一起深入索引的世界吧。
一 简介 偏向于业务的(MySQL)DBA或者业务的开发者来说，order by 排序是一个常见的业务功能，将结果根据指定的字段排序，满足前端展示的需求。然而排序操作也是经常出现慢查询排行榜的座上宾。本文将从原理和实际案例优化，order by 使用限制等几个方面来逐步了解order by 排序。
循环冗余码校验（CRC）是一种众所周知的错误检测代码，已广泛用于以太网，PCIe和其他传输协议中。现有的基于FPGA的实现解决方案在高性能场景中会遇到资源过度利用的问题。填充零问题和可编程性的引入进一步加剧了这个问题。在本文中，提出了stride-by-5算法，以实现FPGA资源的最佳利用。提出了pipelining go back算法来解决填充零问题。提出了使用HWICAP进行重编程的方法，以实现资源占用少且恒定的可编程性。实验结果表明，所提出的非分段架构的资源利用率与两种基于FPGA的最新CRC实现相比，降低80.7％-87.5％和25.1％-46.2%，并且所提出的分段架构具有比两种最新状态更低的资源利用率，分别降低了81.7％-85.9％和2.9％-20.8％艺术建筑。此外，保证了吞吐量和可编程性。源代码已在GitHub开源。
三大范式的作用是为了控制数据库的冗余，是对空间的节省，实际上，一般互联网公司的设计都是反范式的，通过冗余一些数据，避免跨表跨库，利用空间换时间，提高性能。
搜狐视频P2P客户端并非单纯的只走P2P的客户端，由于需要向播放器提供数据，并且P2P通道质量的不确定性，需要使用CDN来弥补数据，因此产生了节约比这个指标。节约比，又叫分享率，从微观上来讲就是在一次播放中，通过P2P下载的媒体数据占据总数据量(P2P+CDN)的比例，宏观上指在一段时间内P2P系统提供的带宽占据视频网站总可用带宽(P2P+CDN)的比例。对播放器来说，比较重要的指标是流畅率，流畅率往往和节约比是相互制约的关系，播放器P2P客户端的一个重要任务就是寻找一个兼顾流畅率和节约比的平衡点。
一直以来，TiDB 的数据访问热点问题，是用户比较关注的问题。为什么这个问题如此突出呢？这其实是“分布式”带来的结构效应。单机数据库由于只有一个节点，是不存在热点问题的(因为性能的上限就是单机的处理能力)，而分布式数据库集群存在多个节点，在达到存储扩展、读写能力扩展的目的上，我们希望大量的读写压力能够平摊在每个节点上，TiDB 也一直在朝着这个目标靠近。
就是把一张表的数据分成N个区块，在逻辑上看最终只是一张表，但底层是由N个物理区块组成的
给定一个非负整数数组和一个整数 m，你需要将这个数组分成 m 个非空的连续子数组。设计一个算法使得这 m 个子数组各自和的最大值最小。
我们知道哈希表是一种非常高效的数据结构，设计优良的哈希函数可以使其上的增删改查操作达到 O (1) 级别。Java 为我们提供了一个现成的哈希结构，那就是 HashMap 类，在前面的文章中我曾经介绍过 HashMap 类，知道它的所有方法都未进行同步，因此在多线程环境中是不安全的。为此，Java 为我们提供了另外一个 HashTable 类，它对于多线程同步的处理非常简单粗暴，那就是在 HashMap 的基础上对其所有方法都使用 synchronized 关键字进行加锁。
在 JDK 7 和 JDK 8 中，HashMap 在处理哈希冲突和内部结构上有一些区别：
写在前面：2020年面试必备的Java后端进阶面试题总结了一份复习指南在Github上，内容详细，图文并茂，有需要学习的朋友可以Star一下！ GitHub地址：https://github.com/abel-max/Java-Study-Note/tree/master
内存管理的必要性 很早之前计算机只能运行单个进程，就算运行批处理程序，也是棑好对，一个一个的进行处理，不存在多个进程并发运行，这时候内核对于内存管理相对比较简单，直接把物理内存地址拿过来是使用即可。 随着计算机演进，支持多进程的OS,多个进程都都使用同一个物理地址空间，很容易多个进程之间相互干扰而引起进程的不可预期的行为。为了解决这个问题，CPU中的MMU(内存管理单元)引入了虚拟地址空间。以32位操作系统经为例，每个进程都可以拥有4G的寻址空间，当进程需要内存时候，通过转换技术和虚拟地址进行关联。MMU通
工作一年了，也是第一次使用Mysql的索引。添加了索引之后的速度的提升，让我惊叹不已。隔壁的老员工看到我的大惊小怪，平淡地回了一句“那肯定啊”。
HashMap、CurrentHashMap 的实现原理基本都是BAT面试必考内容，阿里P8架构师谈：深入探讨HashMap的底层结构、原理、扩容机制深入谈过hashmap的实现原理以及在JDK 1.8的实现区别，今天主要谈CurrentHashMap的实现原理，以及在JDK1.7和1.8的区别。 哈希表
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
