首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

NameNode 用了什么神秘技术来支撑元数据百万并发读写的

所以一个关键的问题来了,NameNode 是用了什么神秘的技术,在保证自身高可用的同时,还能承担巨额的读写请求?...(为什么一般不用偶数个呢?因为 3 个节点构成的集群,可以容忍挂掉一台机器;而 4 个节点构成的集群,也只能容忍挂掉一台机器。同样是只能挂掉一台,为何不选 3 个节点的呢,还能节省资源)。...所以这里 NameNode 引入了一个技术,也是本篇文章的重点:双缓冲技术。 双缓冲的设计理念如下图: image.png 客户端不是直接写磁盘,而是往一个内存结构(Buffer1)里面写数据。...下面的代码是我从 Hadoop 源码里抽离出来的关键实现: package org.apache.hadoop; import java.util.LinkedList; public class...这短短的几十行代码,可谓综合利用了多线程高并发的知识,耐人寻味。

58940

物联网中使用了哪些技术

没有我们周围无数的物联网技术,这些梦想永远不会实现。 IoT技术的炒作到底是什么? 自20世纪中期以来,计算机技术一直伴随着我们。...物联网技术什么组成? 考虑到物联网技术的多样性和数量众多的技术解决方案,如果你想在物联网技术迷宫中找到出路,这可能是一项艰巨的任务。...然而,为了简单起见,我们可以将物联网技术堆栈分解为4个基本技术层,这些技术层涉及到使物联网工作。这些是: 设备硬件 设备是实际上构成物联网中“事物”的对象。...考虑到通信标准和协议的这种多样性和多样性,人们可能会提出一个关于开发新解决方案的实际需求的问题,同时已经使用了数十年的久经考验的Internet协议。...因此,真正的问题不应该是什么时候发生,而应该在保持安全性和成本效益等关键功能的同时,如何进行连接以实现尽可能高的效率。

1K20

使用了零拷贝技术的Kafka,当然很快

但是vSDO性能这么优良,无论什么情况下都使用vSDO可以么。当然不行。...使用软件中断触发的系统调用需要保存堆栈和返回地址等信息,还要在中断描述表中查找系统调用的响应函数,虽然多数的操作系统不会使用 INT 0x80 触发系统调用,但是在一些特殊场景下,我们仍然需要利用这一古老的技术...哪些地方用到了零拷贝技术 说了这么多,你可能会觉得我说的太理论,太抽象。这个技术实际哪里有用到呢? Kafka Kafka之所以支持高吞吐量的文件传输很大一个原因就是使用了零拷贝。...Netty Netty中也使用了零拷贝技术,不过这里的零拷贝技术是基于用户层面的。...Java NIO 中的零拷贝 - MappedByteBuffer MappedByteBuffer 是 NIO 基于内存映射 (mmap) 这种零拷贝方式的提供的一种实现,它继承自 ByteBuffer

44910

什么我使用了索引,查询还是慢?

作者 | 张飞洪 来源 | cnblogs.com/jackyfei/p/12122767.html 经常有同学问我,我的一个SQL语句使用了索引,为什么还是会进入到慢查询之中呢?... (图二) explain select a from t;的KEY结果是a,表示使用了a这个索引。  ...换句话来说,使用了索引你的语句可能依然会很慢。 全索引扫描的不足 那如果我们在更深层次的看这个问题,其实他还潜藏了一个问题需要澄清,就是什么叫做使用了索引。...他表示的意思是,我们使用了索引的快速搜索功能,并且有效的减少了扫描行数。 索引的过滤性要足够好 根据以上解剖,我们知道全索引扫描会让查询变慢,接下来就要来谈谈索引的过滤性。...往期推荐 10个你可能不曾用过却很有用的 LINUX 命令 分享一个Java开发都用得到的密码摘要算法包 程序员编码时都戴耳机?到底在听什么

19510

什么我使用了索引,查询还是慢?

2020年Java原创面试题库连载中 【000期】Java最全面试题库思维导图 【020期】JavaSE系列面试题汇总(共18篇) 【028期】JavaWeb系列面试题汇总(共10篇) 【042期...本文来源: cnblogs.com/jackyfei/p/12122767.html 经常有朋友问到:我的一个SQL语句使用了索引,为什么还是会进入到慢查询之中呢?...换句话来说,使用了索引你的语句可能依然会很慢。 全索引扫描的不足 那如果我们在更深层次的看这个问题,其实他还潜藏了一个问题需要澄清,就是什么叫做使用了索引。...之前,给大家发过三份Java面试宝典,这次新增了一份,目前总共是四份面试宝典,相信在跳槽前一个月按照面试宝典准备准备,基本没大问题。...《java面试宝典5.0》(初中级)《350道Java面试题:整理自100+公司》(中高级)《资深java面试宝典-视频版》(资深)《Java[BAT]面试必备》(资深)分别适用于初中级,中高级,资深级工程师的面试复习

49520

MySQL 不同隔离级别,都使用了什么锁?

今天,就让我带着大家来聊聊不同隔离级别下,都会使用什么锁!...接下来,我们一个个来看看:不同事务隔离级别,都使用了哪些锁来实现。 读未提交 首先,我们创建一个 price_test 表并插入一些测试数据。...总结一下:在「可重复读」隔离级别下,使用了记录锁、间隙锁、Next-Key 锁三种类型的锁。...总结 看到这里,我想我们可以对文章开头提出的问题做个解答了:MySQL 不同隔离级别,都使用了什么样的锁?...今天我们是从隔离级别这个角度来看锁的应用,但什么时候会用上记录锁?什么时候会用上间隙锁?后面有机会,我们将聊聊这部分的问题。 如果你喜欢今天的文章,那么请一键三连支持我哦!

84511

用了这个 Java 小工具,我废了

Hutool 是什么? Hutool 是一个开源的 Java 工具包类库,对文件、流、加密解密、转码、正则、线程、XML 等 JDK 方法进行封装,组成各种 Util 工具类。...Hutool 官网:https://hutool.cn/ GitHub 地址:https://github.com/looly/hutool 为什么用 Hutool?...而 Hutool 是一个小而全的 Java 工具类库,有各种各样的工具,基本可以满足我们所有的业务诉求。...Hutool 通过静态方法封装,能够降低相关 API 的学习成本,提高工作效率,使 Java 拥有函数式语言般的优雅,让 Java 语言也可以“甜甜的”。...使得它涵盖了Java 开发底层代码中的方方面面,既是大型项目开发中解决小问题的利器,也是小型项目中的效率担当。

66120

什么我使用了索引,查询还是慢?

[图片] 原文链接cnblogs.com/jackyfei/p/12122767.html 经常有同学疑问,为什么有时候一个SQL语句使用了索引,为什么还是会进入到慢查询之中呢?...[图片] (图二) explain select a from t;的KEY结果是a,表示使用了a这个索引。...换句话来说,使用了索引你的语句可能依然会很慢。 全索引扫描的不足 ------------ 那如果我们在更深层次的看这个问题,其实他还潜藏了一个问题需要澄清,就是什么叫做使用了索引。...如图所示: [图片] 可以看到数据都放在主键索引上,如果从逻辑上说,所有的InnoDB表上的查询,都至少用了一个索引,所以现在我问你一个问题,如果你执行select from t where id>0,...他表示的意思是,我们使用了索引的快速搜索功能,并且有效的减少了扫描行数。

78741

什么我使用了索引,查询还是慢?

经常有同学问我,我的一个SQL语句使用了索引,为什么还是会进入到慢查询之中呢?今天我们就从这个问题开始来聊一聊索引和慢查询。...(图一) explain select * from t where id=2;的KEY结果是PRIMARY,就是我们常说的使用了主键索引 ?...(图二) explain select a from t;的KEY结果是a,表示使用了a这个索引。 ? (图三) 虽然后两个查询的KEY都不是NULL,但是最后一个实际上扫描了整个索引树a。...换句话来说,使用了索引你的语句可能依然会很慢。 全索引扫描的不足 那如果我们在更深层次的看这个问题,其实他还潜藏了一个问题需要澄清,就是什么叫做使用了索引。...他表示的意思是,我们使用了索引的快速搜索功能,并且有效的减少了扫描行数。 索引的过滤性要足够好 根据以上解剖,我们知道全索引扫描会让查询变慢,接下来就要来谈谈索引的过滤性。

2.2K40

每秒处理10万张图片 imgix用了哪些技术

提供了实时的图片处理和传输服务 典型需求示例 一个图片在不同设备中需要有不同的显示尺寸,如果网站自己处理会很麻烦,交给 imgix 则非常简单 通过一个 URL API,imgix就知道要对哪张图片做什么处理...w=600&exp=1 就是处理 desk.jpg 这张图片,把宽度缩放到600,曝光度的值设为1 所以,在不同场景需要不同的图片效果时,只需要设置相应的 URL 参数即可 技术挑战 imgix 的图片处理能力非常强...Amazon 的弹性云计算 Ec2 之上,后来随着用户的增加,性能问题突显,如果基于云服务进行系统扩展,imgx 认为以后会更加痛苦,所以决定构建自己的处理中心 图片处理是 imgix 的根本,经过调研,最后采用了苹果的...Graphics 框架作为基础 Core Graphics 基于高级的绘制引擎,提供了轻量级的底层渲染能力,可以处理基于路径的绘制、图片转换、色彩管理、幕后渲染、图片数据管理 等等复杂的操作 苹果是图像处理的专家,技术用了苹果的...Lua) 开发,单机可以每秒处理4万请求,以前不是使用 LuaJIT,使用的是 Python,转到 LuaJIT 后,发现性能提升了20倍 图片处理服务是 imgix 打磨最多的服务,硬件使用苹果机器,技术使用

1.5K70

识图搜索是什么意思?识图搜索是采用了什么原理?

不仅仅丰富了人们的休闲娱乐活动,而且还方便了平时的工作,有些时候大家如果对一样东西不太了解的话,就可以通过搜索引擎获得相关的知识,无论是工作生活中遇到的问题还是遇到不懂的知识都可以通过搜索获得结果,搜索引擎的技术水平也是不断提升的...,在以前搜索出来的结果比较少而且能搜索的类别也很少,现在的搜索引擎变得更加的强大,还可以对于图片进行搜索,那么识图搜索是什么意思?...识图搜索是采用了什么原理?小面小编就为大家来详细介绍一下。 image.png 一、识图搜索是什么意思?...二、识图搜索是采用了什么原理? 识图搜索相信大家都是使用过的,那么识图搜索是采用了什么原理呢?

1.3K30

架构细节 | 看看 Medium 的开发团队用了哪些技术

相比Java语言的冗长罗嗦和虚拟机,Go语言在类型安全方面做的很到位。就个人习惯来讲,我比较喜欢在团队内部推广强类型语言,因为这类语言能够提高项目的清晰度,不纠结。...最近我们在应用流量上也使用了CloudFlare,当时主要是为了防止DDOS攻击,但随之而来的性能提升也是我们愿意看到的。...我们利用guava弥补Java中所有的缺失。另一方面来讲,我们也倾向于使用第三方库来解决特别的问题。我们还利用protocol buffers定义了API,用以生成应用中的对象。...AB测试以及其他 我们所有的客户端都用了服务器端提供的功能标记,称为variants,用于A|B测试以及指导未完成功能的开发。...编译、测试和部署 我们积极拥抱持续集成技术,随时随地准备发布,使用Jenkins来负责相关事宜。 我们曾经使用Make作为编译系统,但是后来迁移到Pants。

1.4K60
领券