首页
学习
活动
专区
工具
TVP
发布

IT大咖说

专栏作者
905
文章
1407833
阅读量
98
订阅数
MySql的InnoDB的三层B+树可以存储两千万左右条数据的计算逻辑
B+树是一种在非叶子节点存放排序好的索引而在叶子节点存放数据的数据结构,值得注意的是,在叶子节点中,存储的并非只是一行表数据,而是以页为单位存储,一个页可以包含多行表记录。非叶子节点存放的是索引键值和页指针。 那么,在MySql数据库里,一个页的大小是多少呢? 可以通过查询语句进行查看:show variables like 'innodb_page_size' 查询结果16384字节,可以通过1kb等于1024字节方式,计算出16384/1024 = 16kb,说明MySql数据库默认页大小是16kb。
IT大咖说
2022-09-29
2.1K0
MyBatisPlus又在搞事了!一个依赖轻松搞定权限问题!堪称神器
◆前言: 今天介绍一个 MyBatis - Plus 官方发布的神器:mybatis-mate 为 mp 企业级模块,支持分库分表,数据审计、数据敏感词过滤(AC算法),字段加密,字典回写(数据绑定),数据权限,表结构自动生成 SQL 维护等,旨在更敏捷优雅处理数据。 ◆1. 主要功能 字典绑定 字段加密 数据脱敏 表结构动态维护 数据审计记录 数据范围(数据权限) 数据库分库分表、动态数据源、读写分离、数- - 据库健康检查自动切换。 ◆2.使用 ◆2.1 依赖导入 Spring Boot 引入自动依赖注
IT大咖说
2022-09-15
1.1K0
开源文件备份同步神器-DSynchronize
◆ 概述 前几天分享了一个常用的开源文件同步工具-freefilesync,今天分享另一个好用的文件备份同步工具-DSynchronize,不像freefilesync支持多平台,DSynchronize目前只支持windows平台。DSynchronize 是一个独立的实用程序,可让您定期同步硬盘、软盘、 LAN 、USB Key、CD-DVD 和 FTP 服务器上的两个或多个文件夹。 主要功能列表: 标准和定时器同步。  实时同步。  双向 同步。 事务 同步(由 NTFS 的日志)。 选择性过滤器(您
IT大咖说
2022-09-02
4K0
你有真正了解过国产开源框架APM工具——SkyWalking技术有多牛吗
◆ SkyWalking技术 SkyWalking是国内一个开源并提交到Apache孵化器的产品,是用于收集、分析、聚合、可视化来自不同服务和本地基础服务的数据的可视化的平台。SkyWalking提供了一个可以对分布式系统甚至是跨云服务有清晰了解的简单方法。SkyWalking符合OpenTracing规范,同时提供更加现代化、炫酷的UI,可以更加直观地监控应用。SkyWalking的官方架构如下图所示。 整个系统分为三部分。 Agent:采集Tracing(调用链数据)和Metrics(指标)信息并上报
IT大咖说
2022-08-31
1.2K0
程序员总是不愿意承认:写代码在公司里是一件并不太重要的事情
程序员总是不愿意承认:写代码在公司里是一件并不太重要的事情,因为他们认为一旦承认了这点,就意味着是对自己的努力工作和能力的否认。 其实并不是,我只想说作为一个程序员,你的核心技能是写代码这并没有问题,但是如果你只想止步于程序员(包含高级程序员),一辈子写代码,那你可以划走,不用继续往下看了。 一个程序员的技术发展路径可以沿着:高级程序员—研发Leader—技术经理—技术总监—架构师—CTO来前进。 如果你将这条路线当作是技术生涯的职业规划,那么写代码只是最基本、最初级的技能。这个时候如果你想成为技术经理/
IT大咖说
2022-08-26
2110
将 SQL Server 数据库恢复到不同的文件名和位置
一、概述 RESTORE ... WITH MOVE 选项允许您恢复数据库,但也可以指定数据库文件(mdf 和 ldf)的新位置。如果您要从该数据库的备份还原现有数据库,则不需要这样做,但如果您要从具有不同文件位置的不同实例还原数据库,则可能需要使用此选项。 RESTORE ... WITH MOVE 选项将让您确定数据库文件的名称以及创建这些文件的位置。在使用此选项之前,您需要知道这些文件的逻辑名称以及 SQL Server 的位置。 如果已经存在另一个使用您尝试还原的相同文件名的数据库并且该数据库处于联
IT大咖说
2022-08-26
7980
一文搞定MySQL的分区技术、NoSQL、NewSQL、基于MySQL的分表分库
◆ 分表分库 上文讲到,查询分离的方案存在三大不足,其中一个就是:当主数据量越来越大时,写操作会越来越缓慢。这个问题该如何解决呢?可以考虑分表分库。 这里先介绍一下真实的业务场景,而后依次介绍拆分存储时如何进行技术选型、分表分库的实现思路是什么,以及分表分库存在哪些不足。 接下来进入业务场景介绍。 ◆ 业务场景:亿级订单数据如何实现快速读写 这次项目的对象是电商系统。该系统中大数据量的实体有两个:用户和订单。每个实体涵盖的数据量见表3-1。 表3-1 数据量 某天,领导召集IT部门人员开会,说:“根据市场
IT大咖说
2022-08-26
3910
为什么实时分析既需要NoSQL的灵活性,又需要SQL系统的严格模式?
作为地球上最坚硬的物质,钻石的用途令人惊讶地有限:锯片、钻头、结婚戒指和其他工业应用。 相比之下,自然界中较软的金属之一--铁,可以被改造成无尽的应用:最锋利的刀片、最高的摩天大楼、最先进的汽车, 巨大的轮船,而且很快,如果埃隆-马斯克是对的,就会有最有效的电动车电池。 换句话说,铁之所以有令人难以置信的用处,是因为它既是刚性的又是柔性的。 同样,数据库只有在既严格又灵活的情况下才对今天的实时分析有用。 传统的数据库,由于其完全灵活的结构,是很脆的。无模式的NoSQL数据库也是如此,它们能够摄取大量的数据,
IT大咖说
2022-08-26
4970
Redis 使用管道(Pipeline)方式提升操作性能
Redis是一个非常流行的key-value存储系统,而作为其官方推荐的Java版客户端 Jedis也非常强大和稳定。 在单个客户端中,如果需要读写大量数据,可以考虑采用管道(Pipeline)方式。如果采用管道方式,那么多条命令可以通过批量的方式一次性地发送到服务器,而结果也会一次性返回到客户端。 ◆ 本文将介绍Redis 使用管道(Pipeline)方式提升操作性能。 ◆ 一、管道(Pipeline) 未使用管道方式执行N条命令,如图所示: 管道(Pipeline):一次向Redis发送多条命令。
IT大咖说
2022-08-26
1K0
Linux不重启识别新挂载磁盘
◆ 一、概述 RAC数据库扩容存储空间,新挂载过来的盘没有识别到,通过fdisk -l命令没有看到。经查询需要重启或者扫描来看到新挂载的磁盘,今天分享一下具体的方法 环境:OEL 6.4 和 RAC 11.2.0.4 ◆ 二、关键事项 不要使用/dev/sdX 或 /dev/dm-XX 作为设备名称,因为此设备名称在重新启动后可能会更改 使用WWID 识别设备 全局标识符 (WWID) 可用于可靠地识别磁盘设备。 WWID 是 SCSI 标准要求所有 SCSI 设备提供的持久的、独立于系统的 ID。 ◆ 三
IT大咖说
2022-07-26
2.3K0
Elasticsearch:使用search after实现深度分页
对于大量的数据而言,我们尽量避免使用 from+size 这种方法。这里的原因是 index.max_result_window 的默认值是 10K,也就是说 from+size 的最大值是1万。搜索请求占用堆内存和时间与 from+size 成比例,这限制了内存。 为了避免过度使得我们的 cluster 繁忙,通常 Scroll 接口被推荐作为深层次的 scrolling,但是因为维护 scroll 上下文也是非常昂贵的,所以这种方法不推荐作为实时用户请求。 Elasticsearch:使用from+si
IT大咖说
2022-07-26
5.4K0
黑眼圈大神程序员用5000字带你通透读懂Elasticsearch的注意事项
◆ Elasticsearch注意事项 客观地说,Elasticsearch确实是个好工具,毕竟它在分布式开源搜索和分析引擎中处于领先地位。不过它也存在不少陷阱,以至于身边几个朋友经常抱怨Elasticsearch有多么不好用。 对于Elasticsearch而言,想掌握好这门技术,除需要对它的用法了如指掌 外 , 还 需 要 对 技 术 中 的 各 种 陷 阱 了 然 于 心 。这 里 总 结 一 些 关 于Elasticsearch的使用要点。 1)如何使用Elasticsearch设计表结构? 2)E
IT大咖说
2022-07-26
4660
数据持久化层场景实战:业务场景+数据库分区+冷热分离概述
◆  冷热分离 本文讲的第一个场景是冷热分离。简单来说,就是将常用的“热”数据和不常使用的“冷”数据分开存储。 本章要考虑的重点是锁的机制、批量处理以及失败重试的数据一致性问题。这部分内容在实际开发中的“陷阱”还是不少的。 首先介绍一下业务场景。 ◆  1.1 业务场景:几千万数据量的工单表如何快速优化 这次项目优化的是一个邮件客服系统。它是一个SaaS(通过网络提供软件服务)系统,但是大客户只有两三家,最主要的客户是一家大型媒体集团。 这个系统的主要功能是这样的:它会对接客户的邮件服务器,自动收取发到几个
IT大咖说
2022-07-18
5770
一站式问题定位平台,以agent的方式无侵入接入应用
◆ 一、开源项目简介 Cubic 一站式问题定位平台,以agent的方式无侵入接入应用,提供各种指标,动态线程堆栈追踪,完整集成arthas功能模块,致力于应用级监控,帮助开发人员快速定位问题。 ◆ 二、开源协议 使用Apache-2.0开源协议 ◆ 三、界面展示 ◆ 功能展示 ◆ 实例中心(展示当前实例信息) ◆ 基础信息(点击实例-》展示当前实例的基础信息) ◆ 依赖监控(点击实例-》展示当前实例的依赖包信息) ◆ Arthas命令操作 ◆ 线程池监控 ◆ 实时线程栈 ◆ 历史线程栈
IT大咖说
2022-06-16
5380
Nomad正在接管Kubernetes吗
根据目前的市场状况,我们大多数人都认为Kubernetes(又称 "K8s")赢得了容器编排的战斗,战胜了Docker Swarm和Mesos等替代方案。也许这是一个旧闻,但在K8s(2014年)的同时,还有一个平行的参与者在海上航行,但没有被许多技术人员所关注,那就是HashiCorp的Nomad(2015)。 从谷歌孵化出来并得到社区持续支持的Kubernetes是容器编排的事实标准。然而,Kubernetes并不是所有用例的解决方案。正如许多开发者提到的新功能的复杂性。开发困难疑问和 错误的安全配置作
IT大咖说
2022-06-07
6980
MIT协议分布式文件系统,一个简单、方便的文件存储方案
◆ 一、开源项目简介 基于Spring Boot + VUE CLI@3 框架开发的分布式文件系统,旨在为用户和企业提供一个简单、方便的文件存储方案,能够以完善的目录结构体系,对文件进行管理 。 ◆ 开源说明 系统 100%开源 本软件遵循 MIT 开源协议 您可以在其基础上继续进行开发来完善其功能,成为本项目的贡献者之一 您也可以以该项目作为脚手架,进行其他项目的开发 ◆ 二、开源协议 使用MIT开源协议 ◆ 三、界面展示 部分功能截图 1. 网盘主页 1.1 页面布局 左侧分类栏区域:展示文件类型,分为
IT大咖说
2022-06-06
2.3K0
基于GF的后台管理系统,完善的权限用户管理,致力于快速高效开发
◆ 一、开源项目简介 gfast是基于GF(Go Frame)的后台管理系统 ,完善的权限用户管理,致力于快速高效开发cms系统、督办系统、后续将加入流程审批、工作流引擎、项目管理、挂图作战、数据大屏等功能。 基于全新Go Frame 2.0+Vue3+Element Plus开发的全栈前后端分离的管理系统 前端采用vue-next-admin 、Vue、Element UI。 本项目由奇讯科技团队开发。 ◆ 二、开源协议 使用Apache-2.0开源协议 ◆ 三、界面展示 演示图
IT大咖说
2022-06-01
9680
MySQL 故障诊断:MySQL 占用 CPU 过高问题定位及优化
◆ CPU 占用过高常见现象 在使用 MySQL 的过程中会遇到各种瓶颈问题,常见的是 IO 瓶颈,但是有时候会出现服务器 CPU 使用率超过 100%,应用页面访问慢,登录服务器负载很高。而导致这个问题竟然是 MySQL 进程,按理说如果 MySQL 运行稳定,服务器的 CPU 资源并不会跑满,如果出现这个问题,初步可以断定,是 MySQL 实例中出现了问题 SQL。 ◆ CPU 占用过高常见原因 CPU 占用过高常见原因: 服务器硬件问题 内存溢出 业务高并发 如果是业务高并发引起,可以理解为一种业务繁
IT大咖说
2022-05-27
9.5K0
掌握mysql的这些操作,让你事半功倍
mysql 是日常的开发中常用的关系型数据库,除了 CRUD 之外的操作,mysql 也有很多有趣而且巧妙的操作,掌握这些技巧,可以在工作中得心应手、游刃有余。 在本文中会涉及以下内容: mysql 字符串的操作,例如如何使用 concat 拼接更新语句以及 group_concat 的神奇用法。 mysql 中 select 的神奇用法, select 不仅可以用来执行 DQL,还可以用来查询变量和数学运算。 mysql 多列查询配合联合索引的正确用法, 比如 in 的多列查询操作。 涉及时间操作的一些函
IT大咖说
2022-05-12
6750
「开源」数据同步ETL工具,支持多数据源间的增、删、改数据同步
一、开源项目简介 bboss数据同步可以方便地实现多种数据源之间的数据同步功能,支持增、删、改数据同步,本文为大家程序各种数据同步案例。 二、开源协议 使用Apache-2.0开源协议 三、界面展示 四、功能概述 通过bboss,可以非常方便地采集 database/mongodb/Elasticsearch/kafka/hbase/本地或者Ftp日志文件源数据,经过数据转换处理后,再推送到目标库elasticsearch/database/file/ftp/kafka/dummy/logger。 数
IT大咖说
2022-04-27
1.4K0
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档