文章目录 1. 磁盘情况查询 1.1 查询系统整体磁盘使用情况 1.2 查询指定目录的磁盘占用情况 2. 磁盘情况-工作实用指令 1. 磁盘情况查询 1.1 查询系统整体磁盘使用情况 基本语法 df
Apache Hive数据仓库软件提供对存储在分布式中的大型数据集的查询和管理，它本身是建立在Apache Hadoop之上。Hive SQL代表的是以传统基于Mapreduce为核心的SQL语言。
从存储方式来看，TinyLog表引擎将每个数据块以不同的时间戳追加到日志文件中，而LogBlock表引擎将数据写入到稠密的块中，每个块可以包含多个数据值。
HBase在存储时, 使用了LSM树来进行数据存储, 会定期将文件进行合并, 以提升数据的查询效率, LSM树都是这么处理的. 那么到这里就有一个问题了, HBase在进行文件合并的时候, 势必会占用
继昨天服务器上应用 CPU占用过高 后面该应用宕掉了以后 java 一次CPU占用过高问题的排查及解决
推荐一个linux命令学习网站 http://man.linuxde.net/ 查询一个log日志中前10行的命令 head-n(行数) ***.log 查询一个log日志后10行的命令 tail-n(行数) ***.log 查询一个log中关键字error出现的次数 grep –rb "error" ***.log -c ， 查询一个log中关键字error出现分别在哪一行 grep –rb "error" ***.log 查询当前运行java的进程 ps -ef |grep java 远
线上后台报警CPU占用100%，CPU占用过高，本文介绍一下如何排查CPU占用过高原因。
之前我对索引的了解基本就是主索引和二级索引，此外还经常见到一些其他概念，如聚集索引和非聚集索引，稀疏索引和密集索引等，今天系统整理一下。
综上所述，在ClickHouse的MergeTree中，一级索引主要用于数据的物理排序和数据切分，支持范围查询和按顺序读取数据；二级索引主要用于查询优化，提供额外的查询功能和过滤条件。
最近服务器到期等因素，进行了迁移。租了其它的外国厂商，但是由于资费问题，购买了1.5G 内存的服务器（现）。因为原本用惯了4G内存的服务器（原），现在压缩成这样，似乎不太能支持我的使用，囧！
前段时间由于业务需要，需要从数据库中查询出来所有满足条件的数据，然后导入到文件中。于是随便写了个程序，查询出所有满足条件然后再写入文件。但是实际上线后却发现，程序刚开始运行马上看到部分数据写入到文件，但是后面运行越来越慢，于是对此分析排查了一下。
Elasticsearch（ ES ）是一款功能强大的开源分布式实时搜索引擎，在日志分析（主要应用场景）、企业级搜索、时序分析等领域有广泛应用，几乎是各大公司搜索分析引擎的开源首选方案。
再相对高效一点的方法是通过du的-d参数，或--max-depth，设置查询的目录深度，目录深度增加，所查询的目录，展示出来会很多，这个时候可以通过grep进行过滤
为搜索字段创建索引。避免使用 select *，列出需要查询的字段。垂直分割分表。选择正确的存储引擎。
之前分享过一篇有关Linux的操作命令，内容很全，但是比较基础。然而，实际工作中用到的比那些稍复杂些，本篇分享一些开发工程师必须具备的实战Linux命令。 1.日志查询类 1.1 按关键字不分页查询 grep "applyId” app.log //applyId为要查询的关键字，app.log为日志名 1.2 按关键字从前往后分页查询 cat -n app.log | grep "applyId" | more 以上命令会分页输出，使用空格键翻页，使用回车键显示更多 1.3 按关键字只显示最后M行查询 t
转载：运维研习社 如果我们的服务器配置了企业微信或者钉钉的报警,那么我们可能会收到如下的消息. 📷 image-20220117165235844 登录服务器，通过 df -Hl 查看 📷 和告警信息一致，接着我们就是要找到导致磁盘空间满的目录或文件,如何找到占用空间大的目录或文件？一种比较笨的方法是，在根目录下，通过 du -hs 命令，列出各目录所占空间大小 📷 之后再用同样的方法继续到对应目录下去找 再相对高效一点的方法是通过 du 的 - d 参数，或 --max-depth，设置查询的目录深度，目
一、什么是MongoDB ? MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。 在高负载的情况下，添加更多的节点，可以保证服务器性能。 MongoDB 旨在为WEB应用
使表占用尽量少的磁盘空间。减少磁盘I/O次数及读取数据量是提升性能的基础原则。表越小，数据读写处理时则需要更少的内存，同时，小表的索引占用也相对小，索引处理也更加快速。
查看linux端口被哪个进程占用的方法：首先查看被占用的端口的进程，并查询进程id；然后根据集成id查询进程，并查看进程详情信息；最后查看进行所在目录，操作进程即可。
背景 日常搭建环境、查问题、接手前人搭建的环境等日常操作都需要。 常见的场景 查询应用程序的端口号（懒得查看配置文件），就可以通过查找进程号，再找端口号； 知道应用程序的访问 url，在服务器通过端口
正常情况下，一个jps -ml就可以查看机器上有多少Java进程以及它们的PID，如果还要看端口号，甚至内存占用，就还要配合netstat以及ps等查询，如果直接使用一个命令就能查出所有信息多好呀，那就试试吧。
一个管理平台门户网页进统计页面提示请求超时，随进服务器操作系统检查load average超过4负载很大，PID为7163的进程占用到了800%多。
原作者：Bane Radulovic 译者： 邱大龙 审核： 魏兴华 DBGeeK社区联合出品 How many allocation units per file 本文主要是对ASM文件的空间分配进行一些探讨和研究。 ASM空间分配的最小单位是AU，默认的AU size是1MB，但在Exadata下AU 的默认大小是4MB。 ASM文件的空间分配是以extent为单位，每一个extent是由一个或多个AU组成，在11.2版本，前20000个extent，每一个extent由1个AU组成，接下来
使用explain命令可以查看一条查询语句的执行计划,这篇文章记录一下查询计划的各个属性的值极其含义.
这篇文章主要介绍了如何解决windows系统和linux系统中端口被占用的问题的相关资料,需要的朋友可以参考下
看到有的博客网站页面底部显示运行信息，主要显示页面加载时长，数据库查询次数和内存占用情况感觉很酷，于是就百度了下发现Z-BlogPHP程序也是有的，只不过它是以注释状态出现的，当我们查询网站源代码的时候在底部可以看见如下 这样的代码，这行运行信息表示 加载86.98毫秒，5次数据库查询，2M内存占用使用情况
在安装nginx，mysql，tomcat等等服务的时候，我们会遇到需要使用的端口莫名其妙被占用，下面介绍如何解决这类问题。
任何进程都与文件关联；我们会用到lsof工具（list opened files），作用是列举系统中已经被打开的文件。在linux环境中，任何事物都是文件，设备是文件，目录是文件，甚至sockets也是文件。用好lsof命令，对日常的linux管理非常有帮助
从上篇文章中的场景，可以看到：高级性能测试系列《26. 从mysql中查询出数据写入sqlite中，再从sqlite中查询出数据写入txt文件中。》
一个业务系统的服务器监控系统发来预警通知，磁盘空间使用率已经达到90%了，然后就登陆服务器搜索了下比较大的日志文件，全部都删除了（坑在此处埋上了），磁盘空间释放了一些，当时也是疏忽，没有确认查出并删除的文件大小的空间是否已经全部释放。没过几天，服务器又被预警了，比较纳闷，日志怎么增长的这么快，排查之后发现，原来是上次操作删除文件后，有个较大的文件空间没有释放导致的。
与关系型数据库相比，MongoDB的优点： ①弱一致性（最终一致），更能保证用户的访问速度： 举例来说，在 传统的关系型数据库中，一个COUNT类型的操作会锁定数据集，这样可以保证得到“当前”情况下的精确值。这在某些情况下，例如通过ATM查看账户信息的 时候很重要，但对于Wordnik来说，数据是不断更新和增长的，这种“精确”的保证几乎没有任何意义，反而会产生很大的延迟。他们需要的是一个“大约” 的数字以及更快的处理速度。 但某些情况下MongoDB会锁住数据库。如果此时正有数百个请求，则它们会堆积
这些问题主要是工作中会遇到.包括后面的逆向对抗技术.有的可能只会提供思路.并且做相应的解决与对抗.
今天查看两个月前上线的小项目，发现运行非常慢，而且增删改查失效了（吓我一大跳），急急忙忙的就开始了我的线上问题排查之路。
上一篇文章MAT入门到精通（一）介绍了MAT的使用场景和基本概念，这篇文章开始介绍MAT的基本功能，后面还有两篇，一篇是MAT的高级功能，另一篇是MAT实战案例分析。
查询语句：SELECT table_schema AS "Database", ROUND(SUM(data_length + index_length + data_free) / 1024 / 1024, 2) AS "Size (MB)" FROM information_schema.TABLES GROUP BY table_schema;
举例来说，在传统的关系型数据库中，一个COUNT类型的操作会锁定数据集，这样可以保证得到“当前”情况下的较精确值。这在某些情况下，例 如通过ATM查看账户信息的时候很重要，但对于Wordnik来说，数据是不断更新和增长的，这种“较精确”的保证几乎没有任何意义，反而会产生很大的延 迟。他们需要的是一个“大约”的数字以及更快的处理速度。 但某些情况下MongoDB会锁住数据库。如果此时正有数百个请求，则它们会堆积起来，造成许多问题。我们使用了下面的优化方式来避免锁定： 每次更新前，我们会先查询记录。查询操作会将对象放入内存，于是更新则会尽可能的迅速。在主/从部署方案中，从节点可以使用“-pretouch”参数运行，这也可以得到相同的效果。
|--分区基础知识 说明： |--1.linux无论有几个分区，分给那一目录使用， 只有一个根目录，一个独立且唯一的文件结构 linux中每个分区都是用来组成整个文件系统的一部分 |--2.linux采用一种叫"载入"的处理方式，它的整个文件系统 中包含一个整套的文件和目录，且将一个分区和一个目录 联系起来，这时要载入的一个分区将使它的存储空间 在一个目录下获得 |--分区的方式 |--1.mbr分区 |--最多支持四个主分区 |--系统只能安装在主分区 |--扩展分区要占一个主分区 |--MBR最大只支持2TB，但拥有最好的兼容性 |--2.gtp分区 |--支持无限多个主分区(windows下最多128分区) |--最大支持18EB的大容量(1EB=1024PB, 1PB=1024TB) |--windows7 64位以后支持gtp
[mysqld]下配置explicit_defaults_for_timestamp=true，这是相对于5.6需要添加的一个配置，具体参考https://www.jianshu.com/p/d7d364745173
1.Linux无论有多少个分区.分给哪一个目录,整个文件系统也只有一个根目录.它的每一个分区都是用来组成整个文件系统的一部分.Linux使用一种”载入”的处理办法.将分区和目录联系起来.这时要载入一个分区,将使它的存储空间在一个目录下获得.
一、在windows操作系统中，查询端口占用和清除端口占用的程序 提升权限后用：netstat -b 或用 1、查询端口占用的进程ID 点击"开始"-->"运行",输入"cmd"后点击确定按钮,进入DOS窗口,接下来分别运行以下命令: netstat -a -n 各个端口占用 netstat -ano 各个端口占用和进程PID netstat -aon | findstr "80" C:\Users\admin>netstat -aon|find
--1 端口是否占用 netstat -apn | grep 1521 netstat -ano|grep 1521 netstat -lnp|grep 1521 --windows netstat -ano | findstr "1521" tasklist | findstr "3572"
本文首发于京东零售平台公众号，https://mp.weixin.qq.com/s/uzuz7rqctQ-bjdRcf1tO9g
7.禁止在表中建立预留字段预留字段的命名很难做到见名识义 预留字段无法确认存储的数据类型，所以无法选择合适的类型 对预留字段类型的修改，会对表进行锁定
[zhangxy@dowload_server1 ~]$ cat /etc/fstab
对于 Oracle 而言, 每个表建立是, 都有一个属性为 initial, 表示此表占用的空间大小, 随着数据的新增, 此值也会一直增大, 但删除这个表的数据后, initial 也不会缩小. 所以使用时间越长, 每个表占用的空间都会很大.
du（是 disk usage 的简称）用来显示目录或文件的大小，查找文件和目录的磁盘使用情况的命令。du 命令在与各种选项一起使用时能以多种格式提供结果。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
