今天北亚小编为大家分享一篇《在AIX下误操作删除LV后如何最大程度挽救数据?》首先大家要知道到底是LV?PV相当于物理磁盘(对于存储,是存储映射过来的卷,对于操作系统而言,等同于物理硬盘),若干个PV组成一个VG,意味着可以将容量不同的存储空间合起来统一分配。为了实现这个目的,AIX把同一个VG的所有PV按相同大小的存储颗粒进行空间编排,这个存储颗粒就是PP。而分配空间时,以若干个PP(可能是不同PV上的),做为使用集合,这个集合就是LV。
今天讲一下文件系统,遇见过单个最大文件的问题,所以将此问题记录下来,希望对大家有用。
几种 I/O 类型概念的介绍 AIO AIO 的全称为 Asynchronous I/O,即异步 I/O。在 AIO 的工作模式下,应用程序向操作系统发起 I/O 请求(读 / 写)以后,不必等 I/O 完成,即可发起新的 I/O 请求。通过这种方法,可以提示提升 I/O 吞吐量和性能。从 AIX5L 起,AIX 支持两种 AIO:legacy AIO 和 POSIX AIO。AIO 既支持文件系统也支持裸设备。 DIO AIO 的全称为 Direct I/O,即直接 I/O。在 DIO 的工作模式下,数据
XX系统,通过FTP给客户实时传送文件,正常逻辑是客户收到文件后,自动删除FTP服务器上的本地文件,但经常出现文件已经推送了,客户没删除文件的情况。每个文件其实是很小的,可能几K,但是量很大,1天几万个,以至于时间久了,本地积的文件就会很多。我们不说让客户怎么排查问题,单就这个现象,如果积了几百万的小文件,我们能做些什么?你可能会说,删了啊,确实应该删了,但是小文件多了,会产生什么影响?如果直接rm,你认为行么?
在Linux下查看磁盘空间使用情况,最常使用的就是du和df了。然而两者还是有很大区别的,有时候其输出结果甚至非常悬殊。 1. 如何记忆这两个命令 du-Disk Usage df-Disk Free 2. df 和du 的工作原理 2.1 du的工作原理 du命令会对待统计文件逐个调用fstat这个系统调用,获取文件大小。它的数据是基于文件获取的,所以有很大的灵活性,不一定非要针对一个分区,可以跨越多个分区操作。如果针对的目录中文件很多,du速度就会很慢了。 2.2 df的工作原理 df命令使用的事s
AIX中用户无法执行任何命令,再ssh连报fork failed:Resource Temporarily Unavailable,是该用户的进程数超过了限制 。
Linux 作为NFS Server ,AIX host 作为NFS Client;
在AIX操作系统上有很多的命令。这里介绍一些系统级的命令,它将有助于回答一些常见问题。大家以此做参考,并补充修改。以下命令在AIX 5.1上测试通过。 · 关于内核 显示AIX系统内核是32位还是64位: bootinfo -K 如何改变内核模式(32位或64位) /unix文件连接到一个可引导的映像。通过命令ls -l /unix查看: /unix ->; /usr/lib/boot/unix_up # 32 bit uniprocessor kernel /unix ->; /usr/lib/boot/unix_mp # 32 bit multiprocessor kernel /unix ->; /usr/lib/boot/unix_64 # 64 bit multiprocessor kernel 在AIX系统安装时,缺省安装的内核是32位。可以用如下命令更改内核模式: ln -sf /usr/lib/boot/unix_64 /unixln -sf /usr/lib/boot/unix_64/usr/lib/boot/unixbosboot -ad /dev/hdiskxxshutdown -r 注意:/dev/hdiskxx是指引导逻辑卷/dev/hd5所在的硬盘。可通过下面命令来查看xx是几: lslv -m hd5 · 关于硬件 显示机器硬件是32位还是64位: bootinfo -y 查看机器的物理内存是多少: bootinfo -r 或 lsattr -El sys0 -a realmem 查看机器是否支持64位内核(是否64位硬件) /usr/sbin/bootinfo -p 如果返回32,则表示硬件是32位的;如果返回的是chrp,则表示硬件是64位的机器。 显示当前磁带设备rmt0的属性: lsattr -l rmt0 -E 显示缺省的磁带设备rmt0的属性: lsattr -l rmt0 -D 显示终端设备tty0的登录属性: lsattr -l tty0 -a login -R 显示系统级属性: lsattr -E -l sys0 查看当前系统有多少CPU: lscfg | grep proc 查看当前系统有多少硬盘而且是否被使用: Lspv 查看当前系统的详细配置: lscfg -pv 也可以显示某一设备的配置: lscfg -vl rmt0 查看当前系统的芯片名称、系统名、节点名、型号等: uname -p # 显示芯片名称,例如:powerpc uname -r # 显示操作系统的发行号 uname -s # 显示系统名,例如:AIX uname -n # 显示节点名 uname -a # 显示系统名、节点名、版本、机器ID uname -M # 显示型号,例如:IBM,7046-B50 uname -v # 显示操作系统版本 uname -m # 显示机器ID · 关于AIX 查看AIX的版本、发行号、ML(Maintenance Level)级别: oslevel -r 或 lslpp -h bos.rte 如何改变文件系统大小,例如:将/usr文件系统增加1000000字节: chfs -a size=+1000000 /usr 如何使用CD: mount -V cdrfs -o ro /dev/cd0 /cdrom 查看本机的IP地址: Ifconfig -a 或 host Fully_Qualified_Host_Name 例如:host cyclop.austin.ibm.com 查找哪一个文件集(fileset)包含特定的文件,例如:查找/usr/bin/vmstat属于哪一个文件集。 lslpp -w /usr/bin/vmstat 显示哪一个文件集包含/usr/bin/svmon: Which_fileset svmon 查看某一级别的ML中所有文件是否都已经安装: instfix -i | grep ML 如何确定某一补丁(fix)是否安装,例如:查看IY24043是否安装 instfix -ik IY24043 显示哪些文件集需要安装或修改: lppchk -v 查看交换区(paging space)的分配和使用: lsps -a · 关于卷组和逻辑卷 创建卷组: mkvg -y name_of_volume_group -s partition_size list_of_hard_disks partition_size单位是MB,它是1到1024之间的一个数。(2的次幂,例如:1,2, 4, 8, 16, 32等,缺省是4MB。) 创建逻辑卷: mklv -y name_of_logical_volume name_of_volume_group number_of_partition 显示当前系统的所有卷组: Lsvg 显示卷组rootvg的详细信息:
. run-level 2 May 20 11:35 2 0 S
nmon [ -s < seconds > ] [ -c < count > ] [ -b ] [ -B ] [ -g < filename > ] [ -k disklist ] [ -C < process1:process2:..:processN > ]
nmon是一种在AIX与各种Linux操作系统上广泛使用的监控与分析工具,相对于其它一些系统资源监控工具来说,nmon所记录的信息是比较全面的,它能在系统运行过程中实时地捕捉系统资源的使用情况,并且能输出结果到文件中,然后通过nmon_analyzer工具产生数据文件与图形化结果。 nmon所记录的数据包含以下一些方面: ● cpu占用率 ● 内存使用情况 ● 磁盘I/O速度、传输和读写比率 ● 文件系统的使用率 ● 网络I/O速度、传输和读写比率、错误统计率与传输包的大小 ● 消耗资源最多的进程 ● 计算机详细信息和资源 ● 页面空间和页面I/O速度 ● 用户自定义的磁盘组 ● 网络文件系统
以下测试都是在没有优化或修改内核的前提下测试的结果 1. 测试目的:ext3文件系统下filename最大字符长度 测试平台:RHEL5U3_x64 测试过程: LENTH=`for i in {1..255};do for x in a;do echo -n $x;done;done` touch $LENTH 当增加到256时,touch报错,File name too long linux系统下ext3文件系统内给文件/目录命名,最长只能支持127个中文字符,英文则可以支持255个字符 2. 测试目的:ext3文件系统下一级子目录的个数限制 测试平台:RHEL5U3_x64 测试过程: [root@fileserver maxdir]# for i in {1..32000};do mkdir $i;done mkdir: cannot create directory `31999': Too many links mkdir: cannot create directory `32000': Too many links ext3文件系统一级子目录的个数为31998(个)。 Linux为了cpu的搜索效率而规定的,要想改变数目大概要重新编译内核. 3. 测试目的:ext3文件系统下单个目录里的最大文件数 测试平台: RHEL5U3_x64 测试过程: 单个目录下的最大文件数似乎没什么特别限制,也是受限于所在文件系统的inode数限制: df -i或者使用tune2fs -l /dev/sdaX或者dumpe2fs -h /dev/sdaX查看可用inode数,后两个命令 输出结果是一样的,但是跟df所得出的可用inode数会有些误差,至今不明白什么原因。 网上常用两种解决办法: 1) 重新mkfs,ext3默认block大小4096 Bytes,block设置小一些inode数设置大一些 2) 使用loopback文件系统临时解决: 在/usr中(也可以在别处)创建一个大文件,然后做成loopback文件系统,将原来的文件移到这个 文件系统中,并将它mount到/usr下合适的位置。这样可以大大减少你/usr中的文件数目。但是系统 性能会有点损失。 4. 测试目的: 打开文件数限制(文件句柄、文件描述符) 测试平台: RHEL5U3_x64 ulimit -n 65535设置,或者/etc/security/limit.conf里设置用户打开文件数、进程数、CPU等
XFS 是一种 Linux 日志文件系统,本文记录修改 XFS 系统属性的方法。 XFS XfS文件系统是SGI开发的高级日志文件系统,XFS极具伸缩性,非常健壮。 主要特性 数据完全性 采用XFS文件系统,当意想不到的宕机发生后,首先,由于文件系统开启了日志功能,所以你磁盘上的文件不再会意外宕机而遭到破坏了。不论目前文件系统上存储的文件与数据有多少,文件系统都可以根据所记录的日志在很短的时间内迅速恢复磁盘文件内容。 传输特性 XFS文件系统采用优化算法,日志记录对整体文件操作影响非常小。XFS查询与
fallocate命令用于预分配或取消分配文件空间。不同于其他方法,这个命令可以快速为文件分配空间,而不需要实际写入任何数据。这一特性使得它在需要快速创建大文件的场景下非常有用,例如在系统测试或磁盘压力测试的情况下。
windows下全然限定文件名称必须少于260个字符,文件夹名必须小于248个字符。
本次北亚小编分享的是一篇DS4800服务器LVM信息丢失恢复思路讲解。基于DS4800服务器的AIX小机卷丢失、DS4800存储服务器LVM信息丢失应该如何做恢复呢?
测试人员最常见和繁琐的任务之一就是清理环境,比如防止磁盘空间出现不足。下面是我收集的一些常用的 Linux 文件系统相关命令。
Sigar是Hyperic-hq产品的基础包,是Hyperic HQ主要的数据收集组件。它用来从许多平台收集系统和处理信息。
2016.09.06晚参加了CVTEC++岗的在线笔试。笔试题型分为不定向选择题和编程题,总共27题。其中不定项选择题为25道,编程题2道。其特点是不定项选择题不告诉你是单选还是多选,编程题不能复制黏贴,不用线上编译验证代码的正确性,提交代码即可!
“在运维人员没有增加,而使用开源软件对技术人员的要求又比较高的情况下,DDN提供的专业L3级技术支持服务对于确保大型存储系统的长期、稳定、安全的运行发挥了重要作用。”
作者:matrix 被围观: 1,446 次 发布时间:2011-02-05 分类:兼容并蓄 | 无评论 »
已有云主机id 27b31829-326f-4029-a537-bb327303a32c
本文包含: 磁盘及分区管理、文件系统管理、磁盘配额管理、文件系统维护 1. 磁盘及分区管理 查看磁盘设备列表命令 fdisk 查看当前计算机中的磁盘设备及分区列表 # fdisk -l 查看磁盘设备命令 hdparm 参数 I:显示硬盘提供的硬件信息 T:评估硬盘从快速缓存中读取数据的速度 t:评估硬盘从缓冲区中读取数据的速度 磁盘分区工具 fdisk 常用命令 d:删除分区 l:查看分区类型列表 n:添加新分区 p:打印当前分区列表 q:不保存已更改的内容并退出 t:修改分区类型 v:验证分区表 w:
/nfs_dir *(rw,sync,no_root_squash,no_all_squash)
rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。
crontab: you are not authorized to use cron. Sorry.
文件系统类型: ext2 : 早期linux中常用的文件系统 ext3 : ext2的升级版,带日志功能 RAMFS : 内存文件系统,速度很快 NFS : 网络文件系统,由SUN发明,主要用于远程文件共享 MS-DOS : MS-DOS文件系统 VFAT : Windows 95/98 操作系统采用的文件系统 FAT : Windows XP 操作系统采用的文件系统 NTFS : Windows NT/XP 操作系统采用的文件系统 HPFS : OS/2 操作系统采用的文件系统 PROC : 虚拟的进程文件系统 ISO9660 : 大部分光盘所采用的文件系统 ufsSun : OS 所采用的文件系统 NCPFS : Novell 服务器所采用的文件系统 SMBFS : Samba 的共享文件系统 XFS : 由SGI开发的先进的日志文件系统,支持超大容量文件 JFS :IBM的AIX使用的日志文件系统 ReiserFS : 基于平衡树结构的文件系统 udf: 可擦写的数据光盘文件系统
现在行业对于测试工程师的要求越来越高,除了要会自动化测试,会数据库操作,现在对于linux命令的要求也越来越高了,因为很多时候,测试环境以及持续集成持续交付需要用到越来越多的Linux命令,本文就来给大家介绍一下面试常见的Linux问题以及基本概念。
stat命令用于显示文件或文件系统的详细信息。在显示文件信息时,比ls命令更加详细。
1.检测LINUX系统识别的硬盘设备 [root@localhost ~]# fdisk -l 磁盘 /dev/sda:42.9 GB, 42949672960 字节,83886080 个扇区 Units = 扇区 of 1 * 512 = 512 bytes 扇区大小(逻辑/物理):512 字节 / 512 字节 I/O 大小(最小/最佳):512 字节 / 512 字节 磁盘标签类型:dos 磁盘标识符:0x000d3824 设备 Boot Start
背景 计算机硬件性能在过去十年间的发展普遍遵循摩尔定律,通用计算机的CPU主频早已超过3GHz,内存也进入了普及DDR4的时代。然而传统硬盘虽然在存储容量上增长迅速,但是在读写性能上并无明显提升,同时SSD硬盘价格高昂,不能在短时间内完全替代传统硬盘。传统磁盘的I/O读写速度成为了计算机系统性能提高的瓶颈,制约了计算机整体性能的发展。 硬盘性能的制约因素是什么?如何根据磁盘I/O特性来进行系统设计?针对这些问题,本文将介绍硬盘的物理结构和性能指标,以及操作系统针对磁盘性能所做的优化,最后讨论下基于磁盘I/O
HACMP,全称为IBM High Availablity Cluster Multiprocessing。
下载:http://sourceforge.net/projects/nethogs/files/nethogs/0.8/nethogs-0.8.0.tar.gz/download
运维工作除了技能以外,其实用得比较多的就是工具了。好用的工具可以起到事半功倍。今天浩道跟大家分享几款可以给你运维工作涨姿势的实用工具,一起看看,用起来!
由于各种不同的问题,我们经常会遇到需要将一个大文件分割存储的问题。比如github里单个文件大小一般不能超过100M、比如FAT32文件系统里单个文件大小不能超过4G,比如我们想把某一个数据文件分割存储和查看,比如对日志文件进行分割保存等等。
IOZone 是一款 Linux 文件系统性能测试工具 可以测试不同的操作系统中文件系统的读写性能。
本文介绍几款 Linux 运维比较实用的工具,希望对 Linux 运维人员有所帮助。
不必太纠结于当下,也不必太忧虑未来,当你经历过一些事情的时候,眼前的风景已经和从前不一样了。——村上春树
#1 - 错误: 设备上无剩余空间 当你的类UNIX系统磁盘写满了时你会在屏幕上看到这样的信息。本例中,我运行fallocate命令然后我的系统就会提示磁盘空间已经耗尽: $ fallocate -l 1G test4.imgfallocate: test4.img: fallocate failed: No space left on device 第一步是运行df命令来查看一个有分区的文件系统的总磁盘空间和可用空间的信息: $ df 或者试试可读性比较强的输出格式: $ df -h 部分输出内容: Fi
本文为joshua317原创文章,转载请注明:转载自joshua317博客 https://www.joshua317.com/article/165
对于DBA来说Linux比较让人头疼的一个地方是,它不会因为MySQL很重要就避免将分配给MySQL的地址空间映射到swap上。对于频繁进行读写操作的系统而言,数据看似在内存而实际上在磁盘是非常糟糕的,响应时间的增长很可能直接拖垮整个系统。这篇blog主要讲讲我们作为DBA,怎样尽量避免MySQL惨遭swap的毒手。 首先我们要了解点基础的东西,比如说为什么会产生swap。假设我们的物理内存是16G,swap是4G。如果MySQL本身已经占用了12G物理内存,而同时其他程序或者系统模块又需要6G内存,这时候操作系统就可能把MySQL所拥有的一部分地址空间映射到swap上去。 cp一个大文件,或用mysqldump导出一个很大的数据库的时候,文件系统往往会向Linux申请大量的内存作为cache,一不小心就会导致L使用swap。
如果 root 密码忘记了,grub 的密码也忘记了,可以进救援模式将 /mnt/sysimage/boot/grub/grub.conf 文件里密码那行删了即可,或者直接修改 shadow 文件,直接把 root 密码删了,即可以使用 root 进行空口令登录了。
VMM Virtual Memory Management是所有操作系统都要解决的问题,也是非常硬件相关的问题,必须从硬件CPU的地址管理开始谈起。我们先了解一些术语:
1、查看硬盘分区情况和各分区挂载情况 fdisk -l df -h 📷 2、将未分区空间进行分区 # 磁盘命令操作: # a toggle a bootable flag # b edit bsd disklabel # c toggle the dos compatibility flag # d delete a partition # g create a new empty GPT partition table # G create an IRIX (SGI) partit
作者:kevineluo,腾讯 CSIG 后台开发工程师 本文将从文件传输场景以及零拷贝技术深究 Linux I/O 的发展过程、优化手段以及实际应用。 前言 存储器是计算机的核心部件之一,在完全理想的状态下,存储器应该要同时具备以下三种特性: 速度足够快:存储器的存取速度应当快于 CPU 执行一条指令,这样 CPU 的效率才不会受限于存储器; 容量足够大:容量能够存储计算机所需的全部数据; 价格足够便宜:价格低廉,所有类型的计算机都能配备。 但是现实往往是残酷的,我们目前的计算机技术无法同时满足上述的三个
存储器是计算机的核心部件之一,在完全理想的状态下,存储器应该要同时具备以下三种特性:
导言 | 本文邀请到腾讯CSIG后台开发工程师kevineluo从文件传输场景以及零拷贝技术深究Linux I/O的发展过程、优化手段以及实际应用。I/O相关的各类优化已经深入到了日常开发者接触到的语言、中间件以及数据库的方方面面。通过了解和学习相关技术和思想,开发者能对日后自己的程序设计以及性能优化上有所启发。 前言 存储器是计算机的核心部件之一,在完全理想的状态下,存储器应该要同时具备以下三种特性:第一,速度足够快:存储器的存取速度应当快于CPU执行一条指令,这样CPU的效率才不会受限于存储器;第二,
领取专属 10元无门槛券
手把手带您无忧上云