描述:前面我们正针对于iSCSI与SCSI做了一个简单的介绍, 并且在网络共享中使用过 nfs 以及 smb而iSCSI同样有该功能, 本文记录在学习与工作中搭建与使用iSCSI网络存储案例;
当 Linux 系统连接到 SAN(存储区域网络)后,你需要重新扫描 iSCSI 服务以发现新的 LUN。
KVM环境和其他虚拟化或真实生产最大差异主要就是在实施前期准备工作上: 具体在 DB节点 和存储环境 的准备工作上有差异,本文会详细说明。
在RHEL7.3中,对于lvm操作部分与之前RHEL6版本没有区别,还是创建pv,vg,lv的方法,命令参考如下:
有兴趣的可以找我提供以上三个文件,当然在VMware Workstation上安装也是一样的,不一定非要ESXi上安装
一 iSCSI target的磁盘种类 大型文件 单一分区(partition) 磁盘 数组 RAID LVM 二 iSCSI创建步骤 建立用于共享的磁盘设备(分区/磁盘/文件) 创建后备磁盘 创建相应的IQN 创建相应的规则 #(可选) 为后备磁盘创建LUN 指定侦听的IP和端口 #(可选) 检查并保存配置 防火墙规则开放 服务(开机)启动 三 建立所需磁盘设备 3.1 建立一个3GB大小的/dev/sdc1作为共享 1 Device Boot Start End
前几天跟同事网上闲聊技术,吐槽之前自己没有配置过多路径的经历,虽然多路径的配置过程很简单,职责划分也应是主机或存储工程师来搞定,DBA只需要直接拿来用,但这样总感觉少了些踏实感。 本着学习的心态,在虚拟环境下模拟,来做一个多路径的实验。 本文主要描述使用iscsi模拟存储划出的1个LUN,最终由两条链路连接到主机,显示为两个磁盘的场景。为后续配置multipath提供前置环境。
Disk /dev/sda: 21.4 GB, 21474836480 bytes
实验环境准备: RHEL 6.5 + Oracle 11.2.0.4 RAC (2nodes)
在自己的工作站中安装的RAC测试环境,使用了iSCSI模拟共享存储,环境运行OK,但是在messages信息中频繁报错如下:
Linux平台 Oracle 18c RAC安装指导: Part1:Linux平台 Oracle 18c RAC安装Part1:准备工作 Part2:Linux平台 Oracle 18c RAC安装Part2:GI配置 Part3:Linux平台 Oracle 18c RAC安装Part3:DB配置
iSCSI 是一种块级别的协议,用于通过TCP/IP网络共享原始存储设备,可以用已经存在的IP和以太网如网卡、交换机、路由器等通过iSCSI协议共享和访问存储。iSCSI target是一种由远程iSCSI服务器(target)提供的远程硬盘。
在LINUX下安装ORACLE RAC时,建ASM磁盘组时有时会碰到两个节点上存储映射过来的磁盘盘符不一致,有时是物理路径一致,但聚合后路径不一致,有时甚至物理路径也不一致,此时就需将两个节点上的磁盘盘符修改为一致。
IQN名称:iqn.2016-10.com.example.system1:iscsi01
首先,需要安装Openfiler系统(类似安装Linux),我这里设定的IP地址:10.10.10.10(与RAC服务器网络相通)。安装完毕后通过web访问管理 https://10.10.10.10:446
LUN是逻辑单元号,它与iSCSI存储服务器共享。iSCSI 目标器通过TCP/IP网络共享它的物理驱动器给发起程序(initiator)。这些来自一个大型存储(SAN:Storage Area Network)的驱动器集合称作LUN。在真实环境中LUN是在LVM中定义的,因为它可以按需扩展。
Internet小型计算机系统接口是一个机遇TCP/IP的协议,用于通过IP网络仿真SCSI高性能本地存储总线,从而为远程存储设备提供数据传输和管理。作为SAN协议,iSCSI跨本地和广域网扩展SAN,通过分布式服务器和数组提供独立于位置的数据存储检索。
「 对每个人而言,真正的职责只有一个:找到自我。然后在心中坚守其一生,全心全意,永不停息。所有其它的路都是不完整的,是人的逃避方式,是对大众理想的懦弱回归,是随波逐流,是对内心的恐惧 ——赫尔曼·黑塞《德米安》」
工作原理: 当因为主机HBA卡、线缆、交换机或者存储设备的RAID控制器故障等原因造成一条物理路径失效时,服务器可以将通过此物理路径的I/O转移到其他正常的物理路径上面,应用程序不会觉察到这种改变,从而提高系统的可用性。
本次分享的案例是关于存储的数据恢复,存储上RAID崩溃导致存储无法启动。存储内部共有6台以上虚拟机,其中LINUX虚拟机3台为客户重要数据。 工程师初步分析得出存储结构为所有物理磁盘均在一个存储池内,再由存储池分出几个LUN,LUN1是vmfs卷,三台LINUX虚拟机也是在这个里面。 1、重组RAID 重组过程中发现本RAID5缺失2块盘(第一掉线盘掉线后热备盘顶替,之后又掉线一块盘使得RAID5处于降级状态。最后在掉线第三块盘时盘片划伤RAID崩溃),无法通过校验直接获取丢失盘的数据,所以只能使用磁盘同等大小的全0镜像进行重组(此方法只可用于紧急情况,因为依赖空镜像组成的RAID文件系统结构会被严重破坏,相当于每个条带都会缺失两个块的数据)。 2、提取LUN 分析存储结构,获取存储划分的MAP块。在找到MAP块之后解析得到各个LUN的数据块指针,编写数据提取程序提取LUN碎片。提取完成后进行碎片拼接,组成完整LUN。导出LUN内所有虚拟机,尝试启动。导出虚拟机后尝试启动,同预想相同,操作系统被破坏虚拟机无法启动。 3、提取虚拟机内文件 在虚拟机无法启动的情况下只能退而求其次,提取虚拟机内文件。在取出文件后进行测试,发现大多数文件都被破坏,只有少部分小文件可以打开。在与客户沟通后得知虚拟机内有MYSQL数据库,因为数据库底层存储的特殊性,可以通过扫描数据页进行数据提取。在找到此虚拟机后发现虚拟机启用快照,父盘和快照文件都被损坏的情况下常规合并操作无法完成,使用北亚自主研发VMFS快照合并程序进行快照合并。 4、获取MYSQL数据页并分析 根据MYSQL数据页特征进行数据页扫描并导出(innodb引擎可以使用此方案,myisam因为没有“数据页”概念所以不可用),分析系统表获取各用户表信息,根据各个表的ID进行数据页分割。 5、提取表结构 因为数据库使用时间已久,表结构也曾多次变更,加上系统表在存储损坏后也有部分数据丢失,记录提取过程遇到很大阻力。首先获取最初版本数据库各个表的表结构:合并快照前的父盘因为写入较早,使用第一块掉线盘进行校验获取到这个文件的完整数据,然后提取出其中数据库各个表的表结构,之后客户方提供了最新版的数据库建表脚本。提取记录:分别使用两组不同表结构对数据记录进行提取并导入恢复环境中的MYSQL数据库内,然后剔除各个表中因为表结构变更造成的乱码数据,最后将两组数据分别导出为.sql文件。 6、数据恢复结果 因为两个版本的数据库表结构不同,所以联系了客户方的应用工程师进行调试。调试完成后导入平台,经验证,数据可用本次数据恢复成功。
由于时代和磁盘技术发展的限制(单盘容量和性能发展缓慢),产生了raid相关技术。技术产生了,如何才能快速的来实现和进行部署呢?最简单最快的方法就是在操作系统层面实现或者在操作系统上部署raid软件(有点类似虚拟化里面kvm和xen的区别,kvm在linux内核里,xen是linux系统层面上的软件)。功能是轻易的实现了,但是性能呢,非常一般。早期阶段,CPU技术发展有限(也没有现在的什么多核超线程,频率也比较低),但raid计算又会消耗大量的CPU,造成CPU使用飙升。
本次北亚小编分享的案例是关于IBM存储DS3512,6块盘,坏了多块盘,导致阵列失效,数据丢失。
使用mdadm命令创建RAID磁盘阵列。其中,-Cv参数为创建阵列并显示过程,/dev/md0为生成的阵列组名称,-n 3参数为创建RAID 5磁盘阵列所需的硬盘个数,-l 5参数为RAID磁盘阵列的级别,-x 1参数为磁盘阵列的备份盘个数。在命令后面要逐一写上使用的硬盘名称。
vdbench是一个 I/O 工作负载生成器,用于验证数据完整性和度量直接附加和网络连接的存储的性能。它是一个免费的工具,容易使用,而且常常用于测试和基准测试。
我们知道,日常中我们的台式机、笔记本电脑上的磁盘都会有几百G的容量,这种磁盘一般都是机械磁盘,即使用一些精密的机械部件组成的磁盘。而近几年来,越来越多的笔记本电脑中内置了固态磁盘,固态磁盘又称SSD磁盘。
建立Normal冗余级别的OCR卷组,需要至少3个LUN,每个LUN最少容量为1GB,需要在存储端配置3个LUN至RAC集群中的各个节点。
之前有简单介绍过iscsi网络存储的基本配置CentOS配置iSCSI网络存储服务,下面再详细介绍iSCSI服务端与客户端的常用命令tgtadm和iscsiadm,以及如何配置基于CHAP认证的iSCSI网络存储服务
SATA:容量大,500G, 750G, 1T, 2T, 3T, 4T 不支持热插拔,价格低。
在安装完VirtualBox中的Linux以后,网络默认是NAT的 在看过帮助手册以后,发现可以使用NAT的形式登录进VirTualBox中的linux
在上一期的分享中,我们了解到RAID是什么,以及各种RAID的优缺点。那么,本期分享我们在存储中该怎样配置RAID?然后怎么使用存储提供的空间呢?
当运行/root/foo.sh redhat,输出fedora 当运行/root/foo.sh fedora,输出redhat
首先,通过现有的vm1「在上篇文章 使用KVM创建OEL虚拟机 已创建」克隆出一个vm,名字叫做db1,然后修改一些配置,使其更适用于Oracle DB的主机。
服务器内有两块硬盘掉线,现在服务器内的lun丢失了,数据恢复工程师开始对故障服务器进行检测发现掉线的硬盘并没有存在物理故障、也没有坏道等其他故障。于是开始对客户的故障服务器进行镜像备份。
存储:华为S5500T 服务器:华为RH5885 V2 操作系统:linux RedHat6.4 64bit
Docker是一个非常成功的Linux开源项目。它在Linux操作系统下无需增加管理器即可虚拟化应用程序。该应用程序常被抽象地误认为是操作系统(具有Linux内核资源隔离功能的OS)的唯一的应用程序。换句话说,该Linux应用程序部署在Docker数据容器中,该容器能利用Linux OS 的所有功能并能隔离应用程序。 Docker容器具有移动性并且与虚拟机(VMs)相互隔离,且仅在虚拟机上进行部分操作。在深入研究Docker数据保护这个问题之前,弄清楚Docker镜像和Docker数据容器之前的差异是十分必
HP-UX操作系统全称为Hewlett Packard UniX,是惠普服务器上所有的操作系统。其发源自 AT & T SRV4系统,可以支持HP的PA-RISC处理器、Intel的Itanium处理器。因为PA-RISC的停产(RISC机器现在越来越没落了),今后的主流就是只支持Intel的处理器了。
本文安装环境:RHEL 6.5 + Oracle 12.2.0.1 GI & RAC
【1】vdbench是一个 I/O 工作负载生成器,用于验证数据完整性和度量直接附加和网络连接的存储的性能。它是一个免费的工具,容易使用,而且常常用于测试和基准测试。
[TOC] 0x00 前言简述 Q: 什么是文件系统? 答: 通过创建文件系统可以使文件系统以文件目录的形式共享存储资源。 Q: 什么是文件系统配额? 答: 文件系统配额是一种资源管控技术,用以限制
1)磁盘阵列:磁盘阵列是一种采用RAID技术、冗余技术和在线维护技术制造的一种高性能、高可用的磁盘存储设备。
本文是来自SMPTE 2019的演讲,演讲者分别是Ambdo联合创始人Pei-lun Hsieh 和来自Skywalker Sound 的工程总监Steve Morris。演讲的主要内容是介绍Ambidio这种新的沉浸式音频,并对它的效果评估和使用方法进行了讲解。
现象:在Oracle 12.2.0.1 RAC环境,在其ASM实例中,如果添加不同大小或者不同数量的LUN到failgroup中,会报错:
there is no much merit in build soft raid on production enviroment
http://blog.itpub.net/26736162/viewspace-2141215/
vdbench是一个I/O工作负载生成器,通常用于验证数据完整性和度量直接附加(或网络连接)存储性能。它可以运行在windows、linux环境,可用于测试文件系统或块设备基准性能。
进入vdbench相应目录下./vdbench -t 来测试一下vdbench的可用性,如果正常,会在目录下自动生成一个output目录。
本人一开始不了解这个ITL映射是如何进行连接并访问的,正好用到了这方面的知识,以此记录下来。
领取专属 10元无门槛券
手把手带您无忧上云