裸设备,是没有经过格式化的分区或磁盘,也叫裸分区(原始分区),不被Unix通过文件系统来读取的特殊字符设备。它由应用程序负责对 它进行读写操作。不经过文件系统的缓冲,是不被操作系统直接管理的设备。由于跨过操作系统管理,使得I/O效率更高。在基于SUSE Linux 10上安装Oracle 10g RAC的话,由于Oracle 10g 不支持将ocr与votingdisk 存放在ASM 磁盘中,因此,依然需要为其使用裸设备方式。SUSE Linux裸设备的配置与其他的Linux稍有差异,下面将具体描述。
本文将以 CentOS 8.0 操作系统为例,不同操作系统的格式化操作可能不同,本文仅供参考。
AutoMQ 是一个建立在 S3 Stream 流存储库基础上的 Apache Kafka 云原生重塑解决方案。S3 Stream 利用云盘和对象存储,将对象存储作为主存储,将云盘作为缓冲区,实现了低延迟、高吞吐、“无限”容量和低成本的流式存储。
正常情况下,svctm应该是小于await值的,而svctm的大小和磁盘性能有关,CPU、内存的负荷也会对svctm值造成影响,过多的请求也会间接导致svctm值的增加。
ASM自10g开始作为Grid的一部分,对于存储管理层的一个重大变革。重要性和丰富的功能就不多说了,主要的一点,是完全免费的。所以对于高端存储望而却步,而且不希望投入很多的投入在存储上,可以考虑ASM来很实惠的完成存储管理。 10g,11g的asm还是存在一定的差别,在10g中通过dbca可以直接在里面配置asm,到了11g,把asm的功能从dbca里分离开来,单独有一个asmca来配置ASM,而且需要在安装grid包的场景下才可以使用。 问题1: 启用ASM出错。 ASM的配置,如果希望启用,首先需要使
在VMware下的Oracle RAC 环境中,对于共享存储不够或者需要增加新的共享磁盘来配置ocr或votingdisk的多路镜像,我们可以通过vmware下的命令行来增加共享存储,然后将这些新磁盘逐一追加到虚拟机即可。下面给出具体描述。
从oracle中ASM的发展来看,到今天的普及使用,应该可以算做一种文化,因为这体现的不仅是ASM技术在实际工作中的成功普及,而且从某种程度来说,都代表了一个新生事物的发展历程,无论是java的发展还是各种开源项目的普及,都有着相似的痕迹。 asm从Oracle 10g版本推出,是作为grid的一部分鼓励使用的。而在这段漫长的时间里面,其实asm就在逐渐完善。 就如同你去公司内部推广一套很新技术的时候,人家肯定得衡量你的东西是不是足够好,如果性能指标能够达到指数级的提升,或者操作能够简化到极致,而且稳定,
Linux操作系统:CentOS Linux release 7.6.1810 (Core)
云和恩墨旗下智能诊断平台Bethune今日发布了【2016年度中国Oracle数据库使用现状分析报告】,该报告采样2016年度国内18个大行业、485位用户(个人/企业)的1841套Oracle数据库信息,根据该平台提供的3356次数据库健康检查数据展开全方位多维度分析,让大家对Oracle数据库在国内的使用状况形成更为直观、全面的认知。 Oracle数据库从20世纪末就已开始在国内使用,在经历了20多年的迅猛发展后,目前已经占据了全球数据库的首位,在国内拥有数十万的技术粉丝与数万家企业用户,但到目前为止,
Oracle数据库从20世纪末就已开始在国内使用,在经历了20多年的迅猛发展后,目前已经占据了全球数据库的首位,在国内拥有数十万的技术粉丝与数万家企业用户,但到目前为止,还从未有过一份报告让我们真正了解真实国内Oracle数据库使用现状,而【2016年度中国Oracle数据库使用现状分析报告】将为我们带来真实的现状展示。 Bethune基于真实用户数据库体检数据所提供的的【2016年度中国Oracle数据库使用现状分析报告】,为我们带来了大视角的国内Oracle数据库使用实景展现,在调研了大量Oracle数
需求背景:在AIX6.1上安装Oracle 10g RAC,一线工程师反馈节点2运行root脚本无法成功,跟进排查发现实际上底层存储磁盘的准备工作就存在问题。 客户要求底层存储选用裸设备方式,所以必须要配合HACMP创建并发卷组来实现。 其实我们标准化最佳实践是建议选用ASM的,一来不需要再关注条带化,二来可以完全不需要HACMP(虽然10g版本的ocr和votedisk必须在裸设备上,但是由于ocr和votedisk特殊性,不必使用并发卷组,即不用使用HACMP)日后运维诊断问题时也更加清晰。
在前文《磁盘开篇:扒开机械硬盘坚硬的外衣!》和《拆解固态硬盘结构》中,我们了解到了硬盘基本单位是扇区。在《磁盘分区也是隐含了技术技巧的》中我们也了解了磁盘分区是怎么回事,但刚分完区的硬盘也是不能直接被被操作系统使用的,必须还得要经过格式化。那么今天我们就简单聊一聊,Linux下的格式化到底都干了些啥。
问题的背景是这样,以前学习oracle 10g rac的时候在rhel 5上安装,真是快使出吃奶的劲了,前前后后忙活了一个多星期,配网络,配共享存储,修改vmware的配置文件,结果在root.sh的部分发现认证系统 是rhel 4,rhel 5中还需要手工去修改一些脚本内容才可以,要不总是在root.sh的时候出现很奇怪的报错。所以包括我还有很多的DBA朋友们,可能都在这个历程中感受 到了艰辛。越是难做,越发感觉安装真是一件大活,都特别想亲自看看安装的过程。所以自己也准备了好几套虚拟机环境,安装的过程
----------管理命令---------- ps命令:查看进程 要对系统中进程进行监测控制,查看状态,内存,CPU的使用情况,使用命令:/bin/ps (1) ps :是显示瞬间进程的状态,并不动态连续; (2) top:如果想对进程运行时间监控,应该用 top 命令; (3) kill 用于杀死进程或者给进程发送信号; (4) 查看文章最后的man手册,可以查看ps的每项输出的含义,to find: STANDARD FORMAT SPE
把多个存储介质(如硬盘,RAID)通过一定的技术将他们集中起来,组成一个存储池并进行统一管理,从主机和工作站的角度看是一个超大容量(如1T以上)的硬盘。将多种,多个存储设备统一管理起来,为用户提供大容量,高数据传输性能的存储系统称为存储虚拟化。
在上一期的分享中,我们学习到了,怎样来配置存储以及如何使用存储提供的空间。那么本期为大家带来云计算Fusioncompute中的存储虚拟化技术,它是指什么,它又有什么特点呢?
几种 I/O 类型概念的介绍 AIO AIO 的全称为 Asynchronous I/O,即异步 I/O。在 AIO 的工作模式下,应用程序向操作系统发起 I/O 请求(读 / 写)以后,不必等 I/O 完成,即可发起新的 I/O 请求。通过这种方法,可以提示提升 I/O 吞吐量和性能。从 AIX5L 起,AIX 支持两种 AIO:legacy AIO 和 POSIX AIO。AIO 既支持文件系统也支持裸设备。 DIO AIO 的全称为 Direct I/O,即直接 I/O。在 DIO 的工作模式下,数据
早于windows 2008 的windows系统,2010年以前的linux系统,第一个分区的扇区是磁盘第63扇区,并且扇区尺寸是是512byte,这个是历史的原因,硬盘必须将cylinder / head / sector (CHS) 信息报告给BIOS,这个信息在现代的操作系统是无意义的,但是磁盘依然报告给bios每个磁盘轨道有63个扇区,因此操作系统依然将第一个分区的开始位置放置到第一个磁盘轨道上,在第63个扇区开始。
现在很多云原生应用程序都是用http作为主要的传输机制,但是为web应用程序构建的负载均衡却不能满足一些高性能的场景。如nginx,haproxy虽然能够处理负载的应用场景,但是让它们去支撑一些高性能和一些数据密集型工作,却不能很好的应用。
dd命令用于复制文件并对原文件的内容进行转换和格式化处理。dd命令功能很强大的,对于一些比较底层的问题,使用dd命令往往可以得到出人意料的效果。用的比较多的还是用dd来备份裸设备。但是不推荐,如果需要备份Oracle裸设备,可以使用rman备份,或使用第三方软件备份,使用dd的话,管理起来不太方便。
建议在有需要的时候使用 dd 对物理磁盘操作,如果是文件系统的话还是使用 tar backup cpio 等其他命令更加方便。另外,使用 dd 对磁盘操作时,最好使用块设备文件。
在我们进行数据持久化,对文件内容进行落盘处理时,我们时常会使用fsync操作,该操作会将文件关联的脏页(dirty page)数据(实际文件内容及元数据信息)一同写回磁盘。这里提到的脏页(dirty page)即为页缓存(page cache)。
该命令可以显示关于系统各种资源之间相关性能的简要信息,这里我们主要用它来看CPU的一个负载情况。
[注: 转载自今日头条号"闪念基因"] 在我们进行数据持久化,对文件内容进行落盘处理时,我们时常会使用fsync操作,该操作会将文件关联的脏页(dirty page)数据(实际文件内容及元数据信息)一同写回磁盘。这里提到的脏页(dirty page)即为页缓存(page cache)。
本文为joshua317原创文章,转载请注明:转载自joshua317博客 https://www.joshua317.com/article/165
杨廷琨(yangtingkun) 云和恩墨 CTO 高级咨询顾问,Oracle ACE总监,ITPUB Oracle数据库管理版版主 这是一则生产环境的真实维护过程,由于RAC的测试环境空间不足,因此规划给ASM扩展空间,然而在给ASM添加新的磁盘空间时又出现了故障,这类问题在很多用户的生产环境中可能也会遇到。 空间扩展的操作步骤如下: 在RAC环境的节点1上启动了DBCA工具来管理ASM设备; 由于新增的裸设备在ASM图形界面下看不到; 通过root用户将裸设备的访问权限授予了操作系统上的Oracl
容器的存储空间如何提供? 前段时间,笔者看到一篇文章,题目是“容器就是Linux”,写的不错。容器说简单点就是容器级别的虚拟化,在一个Kernel Space上虚拟出多个User Space。那么,容器如何使用存储空间呢? 我们知道,Windows和Linux的操作系统,都是使用文件系统的。在RHEL上,可以针对磁盘划分区,然后创建文件系统。当然,也可以使用LVM的方式,将磁盘创建vg,划分lv,然后创建文件系统。 那么,Docker通过什么方式获取存储空间呢,或者说使用什么存储驱动? 在RHEL, Ce
最近因为搭建scutosc的论坛,买了一台新的腾讯云的2核4G的服务器,但是开机后发现htop命令显示内存只有3.3G:
有时候我们在做维护的时候,总会遇到类似于IO特别高,但不能判定是IO瓶颈还是软件参数设置不当导致热盘的问题.这时候通常希望能知道磁盘的读写速度,来进行下一步的决策.
读写节点和只读节点共享一份底层存储读写节点和只读节点之间通过TCP或RDMA协议使用DMS组件共享Shared Buffer Pool中的热数据页读写节点和只读节点通过DSS API和DSS Server的协同访问底层共享存储中的持久化的数据
写入速度使用命令:time dd if=/dev/zero of=/tmp/test.dat bs=1G count=1
我们常需要对Oracle数据库进行迁移,迁移到更加高级的主机上、迁移到远程的机房上、迁移到不同的平台下 一、exp/imp: 这也算是最常用最简单的方法了,一般是基于应用的owner级做导出导入。 操作方法为:在新库建立好owner和表空间,停老库的应用,在老库做 exp user/pwd owner=XXX file=exp_xxx.dmp log=exp_xxx.log buffer=6000000 传dmp文件到新库,在新库做 imp user/pwd fromuser=XXX touser=XX
服务器内有两块硬盘掉线,现在服务器内的lun丢失了,数据恢复工程师开始对故障服务器进行检测发现掉线的硬盘并没有存在物理故障、也没有坏道等其他故障。于是开始对客户的故障服务器进行镜像备份。
我对Linux不是很熟悉,我在学习的过程中记录了很多笔记,在去年发过一篇文章:CentOS 7系统服务器上安装R和Rstudio,并在浏览器中运行Rstudio,今天我把CentOS云服务器挂载云硬盘与硬盘分区这一章的笔记分享给大家。本教程是以腾讯云服务器和云硬盘介绍的,所以要实操的话,你自己还需要花点钱。 1、云硬盘的挂载
最近给客户基于SuSe 11 SP3下多路径部署Oracle 10g RAC。SuSe 11下用10g,也算一朵奇葩,连篇文档都比较难找,谁叫Oracle太贵呢。下面主要是描述了在该环境下如何去配置多路径。由于10g下的ocr与votingdisk不能直接存放到asm磁盘,所以依旧要使用raw设备方式来保存。下文供大家参考。
经过pool,rbd,object、pg的层层映射关系,在PG这一层中,已经知道存储数据的3个OSD所在位置及主从关系。 客户端与primay OSD建立SOCKET 通信,将要写入的数据传给primary OSD,由primary OSD再将数据发送给其他replica OSD数据节点。
avahi-daemon是一种Linux操作系统上运行在客户机上实施查找基于网络的Zeroconf service的服务守护进程。 该服务可以为Zeroconf网络实现DNS服务发现及DNS组播规范。 用户程序通过Linux D-Bus信息传递接收发现到网络服务和资源的通知。该守护进程配合缓存用户程序的答复,以帮助减少因答复而产生的网络流量。 每个客户的都需要安装vdbench,路径保持一致
张乐奕 云和恩墨副总经理 Oracle ACE 总监 ITPUB Oracle数据库管理版版主、Oracle高可用版版主、ACOUG联合创始人 在 Oracle 10.2.0.5 之前,ASM 磁盘的头块并没有自己的备份,因此一旦头块损坏,如果没有以前 kfed read 备份出来的信息,也就没有办法使用 kfed merge来作头块恢复,特别是如果一个磁盘组中所有的磁盘头块都出现问题(比如被人为地创建了 PV ),恢复 ASM 磁盘头块的操作就会非常麻烦。 但是从 Oracle 10.2.0.5 之
不管是 10g、11g、12c ,RAC 架构的数据文件均是存放在共享存储上的,但是由于扩容时误操作少写一个符号,则会将数据文件建立到本地文件系统上的 $ORACLE_HOME/dbs 目录下,这样当然不会立即出错,也提示添加成功,但当另外一个节点访问此数据文件上面的数据时就会报错 ORA-1157、ORA-1110 提示无法锁定该数据文件,导致出现异常应用无法访问此数据。
Oracle Clusterware把整个集群的配置信息放在共享存储上,这些信息包括了集群节点的列表、集群数据库实例到节点的映射以及CRS应用程序资源信息。也即是存放在ocr 磁盘(或者ocfs文件)上。因此对于这个配置文件的重要性是不言而喻的。任意使得ocr配置发生变化的操作在操作之间或之后都建议立即备份ocr。本文主要基于Oracle 10g RAC环境描述OCR的备份与恢复。 OCR 相关参考: Oracle RAC OCR 与健忘症 Oracle RAC OCR 的管理与维护 一、OCR的备份与恢复概念 与Oracle数据库备份恢复相似,OCR的备份也有物理备份或逻辑备份的概念,因此有两种备份方式,两种恢复方式。 物理备份与恢复: 缺省情况下,Oracle 每4个小时对其做一次备份,并且保留最后的3个副本,以及前一天,前一周的最后一个备份副本。 用户不能自定义备份频率以及备份文件的副本数。 对于OCR的备份备份由是由Master Node CRSD进程完成,因此备份的默认位置是$CRS_HOME/crs/cdata/<cluster_name>目录下。 备份的文件会自动更名,以反应备份时间顺序,最近一次的备份叫作backup00.ocr。 由于是在Master Node的节点之上进行备份,因此备份文件仅存在于Master Node节点。 对于Master Node的节点crash之后则由剩余节点接管。 备份目录可以通过ocrconfig -backuploc <directory_name> 命令修改。 OCR磁盘最多只能有两个,一个Primary OCR 和一个Mirror OCR。两者互为镜像以避免单点故障。 对于物理备份恢复,不能简单的使用操作系统级别的复制命令(使用ocr文件时)来完成,该操作将导致ocr不可用。 逻辑备份与恢复: 使用ocrconfig -export 方式产生的备份,统称之为逻辑备份。 对于重大的ocr配置发生变化前后,如添加删除节点,修改集群资源,创建数据库等,都建议使用逻辑备份。 对于由于错误配置而导致的ocr被损坏的情形下,我们可以使用ocrconfig -import方式进行恢复。 对于这种逻辑方式也可以还原丢失或损坏的ocr磁盘(文件)。 备份建议: 将oracle的自动备份产生的文件复制到共享或其它可用存储设备上。 每天至少导出一次ocr配置信息。 二、备份OCR
Oracle自发布12.1之后,就一直声称要全面转云,在之后的三四年里,一直杳无音信,大家都在猜测,Oracle又在憋什么大招,果然,2017阳春三月,大招来了!今年三月份,在广大用户的热切盼望中,O
来源:马哥教育链接:https://mp.weixin.qq.com/s/UupllldADYE0sHbRs0uouQXfS文件系统是SGI开发的高级日志文件系统,XFS极具伸缩性,非常健壮。所幸的是SGI将其移植到了Linux系统中。在linux环境下。目前版本可用的最新XFS文件系统的为1.2版本,可以很好地工作在2.4核心下。XFS文件系统简介主要特性包括以下几点:数据完全性采用XFS文件系统,当意想不到的宕机发生后,首先,由于文件系统开启了日志功能,所以你磁盘上的文件不再会意外宕机而遭到破坏了。不论目前文件系统上存储的文件与数据有多少,文件系统都可以根据所记录的日志在很短的时间内迅速恢复磁盘文件内容。传输特性XFS文件系统采用优化算法,日志记录对整体文件操作影响非常小。XFS查询与分配存储空间非常快。xfs文件系统能连续提供快速的反应时间。笔者曾经对XFS、JFS、Ext3、ReiserFS文件系统进行过测试,XFS文件文件系统的性能表现相当出众。可扩展性XFS 是一个全64-bit的文件系统,它可以支持上百万T字节的存储空间。对特大文件及小尺寸文件的支持都表现出众,支持特大数量的目录。最大可支持的文件大小为263 = 9 x 1018 = 9 exabytes,最大文件系统尺寸为18 exabytes。XFS使用高的表结构(B+树),保证了文件系统可以快速搜索与快速空间分配。XFS能够持续提供高速操作,文件系统的性能不受目录中目录及文件数量的限制。传输带宽XFS 能以接近裸设备I/O的性能存储数据。在单个文件系统的测试中,其吞吐量最高可达7GB每秒,对单个文件的读写操作,其吞吐量可达4GB每秒。XFS文件系统的使用下载与编译内核下载相应版本的内核补丁,解压补丁软件包,对系统核心打补丁下载地址:ftp://oss.sgi.com/projects/xfs/d … .4.18-all.patch.bz2对核心打补丁,下载解压后,得到一个文件:xfs-1.1-2.4.18-all.patch文件。对核心进行修补如下:# cd /usr/src/linux # patch -p1 < /path/to/xfs-1.1-2.4.18-all.patch修补工作完成后,下一步要进行的工作是编译核心,将XFS编译进Linux核心可中。首先运行以下命令,选择核心支持XFS文件系统:#make menuconfig在“文件系统“菜单中选择:<*> SGI XFS filesystem support ##说明:将XFS文件系统的支持编译进核心或 SGI XFS filesystem support ##说明:以动态加载模块的方式支持XFS文件系统另外还有两个选择:Enable XFS DMAPI ##说明:对磁盘管理的API,存储管理应用程序使用 Enable XFS Quota ##说明:支持配合Quota对用户使用磁盘空间大小管理完成以上工作后,退出并保存核心选择配置之后,然后编译内核,安装核心:#make bzImage #make module #make module_install #make install如果你对以上复杂繁琐的工作没有耐心或没有把握,那么可以直接从SGI的站点上下载已经打好补丁的核心,其版本为2.4.18。它是一个rpm软件包,你只要简单地安装即可。SGI提交的核心有两种,分别供smp及单处理器的机器使用。创建XFS文件系统完成对核心的编译后,还应下载与之配套的XFSprogs工具软件包,也即mkfs.xfs工具。不然我们无法完成对分区的格式化:即无法将一个分区格式化成XFS文件系统的格式。要下载的软件包名称:xfsprogs-2.0.3。将所下载的XFSProgs工具解压,安装,mkfs.xfs自动安装在/sbin目录下。#tar –xvf xfsprogs-2.0.3.src.tar.gz #cd xfsprogs-2.0.3src #./configure #make #make install使用mkfs.xfs格式化磁盘为xfs文件系统,方法如下:# /sbin/mkfs.xfs /dev/sda6 #说明:将分区格式化为xfs文件系统,以下为显示内容: meta-data=/dev/sda6 isize=256 agcount=8, agsize=128017 blks data = bsize=4096 blocks=1024135, imaxpct=25 = sunit=0 swidth=0 blks, unwritten=0 naming =version 2 bsize=4096 log =internal log bsize=4096 blocks=1200 realtime =none
与快速配置云服务器相比,自定义配置提供您更丰富的镜像平台,以及存储、带宽以及安全组等高级设置,您可根据需求选择合适的配置。
操作系统(Operating System,简称OS),是管理和控制计算机硬件与资源的计算机程序,是直接运行在“裸机”上的最基础的系统软件,任何其他软件都必须在操作系统的支持下才能运行。
mysql本质上是基于C(mysql)S(mysqld)模式的一种网络服务。因此可以看到特定的端口号。
ceph 客户端从ceph monitor获取cluster map,然后执行在pool中的pg执行IO操作。cursh ruleset和pg的数量是决定数据对象放在哪里的核心因素。获取到最新的cluster map,ceph客户端是不知道数据对象在哪里。
内核源码网址:http://www.kernel.org,所有来自全世界的对Linux源码的修改最终都会汇总到这个网站,由Linus领导的开源社区对其进行甄别和修改最终决定是否进入到Linux主线内核源码中。
领取专属 10元无门槛券
手把手带您无忧上云