管理OCR与Voting Disk(原创)

Voting Disk 概述

Oracle Clusterware由2部分组成，分别是Voting Disk和 OCR。Voting Disk里面记录着节点成员的信息。如RAC数据库中有哪些节点成员，节点增加或者删除时也同样会将信息记录进来。Voting Disk必须存放在共享存储上，通常来说是存放在裸设备上。Voting Disk主要为了在出现脑裂时，决定那个Partion获得控制权，其他的Partion必须从集群中剔除。为了保证Voting Disk的安全，需要配置多个Voting Disk，Voting disk使用的是一种“多数可用算法”。当有多个Voting  disk时，则必须一半以上的Votedisk同时使用，Clusterware才能正常使用。 比如配置了4个Votedisk，坏一个Votedisk，集群可以正常工作，如果坏了2个，则不能满足半数以上，集群会立即宕掉，所有节点立即重启，所 以如果添加Votedisk，尽量不要只添加一个，而应该添加2个。Oracle建议Voting Disk的个数应该为奇数个，如 1、3、5个，每个Voting Disk的大小约为20MB。关于Voting Disk的更多内容，看参阅笔者的如下博客
http://czmmiao.iteye.com/blog/1577531

维护Voting Disk

注意:对Voting Disk的更改必须用root来进行，添加或删除Voting Disk都必须在crs资源关闭的情况下进行，同时即使在CRS关闭情况下仍然需要使用-force参数
查看Voting Disk

# ./crsctl query css votedisk
 0.     0    /dev/raw/raw2

备份Voting Disk
#dd if=/dev/raw/raw2 f=/home/oracle/voting_disk.bak
恢复Voting Disk
#dd if=/home/oracle/voting_disk.bak f=/dev/raw/raw2

添加和删除Voting Disk

# raw -qa
/dev/raw/raw1:  bound to major 8, minor 17
/dev/raw/raw2:  bound to major 8, minor 33
/dev/raw/raw3:  bound to major 8, minor 58

# ./crsctl stop crs
Stopping resources.
Successfully stopped CRS resources
Stopping CSSD.
Shutting down CSS daemon.
Shutdown request successfully issued.

# ./crsctl add css votedisk /dev/raw/raw4 -force
Now formatting voting disk: /dev/raw/raw4
CLSFMT returned with error [4].
failed 9 to initailize votedisk /dev/raw/raw4.

# ./crsctl add css votedisk /dev/raw/raw3 -force
Now formatting voting disk: /dev/raw/raw3
successful addition of votedisk /dev/raw/raw3.
# ./crsctl query css votedisk
 0.     0    /dev/raw/raw2
 1.     0    /dev/raw/raw4
 2.     0    /dev/raw/raw3
located 3 votedisk(s).
# ls -l /dev/raw/raw*
crw-rw---- 1 oracle oinstall   162, 1 Jan  1 20:19 /dev/raw/raw1
crw-rw---- 1 oracle oinstall   162, 2 Jan  1 20:18 /dev/raw/raw2
crw-rw---- 1 oracle oinstall   162, 3 Jan  1 20:22 /dev/raw/raw3
-rw-r--r-- 1 root   root     10240000 Jan  1 20:18 /dev/raw/raw4

可以看到在没有/dev/raw/raw4设备的情况下执行添加voting disk命令时，报错并在/dev/raw/目录下创建了raw4文件，我们必须删除该文件

# ./crsctl delete css votedisk /dev/raw/raw4 -force
successful deletion of votedisk /dev/raw/raw4.
# ls -l /dev/raw/raw*
crw-rw---- 1 oracle oinstall   162, 1 Jan  1 20:34 /dev/raw/raw1
crw-rw---- 1 oracle oinstall   162, 2 Jan  1 20:18 /dev/raw/raw2
crw-rw---- 1 oracle oinstall   162, 3 Jan  1 20:22 /dev/raw/raw3
-rw-r--r-- 1 root   root     10240000 Jan  1 20:18 /dev/raw/raw4
# rm -f /dev/raw/raw4
# ./crsctl query css votedisk
 0.     0    /dev/raw/raw2
 1.     0    /dev/raw/raw3
located 2 votedisk(s).

OCR概述

OCR 负责维护整个集群的配置信息，包括RAC以及Clusterware资源，包括的信息有节点成员、数据库、实例、服务、监听器、应用程序等。为了解决集群 的“健忘”问题,整个集群会有一份配置OCR，最多两分OCR，一个primary OCR和一个mirror OCR互为镜像，以防OCR的单点故障。关于“健忘”可以参阅笔者的

http://czmmiao.iteye.com/admin/blogs/1629166

ORACLE 把集群的配置文件放在共享存储上叫做OCR DISK。 节点通过OCR Process读写OCR。 但只有一个节点能够读写OCR DISK 叫OCR Master节点，其它节点通过本节点的OCR process 向master node的OCR process提交请求，由master OCR Process完成物理读写，并同步所有节点OCR cache中的内容。就OCR而言，每个集群都会有一个Master节点，这个节点一半来说是集群中生存时间最长的那个节点(生存时间最长也就意味着该节 点越稳定)。
我们在安装Clusterware的在选择OCR的存储位置时，如果选择"Normal Redundancy"，则会存储两份相互镜像的OCR。如果选择"External Redundancy"则表明存储本身已经坐了冗余配置，不需要创建镜像OCR。该位置会记录在/etc/oracle/ocr.loc(Linux)或 /var/opt/oracle/ocr.loc(Solaris)中。
OCR存储的配置信息是以目录树的形式来记录一系列“键-值”对应信息 的。OCR记录着 CRS进程管理资源的所有配置信息,大小约为100MB。OCR key:有3个大分支,分别是SYSTEM.css,DATABASE 和CRS。每个分支下面又有许多小分支。这些记录的信息只能由root用户修改。 

由于 OCR的信息十分重要，Oracle会每4小时队其做一次备份，并且保留最后的3个备份，以及前一天、前一周的最后一个备份。这个备份由Master Node的CRSD进程完成，备份的默认位置为$CRS_HOME/crs/cdata/<cluster_name>目录下。每次备份后， 备份文件的名字会自动变更，以反映备份时间顺序，最近一次备份叫做backup00.ocr。建议DBA除了在本地保留这些备份外，还应在其他存储设备上 保留一份备份，以防止意外的存储故障。

ocrdump
如果想阅读ocr信息，可以使用ocrdump命令将OCR的内容以ASCII的方式打印出，但是这个命令不能用作OCR的备份恢复，只能用作阅读，
命令格式：ocrdump [-stdout] [filename] [-keyname name] [-xml]
参数说明：
-stdout:把内容打印输出到屏幕上
Filename：内容输出到文件中
-keyname：只打印某个键及其子健内容
-xml：以xml格式打印输出
示例：把system.css键的内容以.xml格式打印输出到屏幕
#./ocrdump -stdout -keyname SYSTEM.css -xml|more
这个命令在执行过程中，会在$CRS_HOME\log\<node_name>\client目录下产生日志文件，文件名ocrdump_<pid>.log,如果命令执行出现问题，可以从这个日志查看问题原因。

ocrcheck
Ocrcheck命令用于检查OCR内容的一致性，命令执行过程会在$CRS_HOME\log\nodename\client目录下产生ocrcheck_<pid>.log日志文件。 这个命令不需要参数。

#./ocrcheck
Status of Oracle Cluster Registry is as follows :
         Version                  :          2
         Total space (kbytes)     :     163668
         Used space (kbytes)      :       4348
         Available space (kbytes) :     159320
         ID                       : 1345945283
         Device/File Name         : /dev/raw/raw1
                                    Device/File integrity check succeeded

                                    Device/File not configured

         Cluster registry integrity check succeeded

ocrconfig

查看自动备份信息

#./ocrconfig -help

$ ocrconfig -showbackup
czmmiao2     2012/12/26 17:26:16     /u01/app/oracle/product/10.2.0/db_1/cdata/crs
czmmiao2     2012/12/18 21:12:37     /u01/app/oracle/product/10.2.0/db_1/cdata/crs
czmmiao1     2012/12/16 21:54:20     /u01/app/oracle/product/10.2.0/db_1/cdata/crs
czmmiao2     2012/12/26 17:26:16     /u01/app/oracle/product/10.2.0/db_1/cdata/crs
czmmiao2     2012/12/26 17:26:16     /u01/app/oracle/product/10.2.0/db_1/cdata/crs

$ ls -l /u01/app/oracle/product/10.2.0/db_1/cdata/crs
total 29880
-rw-r--r-- 1 root   root     5083136 Dec  7 16:05 backup00.ocr
-rw-r--r-- 1 root   root     5083136 Nov 27 19:14 backup01.ocr
-rw-r--r-- 1 oracle dba      5083136 Nov 26 22:32 backup02.ocr
-rw-r--r-- 1 oracle dba      5083136 Nov 26 22:32 day.ocr
-rw-r--r-- 1 oracle oinstall   22084 Jan  1 20:52 OCRDUMPFILE
-rw-r--r-- 1 root   root     5083136 Dec 16 21:54 temp.ocr
-rw-r--r-- 1 oracle dba      5083136 Nov 26 22:32 week.ocr

使用导出，导入进行备份和恢复
Oracle推荐在对集群做调整时，比如增加，删除节点之前，应该对OCR做一个备份，可以使用export备份到指定文件，如果做了replace或者restore等操作，Oracle建议使用cluvfy comp ocr -n all命令来做一次全面的检查。

# ./crsctl stop crs
Stopping resources.
Successfully stopped CRS resources
Stopping CSSD.
Shutting down CSS daemon.
Shutdown request successfully issued.

# ./ocrconfig -export ocrexp.exp       #导出ocr
# ls -l ocrexp.exp
-rw-r--r-- 1 root root 102935 Jan  1 21:17 ocrexp.exp

# ./crsctl start crs
Attempting to start CRS stack
The CRS stack will be started shortly

# dd if=/dev/zero of=/dev/raw/raw1 bs=1M        #破坏ocr

dd: writing `/dev/raw/raw1': No space left on device
160+0 records in
159+0 records out
167685120 bytes (168 MB) copied, 18.0218 seconds, 9.3 MB/s
# ./ocrcheck
PROT-601: Failed to initialize ocrcheck
# ./runcluvfy.sh comp ocr -n all
Verifying OCR integrity
Unable to retrieve nodelist from Oracle clusterware.
Verification cannot proceed.
# ./ocrconfig -import ocrexp.exp        #导入ocr

# ./ocrcheck
# ./runcluvfy.sh comp ocr -n all

移动和删除OCR

移动OCR时，不能直接修改OCR，必须要先添加镜像才能修改，否则会报错

# ./ocrconfig -replace ocr /dev/raw/raw3
PROT-1: Failed to initialize ocrconfig

# ./ocrconfig -replace ocrmirror /dev/raw/raw3        #创建镜像ocr

# ./ocrcheck
Status of Oracle Cluster Registry is as follows :
         Version                  :          2
         Total space (kbytes)     :     163668
         Used space (kbytes)      :       4344
         Available space (kbytes) :     159324
         ID                       :   38625139
         Device/File Name         : /dev/raw/raw1
                                    Device/File integrity check succeeded
         Device/File Name         : /dev/raw/raw3
                                    Device/File integrity check succeeded
         Cluster registry integrity check succeeded

# cat /etc/oracle/ocr.loc
#Device/file /dev/raw/raw3 getting replaced by device /dev/raw/raw3
ocrconfig_loc=/dev/raw/raw1
ocrmirrorconfig_loc=/dev/raw/raw3
# ./ocrconfig -replace ocr /dev/raw/raw4        #修改primary ocr位置

# ./ocrcheck

Status of Oracle Cluster Registry is as follows :
         Version                  :          2
         Total space (kbytes)     :     163668
         Used space (kbytes)      :       4344
         Available space (kbytes) :     159324
         ID                       :   38625139
         Device/File Name         : /dev/raw/raw4
                                    Device/File integrity check succeeded
         Device/File Name         : /dev/raw/raw3
                                    Device/File integrity check succeeded
         Cluster registry integrity check succeeded

# ./ocrconfig -replace ocrmirror               #删除镜像ocr

# cat /etc/oracle/ocr.loc
#Device/file /dev/raw/raw3 being deleted
ocrconfig_loc=/dev/raw/raw4

参考至:《大话Oracle RAC》张晓明著
               http://blog.csdn.net/inthirties/article/details/5431368
               http://blog.csdn.net/tianlesoftware/article/details/6049378

本文原创，转载请注明出处、作者
如有错误，欢迎指正
邮箱:[e-mail]