Failure Groups in ASM

Oracle Database 10g中出现的ASM(Automatic Storage Management,自动存储管理)技术提供了一种镜像冗余的方法,用以保护可能出现的磁盘故障而导致的数据丢失。要知道,以前也许我们需要RAID来达到这样的目的,但是现在Oracle数据库本身就提供给你这样的选项了,Oracle的意思是,把所有的鸡蛋都放到Oracle这个篮子里面吧,我们是Unbreakable的。

ASM提供了3种冗余方法。

external redundancy表示Oracle不帮你管理镜像,功能由外部存储系统实现,比如通过RAID技术。
normal redundancy(默认方式)表示Oracle提供2路镜像来保护数据。
high redundancy表示Oracle提供3路镜像来保护数据。

先预告一下,有时间再写吧,相信我,有内部资料的(本文用词很多来自某些metalink internal资料的翻译,因为inernal所以就不做link了),呵呵。

什么是 ASM failure group?
Oracle通过failure group来提供数据的高可用性。ASM使用的镜像算法并不是镜像整个disk,而是作extent级的镜像。所以很明显如果为各个failure group使用不同容量的disk是不明智的,因为这样在Oracle分配下一个extent的时候可能就会出现问题。在normal redundancy模式下,ASM环境中每分配一个extent都会有一个primary copy和一个second copy,ASM的算法保证了second copy和primary copy一定是在不同的failure group中,这就是failure group的意义。通过这个算法,ASM保证了即使一个failure group中的所有disk都损坏了,数据也是毫发无伤的。

Oracle在分配extent的时候,所有failure group中的这个将拥有相同数据的extent称为一个extent set,当Oracle将数据写入文件的时候,primary copy可能在任何一个failure group中,而second copy则在另外的failure group中,当Oracle读取数据的时候,除非是primary copy不可用,否则将优先从primary copy中读取数据,通过这种写入无序,读取有序的算法,Oracle保证了数据读取尽量分布在多个disk中。

因为公用一个硬件模块的磁盘很可能会同时损坏或者失效,所以通常我们在设计failure group时,应该把一个大的盘阵中在一个tray中的磁盘放在一个failure group中,这样我们就可以拿走一个tray,失效这个failure group,然后换上新的tray和磁盘,这跟RAID的思想是一样的。

ASM的冗余方式一经设定就无法更改,如果我们想把normal redundancy改为high redundancy就只能是创建一个新的failure group,然后把旧failure group中的文件通过RMAN或者DBMS_FILE_TRANSFER的方法移动到新failure group中去。

如果在ASM环境中没有创建failure groups情况会怎样?
即使没有显式指定,failure groups也是始终会创建的。在这种情况下,每个disk都属于一个failure group,在创建磁盘组的时候,failure group也会默认创建,名称就是disk的名字。

应该创建多少failure groups?

什么时候该用external redundancy什么时候该用normal或者high redundancy?

如果failure group出现故障怎样恢复?
– 如何使用kfed实用程序来查看ASM Disk header

我们测试的数据库是Oracle10.2.0.2,首先需要编译生成kfed程序,在其它版本的Oracle中生成kfed的方法会略有不同。
cd ORACLE_HOME/rdbms/lib
make -f ins_rdbms.mk ikfed
此时
ORACLE_HOME/bin目录中将会产生kfed程序。

使用kfed的语法是:kfed read *devicename* text=*filename*
假设我们要读取/dev/raw/raw1的文件头,那么使用下面的语句
kfed read /dev/raw/raw1 text=raw1.out
这样raw1的文件头信息将会被dump到raw1.out文件中,大家有兴趣可以去看一下文件内容,基本上通过名字和值还是能猜测出都是些什么内容的,包括了这个ASM Disk创建时间是什么,每个block多大,Disk名字是什么,属于哪个Disk Group,Header Status是怎么样的。虽然大部分内容都可以从ASM实例的数据字典中获得,但是在我们碰到ASM磁盘故障的时候,kfed提供的信息往往更容易让我们判断问题点。

– 如何清理ASM Disk

有时候一个ASM Disk由于故障,导致我们删也删不掉,加也加不进去,通常现象是磁盘的header status状态不正确但是disk header中仍然保留了部分磁盘组的信息。此时我们就需要clear这个磁盘,然后再将它重新加入磁盘组中。
dd if=/dev/zero of= *diskname* bs= *blocksize* count=10000

注意:上述语句请谨慎操作,可能会出现问题。

Data Pump Import速度问题

平台:HP安腾2
操作系统:Redhat Enterprise Linux 4
数据库版本:Oracle 10.2.0.2
架构:6节点RAC

问题现象:
用数据泵方法导出一个表的两个分区数据很快,而导入却很慢

数据:
用数据泵导出,速度为29万条/秒(37MB/秒)
用数据泵导入,速度为300条/秒(39KB/秒)

解决过程:
开始没有看到环境,个人猜测也许是6节点的RAC在数据导入的时候同步Buffer Cache导致速度变慢,也许将涉及到Oracle本身的bug,所以建议用户可以先在单节点的同样环境中作一次测试,但是客户暂时没有单节点的环境。
于是在同样的6节点RAC环境中再作一个Data Pump导入,期间检查VSESSION_WAIT,多次执行,发现确实有gc相关的等待事件,但是并不明显,然后查看VACTIVE_SESSION_HISTORY,用下面的SQL:
select sum(time_waited), event
from v$active_session_history
where session_id = 501
group by event
order by 1 desc;

此时问题很明显的暴露出来了,大量的时间耗费在log file switch completion和log file switch (checkpoint incomplete)这两个事件上,于是查看数据库的redo logfile大小,发现只有50M。
由于客户的数据库运行在非归档模式上,所以直接将redo文件加大到1G,再次测试,速度超乎想像。客户很爽,我也很爽。

结论:
1。在没有VACTIVE_SESSION_HISTORY的10g以前版本中,不要奢望能通过频繁查询VSESSION_WAIT来定位问题。
2。Oracle的bug虽然不少,但是也没有想象中那么多。

TNS-12531 How to

Oracle数据库监听无法正常启动,在log文件中产生大量的错误信息。

28-NOV-2006 14:39:55 * 12531
TNS-12531: TNS:cannot allocate memory
28-NOV-2006 14:39:55 * 12531
TNS-12531: TNS:cannot allocate memory

OERR的解释是:

TNS-12531 TNS:cannot allocate memory
Cause: Sufficient memory could not be allocated to perform the desired activity.
Action: Either free some resource for TNS, or add more memory to the machine. For further details, turn on tracing and re-execute the operation.

实际上,可用内存肯定是足够的,最后发现原因居然是hosts文件中缺少主机定义。

配置监听我们使用的是netstat -in检查网卡绑定的IP地址,然后将IP写入listener.ora文件。
通常netstat -in中显示的IP地址在/etc/hosts文件中都会有配置,而偏偏这次没有,于是oracle的监听程序在启动的时候在hosts文件中检查不到listener.ora中配置的主机,所以无法正常启动。

另外,如果/etc/hosts中设置的IP和主机名称对应中没有本机hostname命令显示的主机名,也同样会报这个错误。

解决方法:
在/etc/hosts中配置正确的IP地址和主机名称