ORA-27300，ORA-27301，ORA-27302，ORA-27303，TNS-2518，TNS-12549，TNS-12560，TNS-00519等告警处理

RDBMS 10.2.0.4

AIX 6.1 

参考文档：

ORA-27300 ORA-27301 ORA-27302 ORA-27303 skgpspawn5 (Doc ID 1125188.1)

Repeating TNS-12518, TNS-12549, ... Error: 11: 'Resource Temporarily Unavailable' Errors in listener log (Doc ID 430686.1)

https://docs.oracle.com/en/database/oracle/oracle-database/12.2/cwaix/oracle-grid-infrastructure-installation-checklist.html#GUID-71A93E07-7E50-449C-B425-02F04A2EA8E6   -- 12c的aix安装文档
 

在alert log中出现以下告警分别有skgpspawn3,skgpspawn5

ORA-27300: OS system dependent operation:fork failed with status: 12
ORA-27301: OS failure message: Not enough space
ORA-27302: failure occurred at: skgpspawn3
Wed Jul 20 10:29:07 2022
Process J000 died, see its trace file
Wed Jul 20 10:29:07 2022
kkjcre1p: unable to spawn jobq slave process
Wed Jul 20 10:29:07 2022

ORA-27300: OS system dependent operation:fork failed with status: 12
ORA-27301: OS failure message: Not enough space
ORA-27302: failure occurred at: skgpspawn5
ORA-27303: additional information: skgpspawn5

在监听器的log中，不停出现以下内容：

TNS-12518: TNS:listener could not hand off client connection
 TNS-12549: TNS:operating system resource quota exceeded
  TNS-12560: TNS:protocol adapter error
   TNS-00519: Operating system resource quota exceeded
    IBM/AIX RISC System/6000 Error: 12: Not enough space

同时应用无法访问数据库。

顺便说一下前几天出现的小问题，之前偶尔也报这个，半夜报，但是后来都可以使用数据库。所以没有太在意。

过了几天发现，lsnrctl stauts发现hung住了。检查发现监听器日志已经4.2G了。 将监听器日志清理后，还是lsnrctl status会hung住，查看监听器日志，也没有产生监听器日志。但是业务没有报故障。随后正常reload了监听器。

一天后，业务告知不能连接数据库，一看，监听器日志中大量的TNS报错，alert log中也开始报错。

随后查看AIX的参数，如下，发现maxuproc是8192，ncargs是256.

# lsattr -El sys0 -a ncargs -a maxuproc -a maxpout -a minpout -a fullcore
ncargs   256   ARG/ENV list size in 4K byte blocks             True
maxuproc 8192 Maximum number of PROCESSES allowed per user    True
maxpout  8193  HIGH water mark for pending write I/Os per file True
minpout  4096  LOW water mark for pending write I/Os per file  True
fullcore false Enable full CORE dump                           True

同时，查看10g数据库的官方文档，发现参数设置的不是最佳（官方建议设置是16384），随后设置参数如下：

chdev -l sys0 -a 'minpout=4096 maxpout=8193' -a ncargs=1024 -a maxuproc=16384 -a fullcore=true	

设置后的参数如下：

# lsattr -El sys0 -a ncargs -a maxuproc -a maxpout -a minpout -a fullcore
ncargs   1024  ARG/ENV list size in 4K byte blocks             True
maxuproc 16384 Maximum number of PROCESSES allowed per user    True
maxpout  8193  HIGH water mark for pending write I/Os per file True
minpout  4096  LOW water mark for pending write I/Os per file  True
fullcore true  Enable full CORE dump                           True

随后，重启AIX，启动监听器和数据库后。问题解决。（其实可以不重启AIX，只重启监听器和数据库就可以了）

随后，经过一个多星期的观察，再也没有出现过以上问题的告警。

END。