enq: HW – contention等待引起的故障分析

故障概述

客户xxx相关应用系统于26与28两日的13点至15点高并发，数据库连接数超过限制(10000)。

解决方案已出：把xml_info_yyyymm表建为hash分区。

下面是故障分析诊断过程，以及解决方案。

故障分析

故障现象

xxx应用系统于26与28两日的13点至15点高并发，数据库连接数超过限制(10000)。频繁收告警数据库 DOWN，实际上只是新的连接进不去，数据库后台日志也是报连接超过限制。

故障根源

应用高并发insert导致且xml_info_yyyymm表过大且没有分区，数据库大量等待事件出现：enq: HW – contention，此等待事件造成会话严重堵塞，最后连接数超过限制。

等待事件分析可参考官方文档：ID 740075.1

故障解决

杀连接，停应用

解决方案及总结

解决目标是解决xml_info_yyyymm的enq: HW – contention等待，方法是：根据xml_info_yyyymm的主键创建hash分区。效果已经经过测试环境进行测试，1500并发情况下，hash分区后enq: HW – contention下降10倍以上。通过AWR对比能清楚得到证实

hash分区后enq: HW – contention已经不在top5事件里面。

下面看具体值

Hash分区前

Hash分区后

对比以上两图可以看出：enq: HW – contention 的wait次数从44395下降为4482，平均等待时长从2毫秒下降为1毫秒。

创建脚本如下

CREATE TABLE XML_INFO_201708

( DONE_CODE NUMBER(12,0) NOT NULL ENABLE,

ACTIVITY_WAY NUMBER(1,0) NOT NULL ENABLE,

ACTIONCODE NUMBER(1,0) NOT NULL ENABLE,

XML_DATA CLOB,

CONSTRAINT PK_XML_INFO1_201708 PRIMARY KEY (DONE_CODE, ACTIVITY_WAY, ACTIONCODE)

USING INDEX PCTFREE 10 INITRANS 2 MAXTRANS 255 COMPUTE STATISTICS

STORAGE(INITIAL 1048576 NEXT 1048576 MINEXTENTS 1 MAXEXTENTS 2147483645

PCTINCREASE 0 FREELISTS 1 FREELIST GROUPS 1

BUFFER_POOL DEFAULT FLASH_CACHE DEFAULT CELL_FLASH_CACHE DEFAULT)

TABLESPACE CBOSS_DATA ENABLE

)partition by hash (DONE_CODE, ACTIVITY_WAY,ACTIONCODE)

(

partition P1 tablespace CBOSS_DATA,

partition P2 tablespace CBOSS_DATA,

partition P3 tablespace CBOSS_DATA,

partition P4 tablespace CBOSS_DATA,

partition P5 tablespace CBOSS_DATA,

partition P6 tablespace CBOSS_DATA,

partition P7 tablespace CBOSS_DATA,

partition P8 tablespace CBOSS_DATA,

partition P9 tablespace CBOSS_DATA,

partition P10 tablespace CBOSS_DATA,

partition P11 tablespace CBOSS_DATA,

partition P12 tablespace CBOSS_DATA,

partition P13 tablespace CBOSS_DATA,

partition P14 tablespace CBOSS_DATA,

partition P15 tablespace CBOSS_DATA,

partition P16 tablespace CBOSS_DATA,

partition P17 tablespace CBOSS_DATA,

partition P18 tablespace CBOSS_DATA,

partition P19 tablespace CBOSS_DATA,

partition P20 tablespace CBOSS_DATA,

partition P21 tablespace CBOSS_DATA,

partition P22 tablespace CBOSS_DATA,

partition P23 tablespace CBOSS_DATA,

partition P24 tablespace CBOSS_DATA,

partition P25 tablespace CBOSS_DATA,

partition P26 tablespace CBOSS_DATA,

partition P27 tablespace CBOSS_DATA,

partition P28 tablespace CBOSS_DATA,

partition P29 tablespace CBOSS_DATA,

partition P30 tablespace CBOSS_DATA,

partition P31 tablespace CBOSS_DATA,

partition P32 tablespace CBOSS_DATA,

partition P33 tablespace CBOSS_DATA,

partition P34 tablespace CBOSS_DATA,

partition P35 tablespace CBOSS_DATA,

partition P36 tablespace CBOSS_DATA,

partition P37 tablespace CBOSS_DATA,

partition P38 tablespace CBOSS_DATA,

partition P39 tablespace CBOSS_DATA,

partition P40 tablespace CBOSS_DATA,

partition P41 tablespace CBOSS_DATA,

partition P42 tablespace CBOSS_DATA,

partition P43 tablespace CBOSS_DATA,

partition P44 tablespace CBOSS_DATA,

partition P45 tablespace CBOSS_DATA,

partition P46 tablespace CBOSS_DATA,

partition P47 tablespace CBOSS_DATA,

partition P48 tablespace CBOSS_DATA,

partition P49 tablespace CBOSS_DATA,

partition P50 tablespace CBOSS_DATA,

partition P51 tablespace CBOSS_DATA,

partition P52 tablespace CBOSS_DATA,

partition P53 tablespace CBOSS_DATA,

partition P54 tablespace CBOSS_DATA,

partition P55 tablespace CBOSS_DATA,

partition P56 tablespace CBOSS_DATA,

partition P57 tablespace CBOSS_DATA,

partition P58 tablespace CBOSS_DATA,

partition P59 tablespace CBOSS_DATA,

partition P60 tablespace CBOSS_DATA,

partition P61 tablespace CBOSS_DATA,

partition P62 tablespace CBOSS_DATA,

partition P63 tablespace CBOSS_DATA,

partition P64 tablespace CBOSS_DATA

) SEGMENT CREATION IMMEDIATE

PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255

NOCOMPRESS LOGGING

STORAGE(INITIAL 1048576 NEXT 1048576 MINEXTENTS 1 MAXEXTENTS 2147483645

PCTINCREASE 0 FREELISTS 1 FREELIST GROUPS 1

BUFFER_POOL DEFAULT FLASH_CACHE DEFAULT CELL_FLASH_CACHE DEFAULT)

TABLESPACE CBOSS_DATA

LOB (XML_DATA) STORE AS BASICFILE (

TABLESPACE CBOSS_DATA ENABLE STORAGE IN ROW CHUNK 8192 RETENTION

NOCACHE LOGGING

STORAGE(INITIAL 1048576 NEXT 1048576 MINEXTENTS 1 MAXEXTENTS 2147483645

PCTINCREASE 0 FREELISTS 1 FREELIST GROUPS 1

BUFFER_POOL DEFAULT FLASH_CACHE DEFAULT CELL_FLASH_CACHE DEFAULT))

其他建议

应用方面，也可以按照日分区。

影响评估

优化建议的实施是否有对现有业务的影响：

不会。只是改为分区表，主键依然保留。所以，对插入有改善，对主键查询无影响，对索引范围查询效率有一定影响。

官方参考文档：ID 740075.1