CPU负载很低，loadavg很高处理方法

客户是一套X6的EXADATA，二节点正常，一节点loadavg非常高，达到300+

top - 10:27:36 up 843 days,  4:08,  1 user,  load average: 358.66, 358.60, 358.69
Tasks: 1511 total,   1 running, 1510 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.4%us,  0.4%sy,  0.0%ni, 99.2%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  793613344k total, 233361168k used, 560252176k free,   804852k buffers
Swap: 25165820k total,     1296k used, 25164524k free, 122090132k cached

CPU使用率不到1%，但是load average达到360左右，检查cpu队列

[[email protected] ~]$ vmstat 1
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 3  0   1296 560248832 804852 122094048    0    0     0   107    0    0  2  1 97  0  0
 1  0   1296 560249024 804852 122094048    0    0     0     8 16703 30946  0  0 99  0  0
 0  0   1296 560247680 804852 122094144    0    0     0   548 17147 31957  0  0 99  0  0
 0  0   1296 560248256 804852 122094264    0    0     0     0 15183 28185  0  0 100  0  0
 0  0   1296 560237888 804852 122094272    0    0     0   136 15749 29405  0  0 99  0  0
 1  0   1296 560238592 804852 122094480    0    0     0     0 17359 31082  0  0 99  0  0
 1  0   1296 560239488 804852 122094480    0    0     0    16 16476 30017  0  0 99  0  0
 0  0   1296 560236864 804852 122094568    0    0     0   104 15786 29817  0  0 100  0  0
 2  0   1296 560244544 804852 122094576    0    0     0     0 15360 28592  0  0 99  0  0
 1  0   1296 560243840 804852 122094576    0    0     0   184 15609 28992  0  0 100  0  0
 1  0   1296 560244480 804852 122094704    0    0     0   108 16120 29721  0  0 99  0  0
 0  0   1296 560243200 804852 122094800    0    0     0     4 17036 31089  1  0 99  0  0
 0  0   1296 560243264 804852 122094816    0    0     0  1548 16077 30628  0  0 100  0  0
 5  0   1296 560179968 804852 122094832    0    0     0   144 18240 30911  1  0 99  0  0

通过vmstat发现，cpu等待队列正常

在MOS文档中有记录：Top Shows High Load Average (Doc ID 2201588.1)

At the time the load average started to climb on the example system, an nfs server had stopped responding.

The load average includes processes in a D state (uninterruptible sleep, usually IO) and if an NFS server is not responding there are many processes in a D state so the load average climbs though the system effectively is idle.

检查NFS

df -Th显示不出来，NFS确实是挂了，按照MOS的解决方法，检查状态为D的进程

[[email protected] ~]$ ps -eTo stat,pid,tid,ppid,comm --no-header | sed -e 's/^ *//' | perl -nE 'chomp;say if (m!^\S*[RD]+\S*!)'
Ds     1052   1052      1 oracle
Ds     4105   4105      1 oracle
Ds     4194   4194      1 oracle
Ds     6054   6054      1 oracle
Ds     6318   6318      1 oracle
Ds     8426   8426      1 oracle
Ds     9326   9326      1 oracle
Ds    11840  11840      1 oracle
Ds    11935  11935      1 oracle
Ds    12897  12897      1 oracle
Ds    13432  13432      1 oracle
Ds    14556  14556      1 oracle
Ds    14717  14717      1 oracle
Ds    16068  16068      1 oracle
Ds    16427  16427      1 oracle
Ds    16455  16455      1 oracle
Ds    16812  16812      1 oracle
Ds    19694  19694      1 oracle
Ds    20335  20335      1 oracle
Ds    25354  25354      1 oracle
Ds    25993  25993      1 oracle
Ds    26444  26444      1 oracle
Ds    27363  27363      1 oracle
D     27893  27893      1 adrci
Ds    32394  32394      1 oracle
Ds    32680  32680      1 oracle
D     34214  34214      1 adrci
Ds    35008  35008      1 oracle
DN    37362  37362  36121 lsof
DN    37470  37470      1 lsof
Ds    38857  38857      1 oracle
Ds    39408  39408      1 oracle
D     39792  39792      1 adrci
Ds    40299  40299      1 oracle
Ds    41041  41041      1 oracle
Ds    42938  42938      1 oracle
Ds    44730  44730      1 oracle
Ds    46672  46672      1 oracle
Ds    47467  47467      1 oracle
Ds    48154  48154      1 oracle
Ds    48418  48418      1 oracle
Ds    48427  48427      1 oracle
Ds    49370  49370      1 oracle
D     51069  51069      1 adrci
Ds    52867  52867      1 oracle
Dsl   53699  71661      1 ohasd.bin
Ds    54052  54052      1 oracle
Ds    54225  54225      1 oracle
Ds    56483  56483      1 oracle
Ds    56670  56670      1 oracle
Ds    57007  57007      1 oracle
D     58059  58059      1 adrci
Ds    58379  58379      1 oracle
Ds    59623  59623      1 oracle
Ds    60877  60877      1 oracle
Ds    62790  62790      1 oracle
Ds    63441  63441      1 oracle
D     64068  64068      1 adrci
Ds    67041  67041      1 oracle
Ds    67881  67881      1 oracle
D     71960  71960      1 adrci
Ds    74535  74535      1 oracle
Ds    74801  74801      1 oracle
Ds    75464  75464      1 oracle
Ds    76859  76859      1 oracle
Ds    78164  78164      1 oracle
D     78284  78284      1 adrci
Ds    79140  79140      1 oracle
Ds    80306  80306      1 oracle
Ds    80818  80818      1 oracle
Ds    80830  80830      1 oracle
Ds    81272  81272      1 oracle
Ds    82013  82013      1 oracle
Ds    82138  82138      1 oracle
Ds    83736  83736      1 oracle
D     84269  84269      1 adrci
Ds    84770  84770      1 oracle
Ds    85353  85353      1 oracle
Ds    85595  85595      1 oracle
Ds    87263  87263      1 oracle
Ds    88680  88680      1 oracle
Ds    92234  92234      1 oracle
D     92734  92734      1 adrci
Ds    93499  93499      1 oracle
Ds    93979  93979      1 oracle
Ds    94332  94332      1 oracle
Ds    94789  94789      1 oracle
Ds    97169  97169      1 oracle
Ds    99248  99248      1 oracle
D     99806  99806      1 adrci
Ds   100807 100807      1 oracle
Ds   101662 101662      1 oracle
D<Ll 102378 104626      1 ologgerd
D<Ll 102378 104627      1 ologgerd
D<Ll 102378 101087      1 ologgerd
Ds   103531 103531      1 oracle
Ds   104582 104582      1 oracle
Ds   104630 104630      1 oracle
Ds   106666 106666      1 oracle
Ds   113216 113216      1 oracle
Ds   114283 114283      1 oracle
Ds   115829 115829      1 oracle
Ds   116312 116312      1 oracle
Ds   117571 117571      1 oracle
Ds   120023 120023      1 oracle
Ds   121221 121221      1 oracle
Ds   122534 122534      1 oracle
Ds   122980 122980      1 oracle
R+   126687 126687 105095 ps
Ds   128239 128239      1 oracle
DN   128774 128774 128762 updatedb
Ds   129731 129731      1 oracle
Ds   130599 130599      1 oracle
Ds   131013 131013      1 oracle
Ds   131910 131910      1 oracle
Ds   132022 132022      1 oracle
Ds   132156 132156      1 oracle
Ds   133448 133448      1 oracle
Ds   134394 134394      1 oracle
Ds   135350 135350      1 oracle
Ds   135873 135873      1 oracle
Ds   136487 136487      1 oracle
Ds   137734 137734      1 oracle
Ds   138154 138154      1 oracle
Ds   138545 138545      1 oracle
Ds   138925 138925      1 oracle
Ds   138927 138927      1 oracle
Ds   139376 139376      1 oracle
Ds   140875 140875      1 oracle
Ds   141148 141148      1 oracle
Ds   141528 141528      1 oracle
Ds   144236 144236      1 oracle
Ds   145186 145186      1 oracle
Ds   145865 145865      1 oracle
Ds   147324 147324      1 oracle
Ds   147376 147376      1 oracle
Ds   147629 147629      1 oracle
Ds   148324 148324      1 oracle
Ds   148330 148330      1 oracle
Ds   148449 148449      1 oracle
Ds   149012 149012      1 oracle
Ds   149670 149670      1 oracle
Ds   149730 149730      1 oracle
Ds   152703 152703      1 oracle
Ds   155253 155253      1 oracle
Ds   158140 158140      1 oracle
Ds   158351 158351      1 oracle
Ds   158353 158353      1 oracle
Ds   158355 158355      1 oracle
Ds   159517 159517      1 oracle
Ds   160892 160892      1 oracle
D    163318 163318      2 oks_plog
Ds   164078 164078      1 oracle
Ds   165504 165504      1 oracle
Ds   166848 166848      1 oracle
Ds   166906 166906      1 oracle
Ds   167348 167348      1 oracle
Ds   169057 169057      1 oracle
Ds   169168 169168      1 oracle
Ds   169174 169174      1 oracle
Ds   172190 172190      1 oracle
Ds   172829 172829      1 oracle
Ds   173732 173732      1 oracle
Ds   174172 174172      1 oracle
Ds   175777 175777      1 oracle
Ds   175779 175779      1 oracle
Ds   175783 175783      1 oracle
Ds   177084 177084      1 oracle
Ds   179312 179312      1 oracle
Ds   183536 183536      1 oracle
Ds   184011 184011      1 oracle
Ds   184135 184135      1 oracle
Ds   184230 184230      1 oracle
Ds   184239 184239      1 oracle
Ds   184745 184745      1 oracle
Ds   185567 185567      1 oracle
Ds   185835 185835      1 oracle
Ds   188795 188795      1 oracle
Ds   189177 189177      1 oracle
Ds   189183 189183      1 oracle
Ds   189812 189812      1 oracle
Ds   190421 190421      1 oracle
Ds   191159 191159      1 oracle
Ds   191991 191991      1 oracle
Ds   192219 192219      1 oracle
Ds   192221 192221      1 oracle
Ds   192223 192223      1 oracle
Ds   194130 194130      1 oracle
Ds   195994 195994      1 oracle
Ds   197752 197752      1 oracle
Ds   198064 198064      1 oracle
Ds   198837 198837      1 oracle
Ds   199776 199776      1 oracle
Ds   199790 199790      1 oracle
Ds   199903 199903      1 oracle
Ds   200349 200349      1 oracle
Ds   201249 201249      1 oracle
Ds   201280 201280      1 oracle
Ds   203918 203918      1 oracle
Ds   206285 206285      1 oracle
Ds   206772 206772      1 oracle
Ds   206835 206835      1 oracle
Ds   207954 207954      1 oracle
Ds   207956 207956      1 oracle
Ds   207958 207958      1 oracle
Ds   208677 208677      1 oracle
Ds   210130 210130      1 oracle
Ds   214206 214206      1 oracle
Ds   214216 214216      1 oracle
Ds   215396 215396      1 oracle
Ds   216345 216345      1 oracle
Ds   217012 217012      1 oracle
Ds   217919 217919      1 oracle
Ds   219136 219136      1 oracle
Ds   225460 225460      1 oracle
Ds   226371 226371      1 oracle
Ds   229964 229964      1 oracle
Ds   230466 230466      1 oracle
D    232672 232672      1 adrci
Ds   233015 233015      1 oracle
Ds   233797 233797      1 oracle
Ds   233906 233906      1 oracle
Ds   235213 235213      1 oracle
Ds   235724 235724      1 oracle
Ds   236121 236121      1 oracle
Ds   239098 239098      1 oracle
Ds   239788 239788      1 oracle
Ds   240388 240388      1 oracle
Ds   240672 240672      1 oracle
Ds   241176 241176      1 oracle
Ds   241582 241582      1 oracle
Ds   241608 241608      1 oracle
Ds   242185 242185      1 oracle
Ds   242704 242704      1 oracle
Ds   243663 243663      1 oracle
Ds   246387 246387      1 oracle
Ds   247570 247570      1 oracle
Ds   247783 247783      1 oracle
Ds   248188 248188      1 oracle
Ds   248931 248931      1 oracle
Ds   249455 249455      1 oracle
Ds   249458 249458      1 oracle
Ds   249484 249484      1 oracle
Ds   250005 250005      1 oracle
Ds   250761 250761      1 oracle
Ds   251154 251154      1 oracle
Ds   252848 252848      1 oracle
Ds   254332 254332      1 oracle
Ds   254677 254677      1 oracle
Ds   255430 255430      1 oracle
Ds   255719 255719      1 oracle
Ds   256182 256182      1 oracle
Ds   256399 256399      1 oracle
Ds   257244 257244      1 oracle
Ds   257286 257286      1 oracle
Ds   259429 259429      1 oracle
D    261229 261229 138418 adrci
Ds   263050 263050      1 oracle
Ds   264070 264070      1 oracle
Ds   264638 264638      1 oracle
Ds   266626 266626      1 oracle
Ds   267146 267146      1 oracle
D    267277 267277 138418 adrci
Ds   267727 267727      1 oracle
Ds   268659 268659      1 oracle
Ds   269220 269220      1 oracle
Ds   270217 270217      1 oracle
Ds   273291 273291      1 oracle
Ds   273895 273895      1 oracle
D    274756 274756 138418 adrci
Ds   275628 275628      1 oracle
Ds   277902 277902      1 oracle
Ds   278205 278205      1 oracle
Ds   279550 279550      1 oracle
Ds   279726 279726      1 oracle
Ds   281153 281153      1 oracle
D    281369 281369 138418 adrci
Ds   281633 281633      1 oracle
Ds   282504 282504      1 oracle
Ds   285193 285193      1 oracle
D    287632 287632 138418 adrci
Ds   287930 287930      1 oracle
Ds   292875 292875      1 oracle
Ds   293889 293889      1 oracle
Ds   294896 294896      1 oracle
Ds   295529 295529      1 oracle
D    295754 295754 138418 adrci
Ds   299499 299499      1 oracle
Ds   299709 299709      1 oracle
Ds   300072 300072      1 oracle
Ds   301277 301277      1 oracle
Ds   301780 301780      1 oracle
Ds   302042 302042      1 oracle
Ds   302324 302324      1 oracle
Ds   303112 303112      1 oracle
D    303368 303368 138418 adrci
Ds   304716 304716      1 oracle
Ds   308449 308449      1 oracle
Ds   309047 309047      1 oracle
D    310557 310557 138418 adrci
Ds   315022 315022      1 oracle
Ds   318830 318830      1 oracle
Ds   319192 319192      1 oracle
Ds   319954 319954      1 oracle
Ds   324247 324247      1 oracle
Ds   326581 326581      1 oracle
Ds   326706 326706      1 oracle
Ds   331610 331610      1 oracle
Ds   332803 332803      1 oracle
Ds   332996 332996      1 oracle
Ds   334078 334078      1 oracle
Ds   336333 336333      1 oracle
Ds   336607 336607      1 oracle
Ds   337720 337720      1 oracle
Ds   337943 337943      1 oracle
Ds   338004 338004      1 oracle
Ds   338175 338175      1 oracle
Ds   339229 339229      1 oracle
Ds   339982 339982      1 oracle
Ds   341689 341689      1 oracle
Ds   341866 341866      1 oracle
Ds   346227 346227      1 oracle
Ds   346468 346468      1 oracle
Ds   347389 347389      1 oracle
Ds   348090 348090      1 oracle
Ds   350337 350337      1 oracle
Ds   351651 351651      1 oracle
Ds   352507 352507      1 oracle
Ds   354490 354490      1 oracle
Ds   354599 354599      1 oracle
Ds   355616 355616      1 oracle
Ds   356968 356968      1 oracle
Ds   357178 357178      1 oracle
Ds   359467 359467      1 oracle
Ds   360894 360894      1 oracle
Ds   361450 361450      1 oracle
Ds   364256 364256      1 oracle
Ds   369689 369689      1 oracle
Ds   371432 371432      1 oracle
Ds   371564 371564      1 oracle
Ds   372763 372763      1 oracle
Ds   374498 374498      1 oracle
Ds   375061 375061      1 oracle
Ds   375091 375091      1 oracle
Ds   375452 375452      1 oracle
Ds   376750 376750      1 oracle
Ds   376961 376961      1 oracle
Ds   381768 381768      1 oracle
Ds   383186 383186      1 oracle
Ds   386263 386263      1 oracle
Ds   388984 388984      1 oracle
Ds   393967 393967      1 oracle
Ds   394260 394260      1 oracle
Ds   394706 394706      1 oracle
Ds   395130 395130      1 oracle
Ds   397036 397036      1 oracle
Ds   398004 398004      1 oracle
Ds   398382 398382      1 oracle
Ds   398662 398662      1 oracle

检查发现，有361个状态为D的进程，按照MOS的处理方式：Need to reboot the server to stop these D status process

重启服务器，释放状态为D的进程