【障害報告】2020.9.8発生:/gs/hs0 障害(9/18更新)

2020.9.10

下記の通り障害が発生し復旧しました

1.概要

 /gs/hs0へのアクセスが滞る。失敗する。

2.期間

 2020年9月8日(火)11:15頃 から 14:00頃、 ログインノード は17:25頃、 一部の計算ノードは9/9 13:15頃

3.詳細(9/18掲載)

 9/8 11:15頃に /gs/hs0 へのアクセスができなくなりました。調査したところ、lustre thread処理の滞留が確認されました。
復旧のため、LustreファイルシステムにおけるMDSの一つであるmdsa0、OSSの一つであるossa1を強制再起動しました。その際に実行中だったI/Oは通常、再起動後のrecovery処理で再実行されますが、今度はrecoveryが完了しない事象が発生しました。

 recoveryが進まないため、手動で処理をabortし、14:00頃にストレージが復旧しました。abortした結果、実行中のI/Oには全てI/Oエラーが返されました。

 ストレージは復旧したものの、ログインノードや計算ノードの一部(20ノード)では引き続きI/Oができない不具合が続いていたため、ログインノードは17:00に再起動することで17:25頃に、また問題のある計算ノードは新たにジョブが割り当てられないように設定し、ジョブの終了後に再起動することで9/9 13:15頃に復旧しました。

 1. lustre threadの処理が滞留していた問題の対処について

 多数の処理が行われた場合にコストが大きく、処理の滞留が発生し得る箇所が確認されました。現在修正パッチの作成を進めており、修正後は同様の問題は起きないと考えられます。

 2. recoveryが進まなかった問題の対処について

 LBUGが記録されていることを確認しております。類似の事象が他に報告されており、それらと同じ事象か確認を進めています。修正可能かどうかは現時点では判断できておりません。

4.影響があったジョブ

 障害が影響した可能性の高いジョブは以下の通りです。これらのジョブで消費したTSUBAMEポイントは後日自動で返却されます。(9/18追記)ポイントは9/16に返却されました。

7825651 7825652 7833881 7833882 7833889 7833890 7833897 7833898 7833900 7833901 7833902 7833903 7833904 7833908 7833909 7833910 7833911 7833916 7833917 7833920 7833921 7833924 7833925 7834931 7837709 7837710 7840041 7840050 7840100 7840111 7840113 7840123 7840141 7840284 7840326 7840451 7840685 7840741 7840961 7841025 7841127 7841705 7841742 7841743 7841761 7841880 7841895 7841908 7841909 7841917 7841918 7841932 7841961 7841985 7841993 7841995 7841997 7842003 7842018 7842091 7842092 7842093 7842094 7842095 7842096 7842375 7842434 7842437 7842438 7842440 7842458 7842465 7842591 7842592 7842643 7842708 7842726 7842760 7842762 7842763 7842765 7842766 7842767 7842768 7842769 7842774 7842832 7842933 7843002 7843007 7843013 7843017 7843023 7843059 7843065 7843071 7843088 7843093 7843116 7843141 7843155 7843160 7843187 7843192 7843198 7843202 7843207 7843212 7843217 7843222 7843226 7843539 7843540 7843541 7843542 7843543 7843545 7843546 7843547 7843548 7843549 7843550 7843551 7843552 7843553 7843554 7843555 7843556 7843557 7843558 7843559 7843560 7843561 7843562 7843563 7843564 7843565 7843566 7843567 7843568 7843569 7843570 7843571 7843572 7843573 7843574 7843575 7843577 7843578 7843579 7843580 7843581 7843582 7843583 7843584 7843585 7843586 7843587 7843588 7843589 7843590 7843591 7843592 7843593 7843594 7843595 7843596 7843597 7843598 7843599 7843600 7843601 7843602 7843603 7843604 7843605 7843606 7843607 7843608 7843609 7843611 7843612 7843613 7843614 7843615 7843616 7843617 7843618 7843619 7843620 7843621 7843622 7843623 7843624 7843625 7843626 7843627 7843629 7843630 7843631 7843632 7843633 7843634 7843635 7843636 7843637 7843638 7843639 7843640 7843641 7843642 7843643 7843644 7843645 7843646 7843647 7843648 7843649 7843650 7843651 7843652 7843653 7843654 7843655 7844794 7844798 7844810 7844897 7844917 7844933 7845018 7845068 7845208 7845486 7845487 7845489 7845589 7845856 7845873 7846100 7846365 7846377 7846380 7846382 7846383 7846385 7846386 7846388 7846390 7846392 7846393 7846394 7846396 7846397 7846399 7846400 7846401 7846402 7846403 7846404 7846405 7846407 7846409 7846410 7846411 7846412 7846414 7846415 7846421 7846422 7846426 7846427 7846428 7846429 7846431 7846432 7846433 7846434 7846435 7846436 7846437 7846438 7846439 7846440 7846441 7846442 7846443 7846447 7846448 7846449 7846450 7846451 7846452 7846453 7846455 7846456 7846457 7846458 7846459 7846460 7846461 7846462 7846463 7846464 7846466 7846468 7846473 7846482 7846485 7846490 7846491 7846492 7846493 7846494 7846495 7846496 7846497 7846498 7846499 7846500 7846501 7846502 7846503 7846519 7846520 7846525 7846526 7846527 7846528 7846529 7846530 7846531 7846532 7846533 7846534 7846535 7846536 7846537 7846538 7846539 7846540 7846541 7846542 7846543 7846544 7846545 7846546 7846547 7846548 7846549 7846550 7846551 7846552 7846553 7846554 7846555 7846556 7846557 7846558 7846559 7846560 7846561 7846562 7846563 7846564 7846565 7846566 7846567 7846614 7846616 7846619 7846620 7846628 7846629 7846630 7846631 7846632 7846633 7846634 7846635 7846639 7846640 7846641 7846644 7846645 7846646 7846647 7846912 7846913 7846920 7846924 7846925 7846927 7846954 7846955 7846956 7846958 7846959 7846960 7846961 7846962 7846963 7846964 7846965 7846966 7846968 7846969 7846970 7846980 7846982 7846983 7846984 7846985 7846986 7846987 7846988 7846989 7846992 7846993 7846995 7846996 7846997 7846998 7846999 7847000 7847001 7847009 7847010 7847016 7847017 7847018 7847019 7847020 7847021 7847024 7847025 7847026 7847027 7847028 7847029 7847030 7847031 7847032 7847033 7847037 7847039 7847040 7847042 7847049 7847051 7847052 7847053 7847055 7847060 7847064 7847065 7847073 7847074 7847076 7847081 7847092 7847096 7847101 7847136 7847140 7847152 7847153 7847154 7847155 7847165 7847169 7847170 7847171 7847176 7847201 7847202 7847204 7847205 7847208 7847210 7847222 7847224 7847225 7847226 7847227 7847228 7847229 7847230 7847231 7847232 7847233 7847234 7847235 7847236 7847237 7847238 7847239 7847240 7847241 7847242 784724