【障害報告】2017.10.18発生:OmniPathネットワーク障害

2017.10.19

以下の通りOmniPathネットワークに障害が発生し復旧しました。

1.期間

2017/10/18(水) 14:16 から 15:05 頃

2.影響

約200ノードの計算ノードとストレージ(Lustre,NFS)間において正常にアクセスできない現象が発生しました。なおlogin0,1においては、正常にアクセスできている状況でした。

3.復旧

OmniPathをコントロールする装置であるファブリックマネージャ (fm0) の restart を実施

4.影響があった可能性のあるジョブ(障害期間中に実行中だったジョブ)

109386,114280,114305,114311,114932,117513,117713,117927,117975,118023,118026,118027,118031,118036,118043,118044,118311,118354,118364,118365,118368,118369,118385,118464,118505,118506,118507,118549,118572,118580,118584,118649,118683,118796,118837,118841,118875,118957,118958,118959,118960,119021,119022,119023,119024,119025,119026,119027,119028,119029,119030,119031,119032,119033,119034,119035,119036,119037,119038,119039,119040,119041,119042,119043,119044,119045,119046,119047,119048,119049,119050,119051,119052,119053,119054,119055,119056,119057,119058,119059,119060,119061,119062,119063,119064,119065,119066,119067,119068,119084,119085,119086,119087,119091,119092,119093,119094,119126,119127,119146,119156,119197,119236,119292,119293,119294,119295,119296,119303,119305,119313,119314,119315,119316,119317,119323,119324,119325,119326,119327,119367,119397,119401,119402,119412,119412,119412,119412,119412,119412,119412,119412,119412,119412,119412,119412,119412,119412,119412,119412,119412,119412,119412,119412,119457,119462,119496,119500,119502,119505,119511,119512,119513,119549,119550,119557,119562,119595,119607,119609,119623,119633,119645,119654,119673,119698,119702,119774,119782,119783,119784,119786,119791,119793,119794,119805,119815,119820,119821,119828,119829,119830,119831,119832,119833,119834,119836,119848,119850,119859,119860,119861,119864,119866,119867,119894,119927,119928,119933,119941,119952,119972,119973,119974,119975,119976,119977,119978,119979,119980,119981,119982,119998,120003,120008,120009,120010,120011,120012,120013,120014,120026,118203,118479,118484,119368,119389,119540