2023.1.10
以下の通りOmni-Pathネットワークに障害が発生し復旧しました。
１．期間
2023年1月7日(土) 16:00頃 から 1月10日(火) 11:00頃
２．対象
影響の確認された計算ノードは r2i1n[0-8], r1i0n3, r5i5n5 の11台
３．詳細
Omini-Path ネットワークの障害が原因と推測されるLustreError(ファイルシステムのエラー)が発生し、対象ノード上におい、ジョブスケジューラの応答不能、ユーザプロセスの残留等の問題が発生しました。1/10 10:53に通信異常の原因と推測される経路を無効にしたところ、LustreErrorが解消し始め、残留していたプロセスやジョブが順次終了されました。
４．影響があった可能性のあるジョブ(障害期間中に対象ノードで実行中だったジョブ)
12474408, 12485018, 12485117, 12485350, 12485458, 12485524, 12486846, 12486873, 12486922, 12486986, 12487016, 12487027, 12487226, 12487256, 12487593, 12487646, 12487652, 12487784, 12487791, 12487834, 12487876, 12487941, 12487964, 12488013, 12488377, 12488405, 12488517, 12488829, 12489054, 12489065, 12489083, 12489096, 12489236, 12489263, 12489282, 12489288, 12489296, 12489314, 12489320, 12489353, 12489716, 12489725, 12489728, 12489756, 12489757, 12489765, 12489784, 12489789, 12490002, 12490036, 12490052, 12490067, 12490085, 12490103, 12490116, 12490138, 12490147, 12490174, 12490190, 12490204, 12490207, 12490235, 12490237, 12490266, 12490268, 12490299, 12490435, 12490446, 12490466, 12490467, 12490478, 12490498, 12490509, 12490529, 12490539, 12490563, 12490571, 12490593, 12490601, 12490624, 12490647, 12490654, 12490679, 12490685, 12490711, 12490715, 12490742, 12490745, 12490781, 12490810, 12490840, 12490842, 12490870, 12490872, 12490879, 12490900, 12490902, 12490910, 12490972, 12490998, 12491076, 12491135, 12491136, 12491150, 12491161, 12491213, 12491258, 12491270, 12491391, 12491463, 12491512, 12491531, 12491546, 12491551, 12491635, 12491656, 12491697, 12491792, 12491825, 12491837, 12491852, 12491866, 12492072, 12492076, 12492086, 12492091, 12492103, 12492119, 12492461, 12492472, 12492545, 12492565, 12492916, 12492962, 12493005, 12493120, 12493160, 12493209, 12493401, 12493535, 12493891, 12493920, 12494003, 12494005, 12494045, 12494091, 12494615, 12494705, 12495466, 12495524, 12495833, 12496011, 12496198, 12496266, 12496317, 12496338, 12496379, 12496380, 12496381, 12496420, 12496421, 12496431, 12496458, 12496519, 12496802, 12497003, 12497096, 12497133, 12497187, 12497199, 12497200, 12497207, 12497242, 12497272, 12497312, 12497333, 12497376, 12497380, 12497392, 12497492, 12497728, 12497846, 12497866, 12497867, 12497868, 12498171, 12498216, 12498250, 12498261, 12498280, 12498291, 12498309, 12498320, 12498353, 12498383, 12498658, 12498694, 12498817, 12498849, 12498881, 12498914, 12498944, 12499183, 12499204, 12499240, 12499241, 12499259, 12499266, 12499280, 12499297, 12499304, 12499332, 12499333, 12499461, 12499492, 12499527, 12499532, 12499590, 12499595, 12499689, 12499863, 12499890, 12499891, 12499892, 12499936, 12499968, 12500100, 12500176, 12500210, 12500272, 12500312, 12500388, 12500423, 12500464, 12500629, 12500659, 12500666, 12500694, 12500713, 12501273, 12501413, 12501540, 12501542, 12501562, 12501581, 12501615, 12501627, 12501637, 12501671, 12501678, 12501732, 12501753, 12501789, 12501818, 12501833, 12501838, 12501889, 12501946, 12501958, 12502010, 12502047, 12502049, 12502082, 12502088, 12502103, 12502111, 12502205, 12502213, 12502284, 12502356, 12502380, 12502473, 12502552, 12502616, 12503273, 12503316, 12503361, 12503374, 12503424, 12503462, 12503852, 12503978, 12504029, 12504032, 12504058, 12504091, 12504118, 12504147, 12504179, 12504182, 12504189, 12504208, 12504213, 12504239, 12504241, 12504271, 12504272, 12504313, 12504315, 12504341, 12504343, 12504364, 12504366, 12504398, 12504428, 12504461, 12504491, 12504527, 12504536, 12504589, 12504594, 12504597, 12504607, 12504615, 12504650, 12504825, 12504828, 12504832, 12504850, 12506072, 12506403, 12506423, 12506462, 12506502, 12506806, 12506808, 12506813, 12507124, 12507358, 12507799, 12508403, 12508448, 12508478, 12508496, 12508559, 12508595, 12508644, 12508674, 12508707, 12508738, 12508943, 12509056, 12509173, 12509181, 12509195, 12509295, 12509332, 12509397, 12509423, 12509448, 12509646, 12509676, 12509706, 12509862, 12509872, 12509886, 12509896, 12509900, 12509994, 12510008, 12510009, 12510014, 12510047, 12510100, 12510148, 12510149, 12510180, 12510235, 12510239, 12510337, 12510339, 12510441, 12510526, 12510531, 12510623, 12510667, 12510698, 12510764, 12512028, 12512034, 12512186, 12512187, 12512246, 12512267, 12512270, 12514370, 12514472, 12514505, 12514627, 12515460, 12515529, 12515564, 12515596, 12515617, 12515692, 12515703, 12515723, 12515749, 12515788, 12515820, 12515870, 12515873, 12515937, 12515951, 12515954, 12516021, 12516055, 12516079, 12516082, 12516095, 12516117, 12516142, 12516159, 12516163, 12516190, 12516254, 12516263, 12516271, 12516378, 12516418, 12516435, 12516438, 12516514, 12516516, 12516579, 12516582, 12516583, 12516602, 12516618, 12516948, 12517032, 12517054, 12517055, 12517071, 12517304, 12517418, 12517419, 12517420, 12517438, 12517560, 12517889, 12518484, 12518498, 12520006, 12520169, 12520201, 12520202, 12520215, 12520232, 12520237, 12520249, 12520295, 12520447, 12520508, 12520526, 12520528, 12520700, 12520701, 12520702, 12520703, 12520831, 12520832, 12520850, 12520979, 12521308, 12521543, 12521555, 12521642, 12521654, 12521678, 12521747, 12521772, 12521794, 12521874, 12521880, 12521922, 12521933, 12521984, 12521985, 12522035, 12522072, 12522089, 12522131, 12522148, 12522229, 12522252, 12522265, 12522312, 12522369, 12522371, 12522449, 12522450, 12522467, 12522528, 12522604, 12522608, 12522612, 12522613, 12522631, 12522640, 12522662, 12522686, 12522726, 12522752, 12522755, 12522779, 12522787, 12522814, 12522855, 12522861, 12522918, 12522938, 12523009, 12523031, 12523088, 12523123, 12523199, 12523223, 12523278, 12523302, 12523402, 12523415, 12523508, 12523656, 12523657, 12523726, 12523745, 12523863, 12523924, 12523925, 12523979, 12524015, 12524051, 12524102, 12524128, 12524177, 12524203, 12524257, 12524282, 12524337, 12524415, 12524424, 12524539, 12524661, 12524754, 12524981, 12524982, 12525015, 12525118, 12525202, 12525211, 12525312, 12526175, 12526188, 12526209, 12526640, 12527102, 12527365, 12527367, 12527424, 12527566, 12527606, 12527628, 12527649, 12527715, 12527986, 12528471, 12528571, 12528814, 12528815, 12530512, 12531506, 12531737, 12532180, 12532181, 12532230, 12532231, 12532270, 12532281, 12532289, 12532352, 12532374, 12532407, 12532421, 12532433, 12532446, 12532501, 12532502, 12532555, 12532585, 12532647, 12532648, 12532658, 12532853, 12532862, 12532867, 12532872, 12532891, 12533104, 12533199, 12534401, 12534956, 12537538, 12537539, 12537591, 12537593, 12538941, 12539059, 12539287, 12539305, 12539347, 12539350, 12539352, 12539458, 12539655, 12539745, 12539746, 12539862, 12539864, 12540161, 12541103, 12541114, 12541128, 12541169, 12541223, 12541464, 12541470, 12541503, 12541520, 12541534, 12541553, 12541568, 12541610, 12541611, 12541931, 12541976, 12542043, 12542077, 12542111, 12542182, 12542327, 12542485, 12542512, 12542626, 12542629, 12543019, 12543084, 12543130, 12543359, 12543360, 12543465, 12543593, 12543919, 12543958, 12544046, 12544158, 12544185, 12544221, 12544749, 12544750, 12544796, 12544797, 12544798, 12544799, 12487750, 12491625, 12493397, 12493466, 12527996, 12531582, 12533433, 12537522, 12539226, 12539233, 12539237, 12539281, 12539291, 12539348, 12539416, 12539754, 12542043, 12542066, 12542244, 12543392, 12488013, 12488405, 12488595, 12490937, 12491042, 12491650, 12493396, 12496305, 12527996, 12531582, 12533433, 12537551, 12539030, 12539227, 12539234, 12539238, 12539325, 12542043, 12542077, 12542327, 12542485