【障害報告】2018.1.26発生:クーリングラック冷却水漏れによるノード停止

2018.2.27

 掲載が大幅に遅くなりましたが、下記の通り障害が発生し復旧しました。(2/28現在、一部の計算ノードはパーツが不足しているため停止しています)

1. 障害の概要

 1 月 26 日に Rack1 のクーリングラック#1 内部において漏水が発生し、
 それに起因して 19 ノードで障害が発生しました。
 Rack1を緊急停止した為、ラック内の全72ノードのジョブに影響がありました。
 漏水だけでは故障しない構造ですが、
 冷却ファンにあたり、跳ねた為計算ノードにも影響が発生しました。
 クーリングラック#1 を分解および目視確認により漏水箇所を特定し、
 漏水に対する処置を完了しております。

2. 原因

 ガスケットと水冷配管の間になんらかの理由により隙間ができ漏水しました。
 2018年1月以降(特に夜間から明け方にかけて)、
 外気温の変化を起因として、水冷配管内を流れる水量に変動が起きていることを確認しております。
 水量の変化によってガスケットの該当箇所に不規則な力が加わり、
 結果としてガスケットの一部が損傷したものと推察しています。 

3. 今後の対策

 クーリングラックの一部を解体し、十分にさらに故障しないよう養生して、
 流量変動を行う通水試験を全てのラックに行います。
 実施時期や利用者への影響は現在、調整中です。


障害による影響の可能性があるジョブは以下の通りです。

1310516, 1666865, 1667033, 1667051, 1667052, 1667592, 1667610, 1667645, 1667688, 1667750, 1667834, 1667838, 1667842, 1667853, 1668498, 1668503, 1668560, 1668572, 1668584, 1668617, 1668627, 1668638, 1668646, 1671602, 1674768, 1696549, 1696744, 1697857, 1698341, 1698631, 1702052, 1704947, 1706114, 1708423, 1708445, 1709685, 1709981, 1714738, 1716127, 1716133, 1716139, 1716328, 1716352, 1716557, 1716561, 1716574, 1716640, 1716655, 1716804, 1717149, 1717206, 1717224, 1717303, 1717482, 1717499, 1717509, 1717978, 1718184, 1718226, 1719009, 1719104, 1719111