TSUBAME2.5とTSUBAME3.0の主な違いについて(ログインノード・計算ノードの利用)

TSUBAME2.5とTSUBAME3.0との主な違いについて説明します。それぞれの項目の詳細はTSUBAME3.0およびTSUBAMEポータルの利用の手引きをご参照ください。

ログインノードでできること

TSUBAME2.5ではログインすると、計算ノードと同構成のインタラクティブノードと呼ばれるノードに接続され、その場でアプリケーションのコンパイル、デバッグ実行等を行うことができていました。

TSUBAME3.0ではログイン時に接続されるログインノードは計算ノードとは別構成(GPUが接続されていない等)であり、デバッグを含めたアプリケーションの実行を想定していません。
ファイルの転送・展開や小規模なプログラムのコンパイル等をログインノードで行うことは問題ありませんが、デバッグや大規模プログラムのデバッグなど、ログインノードに負荷がかかる利用は避け、次項にある方法で計算ノードをインタラクティブ利用することでご対応ください。1プログラム程度では負荷がかからないからといって構わずに実行してしまう方が一人でも出ると、積み重なったプロセスでログインノードが停止する場合があります。

インタラクティブ利用の方法

計算ノードに接続して、直接コマンドを投入するインタラクティブ利用を行うためには、以下のコマンドを利用してください
 $ qrsh –g [TSUBAME3グループ] -l [資源タイプ]=[個数] -l h_rt=[経過時間]
計算ノードが確保出来次第、計算ノードにログインした状態のシェルが表示されます。このシェルを終了することで、インタラクティブ利用が終了し、計算ノードが解放されます。
-gを指定した場合、通常の計算ノードと同様にTSUBAMEポイントが消費されることにご注意ください。
-gを省略した場合、TSUBAMEポイントが消費されませんが、「お試し実行」としての実行時間(10分以内)等の制限が適用されます。

GUIアプリケーションを利用する場合は、qrshで実行されるシェルからは実行できないため、上記手順で資源タイプf_nodeのインタラクティブ利用を開始した後で、qrshを実行しているのとは別のターミナルで、ログインノードから当該計算ノードへssh -Yで接続することで、利用することができます。手元の端末からログインノード、ログインノードから計算ノードのいずれのsshにも-Yオプションを指定する必要がありますのでご注意ください。

インストールされているアプリケーションの実行方法(PATH等の設定)

TSUBAME2.5では、ログインした時点でインストールされているほとんどのアプリケーションが実行可能な状態となっており、一部のアプリケーションやバージョン違い、MPI環境の切り替え時にはそれぞれ指定された環境設定スクリプトを実行することで環境を切り替えていました。

TSUBAME3.0では、ログインした状態ではほとんどのアプリケーションへの環境変数は設定されておらず、必要となるアプリケーション毎に、対応するモジュールファイルを明示的にロードすることで対応するアプリケーションが実行可能になります。
例えば、Intelコンパイラ、CUDA、OpenMPIを利用する際には、
 $ module load intel cuda openmpi
のように、アプリケーションのコンパイル前およびジョブの実行時に設定する必要があります。

ジョブの制限事項

TSUBAME2.5ではプレミアオプションとして、より多くのTSUBAMEポイントを支払う代わりに、24時間を超えるジョブの実行をすることができました。

TSUBAME3.0では、実行時間延長のオプションは廃止され、すべてのジョブの最大実行時間は24時間となります。
24時間を超える計算は、途中経過をファイルに書き出して再開する仕組みを作るなどして、24時間未満で分割するなどでご対応ください。

TSUBAME2.5ではHキューとして、16ノード以上の大規模予約実行を1日単位で行うことが出来ました。

TSUBAME3.0では1ノード以上、1時間単位の予約実行ができるよう、現在準備中です。システムの準備が整うまで今しばらくお待ちください。