python/3.6.5を用いて最新版のnumpy, mpi4py, chainer, tensorflow, cupy等をインストールする方法について

python/3.6.5を用いて最新版のnumpy, mpi4py, chainer, tensorflow, cupy等をインストールする方法について

python/3.6.5を使って自分の環境下にnumpy, mpi4py, chainer, tensorflow等をインストールしたい場合は以下のようにします。

$ module purge
$ module load python/3.6.5
$ module load intel cuda openmpi
$ python3 -m pip install --user python_modules

バージョンを指定したい場合は

$ python3 -m pip install --user python_modules==version

※cupy等GPUを用いるモジュールをインストールする場合は、qrshで計算ノードを確保してから行って下さい。

※CuPyは、pip install時にCUDAバージョンに合った cupy-cuda102 などのモジュールを指定することで、高速にインストールを行うことができます。

intel MKLをリンクしたnumpyのインストール方法について

https://github.com/numpy/numpy/blob/master/site.cfg.example を~/.numpy-site.cfgにコピーし、[mkl]の項目を以下のように編集します。

[mkl]
library_dirs = /apps/t3/sles12sp2/isv/intel/compilers_and_libraries_2018.1.163/linux/mkl/lib/intel64
include_dirs = /apps/t3/sles12sp2/isv/intel/compilers_and_libraries_2018.1.163/linux/mkl/include
mkl_libs = mkl_rt

その後、以下を実行します。

$ module load intel python/3.6.5
$ python3 -m pip install --no-binary :all: --user numpy