SXAT-CCXbuild-21-1

インストール先：$(HOME)/local（標準設定）　「ここで、cd ~　⇒　mkdir -p local/bin で準備しておく」
ExodusII出力：有効　 : ExodusII出力(-o exo)をサポート(libexodus.so が必要)
IntelMKL利用：有効（ただしStaticLinkは無効） : IntelMKL(SOLVER=PARDISO)をサポート(Intel-MKL library が必要)
SX-Aurora VE利用：この段階では無効
preCICE利用：なし

として、以下のように設定します。

cd ~/CalculiX-Builder　⇒　cp Makefile Makefile.org　⇒　vi Makefile

14 PREFIX = $(HOME)/local
19 WITH_EXODUSII=true
24 WITH_MKL=true
25 WITH_MKL_STATIC=false
30 WITH_AURORA=false
36 WITH_PRECICE=false

実際にビルドするときには、複数コアを利用すると効果的です。
計算機の物理コアを「cat /proc/cpuinfo | grep "cpu cores"」で確認します。ここでは８コアでした。

そこで「make NPROCS=8」として、ビルドを実行します。警告は多数出ますが、エラー無く最後に以下表示され、約２分ぐらいで完了します。
「make[1]: ディレクトリ `/home/dalab/CalculiX-Builder/src' から出ます」

ビルドしたディレクトリ内の「src」にできるので、「$ ls -l src/ccx_2.18_MT」で確認すると、
VH 用 CCXとして「src/ccx_2.18_MT（size:7265288）」が出来ています。

実行形式が完成したので、インストール先：$(HOME)/local にコピーします。「make install」で行います。

状況を確認するために、「ls -l ~/local/bin/」を実行すると、
「-rwxr-xr-x. 1 dalab dalab 7265288 3月 6 10:19 ccx_2.18_MT」で確認できました。

ここでは、VH用のCCXとしたので、コマンド名を変更しておきます。
「cd ~/local/bin　⇒　mv ccx_2.18_MT ccx_2.18_VH」

まず、CCXの動作に必要な環境変数の設定をして、起動の確認をします。
以下の内容を「$ vi ~/.bashrc」の最後に追記して、「$ source ~/.bashrc」で有効にしておきます。

IntelMKLのライブラリのパス設定　／　CCXの実行形式のパス　／　OpenMPの並列処理数（現段階では１）

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/intel/lib/intel64:/opt/intel/mkl/lib/intel64
export PATH=$PATH:$HOME/local/bin
export OMP_NUM_THREADS=1

「$ ccx_2.18_VH」で実行してみます。エラーなく「Usage: CalculiX.exe -i jobname」と表示されたら、取り合えずのビルド成功です。

次に、CCX の作業用のディレクトリを、「mkdir ~/CCXwork21」で作ります。
動作確認用のディレクトリを作ります。「cd ~/CCXwork21　⇒　mkdir Ex1」

ここでは約４０万要素の片持梁で弾性解析を行うテストデータ「test.inp」を用いて、各ソルバーの動作を検証します。
まず次のリンクから「test.inp」をダウンロードしてください。

動作確認用ディレクトリ Ex1 の中にテストデータ test.inp を置きます。
ビルドした CCX の解析として、Ex1 内で「$ ccx_2.18_VH test（拡張子 .inp は外す）」として実行します。

表示されるログの途中で「Using upto 1 cpu・spooles」となり、標準のSpoolesソルバーで１cpu（１core）で実行しています。
エラーなく「Job finished」と表示されたら終了で、全体の解析時間は「28.038304 [sec]」となっています。

解析によって多数のファイルが作られており、「test.frd」が CCX の独自の解析結果ファイルになります。

次に Exodus出力を調べるので、入力データtest.inp以外を削除しておきます。
「$ ccx_2.18_VH test -o exo（オプションは最後に指定する）」で実行します。
この実行では、ParaView で可視化可能な「test.exo」が作られているのが分かります。

ソルバー変更の効果を確認するために、test.inpを、エディタviなどで開いて、以下を変更する
「Static,SOLVER=SPOOLES」の行頭を「**」でコメントアウトして、
「Static,SOLVER=PARDISO」の行頭を「*」で有効にして、ccx_2.18_VHで実行する。

表示されるログの最後に、以下の表示があり、IntelMKLのpardisoソルバーで１コア実行実行しています。
Solving the system of equations using the symmetric pardiso solver
number of threads = 1

解析時間は「18.576814 [sec]」となり、先のspoolesに比べて約1.51倍高速化されています。

１：SXAT の CentOS 上に、VH 用の Calculix (CCX) を構築するまでのビルド手順 【SXAT-CCXbuild-21-1】 †