- 追加された行はこの色です。
- 削除された行はこの色です。
#author("2020-06-30T12:53:37+09:00","default:opencaewikistaff","opencaewikistaff")
* １：SX-Aurora TSUBASA にCentOSを導入し、関連ツールとライセンスを設定するまで 【SXAT-Setup1】 [#i1bc3300]
【[[AboutNecSXAT]] に戻る】【２：[[SXAT-CCXbuild1]] に進む】【３：[[SXAT-PrePoMax1]] に進む】【４：[[SXAT-PrePoMax2]] に進む】
ここでは、研究室でSXATを導入する時に行った作業の記録をまとめます。まず必要なのは、上記の関連文書ウエブにある''「SX-Aurora TSUBASA セットアップガイド」''~
https://www.hpc.nec/documents/guide/pdfs/SetupGuide_J.pdf です。入手しておきます。
次に必要なのは、SXATの独自のソフトウエアを導入するために、上記の関連文書ウエブにある''「SX-Aurora TSUBASA インストレーションガイド」''~
https://www.hpc.nec/documents/guide/pdfs/InstallationGuide_J.pdf です。入手しておきます。
更に必要なのは、SXATのソフトウエアのラインセンスを管理するために、上記の関連文書ウエブにある''「HPC ソフトウェアライセンス管理説明書」''~
https://www.hpc.nec/documents/guide/pdfs/HPC-LicenseManagementGuide_J.pdf です。入手しておきます。
''必要なものは「セットアップガイド」の P.1「第１章 準備」にあります。''
なお「セットアップガイド」では、ＯＳの必要なパッケージをインストールDVDから取得したり、ダウンロードは別のWindows-PCを利用していますが、以下の資料では、なるべくSXATのみを使って進めたいと思います。
*** ハードウエアに関する情報 [#ue3f0d99]
今回活用するのは、「エッジモデル：A100-1」と呼ばれる、ＰＣサイズのスパコンになります。見た目は以下の左側の写真のように、ちょっと大きなパソコンぐらいで、手前に置いたDVDメディアで大きさがわかると思いますが、寸法は20x43x53cmで「ミドルタワーサイズ」になります。
中央の写真の下にある、赤いグラフィックボードみたいなのが、このSXATの心臓部になる「ベクトルエンジン」になります。この高速ベクトル演算用ボードが組み込まれた形の製品になっています。マザーボードとかは一般的なＰＣサーバーの形式で、プロセッサやメモリがあります。
右側の写真では、端子の接続パネルですが、グラフィックは標準的なDsubで、キーボードやマウスはUSB接続します。注意するのは、LAN端子が２つあるのですが、この活用では左側（ボード側）に接続することにします。電源も普通の100Vですから、どこでも設置できます。以上の接続を準備しておきます。
&ref(./19709.jpg,200x200); &ref(./19710.jpg,200x200); &ref(./19711.jpg,200x200);
''以上の内容の詳細は、「セットアップガイド」の P.5「第２章 ハードウェアのセットアップ」にあります。''
この検証で利用するハードウエア「A100-1」に関しては、https://jpn.nec.com/press/201710/images/2501-01-01.pdf にまとめてあり、ＰＣ本体を「ＶＨ：ベクトルホスト」、高速演算ボードを「ＶＥ：ベクトルエンジン」と呼びます。
ベクトルホスト（VH）の仕様は、以下の通りです。~
Xeonプロセッサ数：１ ／ Xeonプロセッサ：Intel Xeon(R) Silver 4108 CPU @ 1.80GHz （8core/16thread）／ 最大メモリ構成 DDR4 DIMM x 6（1CPU）／ メモリ容量（GB）：96 ／ ディスク（TB）：2
ベクトルエンジン（VE）の仕様は、以下の通りです。~
VE数：１ ／ 搭載可能：VE Type 10C ／ 最大総VE演算性能（TFLOPS）： 2.15 ／ 最大総VEメモリ帯域（TB/s）：0.75 ／ 最大総VEメモリ容量（GB）：24
なお最新版のハードウエア情報は、以下にまとめてありました。
https://jpn.nec.com/hpc/sxauroratsubasa/specification/index.html?#anc-spec01
*** ソフトウエアに関する情報 [#l363738f]
今回はSXATの活用において、無償で利用できるCentOS7.7を用いることにしました。以下のウエブは「Index of /centos/7.7.1908/isos/x86_64」となっており、ここで「CentOS-7-x86_64-DVD-1908.iso （11-Sep-2019/11:51/4.3G)」をダウンロードします。DVDサイズのISOイメージファイルなので、4.3GBまであってダウンロードに時間がかかります。このISOイメージファイルを用いて、インストール用DVDを作成します。単にISOファイルを保存するのではなく、ISOイメージから起動できる様にDVDを作成します。
http://mirrors.oit.uci.edu/centos/7.7.1908/isos/x86_64/
なお最新版のLinuxカーネル情報は、以下にまとめてありました。
https://www.support.nec.co.jp/View.aspx?id=3140106285
''以下の内容の詳細は、「セットアップガイド」の P.8-21「第３章 ＯＳインストール」にあります。''
ただし、セットアップガイドの手順では、導入後にコンソール画面で作業しますが、以下の手順では様々な応用を展開するために、グラフィック画面を利用する設定となっています。また以下の導入の手順では、ディスク・メディア・ネットワークの扱い方が異なっていますが、この資料では資料を参考にしながらも、この手順で進めることにします。また、P.22-23の作業は、後で必要になったときに行います。
+ CentOS-7-x86_64-DVD-1908.isoを用いて作成したインストール用DVDを用意して、電源を入れたらすぐにDVDを入れる。
+ NECのロゴが表示されたら、起動デバイス選択のため、下の表示の「F11: Boot Menu」を選択するために、F11を押す。
+ Boot Menuで、「UEFI: ATAPI iHAS124 F」を選択して、インストールDVDから起動させる
+ DVD起動したら、メニューから「Install CnetOS7」を選択した状態でEnterで進める。（もしメディアチェックになったらESCで中断する）
+ GUIインストーラーが起動して、「WELCOME TO CENTOS 7」の表示になる
++ 「日本語・日本語(日本)」を選択し、日本語表示になるので、左下の「続行」を押して進める
+ インストールの概要の表示で、色々な設定項目が表示される
++ 地域設定＝色々な設定があるが、確認してそのまま
++ ソフトウエア＝イントールソースはローカルメディア（DVD）でそのまま、 ソフトウエアの選択を以下の様に設定する。
+++ ベース環境＝「開発およびクリエイティブワークステーション」を選択
+++ アドオン＝「その他の開発」「開発ツール」の２つを選択し、「完了」を押して進める
++ システム＝以下の２つを設定する
+++ インストール先のディスク（1863GB ATA HGST）を選択し、領域として、全てを削除し、領域の再利用、「完了」で進める
+++ KDUMP＝有効のチェックを外す 「完了」を押して進めて、やっと右下の「インストールの開始」を押してインストールを開始する。
+ 設定の画面になり、以下の２つを設定する
++ ROOTパスワードを設定する （ちなみに単純過ぎる場合には、「完了」を２回押して進める）
++ ユーザーの設定を、利用者の情報で設定するが、「管理者にする」のチェックを入れること（sudo用設定）
+++ 「設定」を押したら、インストール中は、相当長〜く待ちます 「正しくインストール」されて完了したら
+++ 「再起動」を押して、DVDを取り出して、HDDからCentOSが起動するのを待ちます。
+ 初期セットアップは、以下の2つを設定する
++ LICENSING＝下にある同意にチェック入れて、「完了」で設定する
++ システム＝ネットワークとホスト名を、所定の通りに入力し、「完了」で設定する これで「設定の完了」で進める。
+ 起動して、ログイン画面になり、設定したユーザー名とパスワードで、ログインする
++ ようこそ＝「日本語」を選択し、「日本語（かな漢字）」を選択し、「次へ」で進め
++ プライバシー＝「オフ」にして、「次へ」で進め
++ オンラインアカウント＝「スキップ」で進め
++ 設定完了しました＝「CentOS Linuxを使い始める」で、インストールが完了する。
+ 初めて使う方へ＝取り合えず閉じて、後で必要になったら「アプリケーション＞ヘルプ」から表示可能
この段階で、デスクトップ上で右クリックして「端末を開く」で、「$ cat /etc/redhat-release」のコマンドでバージョン「CentOS Linux release 7.7.1908 (Core)
」を確認できます。SXATを活用するために、動作確認が取れているこのバージョンで進めます。（システム更新は行わずに進めます）
*** SXAT用ソフトの導入の準備 [#m81f8172]
''以下の内容の詳細は、「インストレーションガイド」の P.1-10「第１章 はじめに」にあります。''
ここからは、準備したSXATのCentOS7.7に対して、必要なソフトウエアやライセンスの導入の準備をします。
まず、SXAT用ソフトを導入するために、独自の用語を確認しておくので、「インストレーションガイド」の P.ii-iiiの「用語定義・略語」を読んでおきます。
なお今回の導入では、PPサポートありとして進めます。また検証用機器は、ＬＡＮ接続しインターネットにアクセス可能としています。
次に、「インストレーションガイド」を見て、導入に必要な情報を確認します。
P.1 「1.1 本書が対象とするソフトウェア」： SXATの活用に必要なソフトウエアの一覧を確認します。~
P.2 「1.2 システム要件」： ここで用いるハードウエアは「エッジモデル A100-1」で、対象ＯＳは「CentOS 7.7」としています。~
P.3 「1.3 システム構成例」： ここでは「構成１：スタンドアロン」として運用します。
P.5 「1.5 インストール作業フロー」： ここでは「1.5.1 PP サポートを契約している場合」とします。~
P.7 具体的には「図７ PP サポートを契約している場合のインストール作業」の第２章の手順に従って行います。~
図７のフローの分岐において、InfiniBandは用いず（2.3なし）、インターネット接続可能（A.1-A.2なし）、ScaTeFSを使わない（2.8なし）、とするので、真っ直ぐに下に向かう手順です。
*** SXAT用ソフトのインストール [#u2e2f2d5]
''以下の内容の詳細は、「インストレーションガイド」の P.11-17「第２章 インストール（PPサポート契約あり）」にあります。''
なお以下のインストールでは、システム管理者として、スーパーユーザー（root）で実行する必要がありますが、ここでは利用者を管理者とする設定をしているので、sudo を用います。
- 2.1 ＯＳのインストール
先の手順によって、CentOS 7.7 が導入済みです。ただし、CentOSの場合には、「SX-Aurora TSUBASAの性能を引き出すためには、以下のようにチューニングプロファイルを変更する必要があります。」とのことなので、以下のように設定します。
$ sudo tuned-adm profile throughput-performance ~
[sudo] パスワード入力 ~
$ sudo tuned-adm active ~
Current active profile: throughput-performance ~
- 2.2 動作検証済みカーネルへのアップデート
以上で導入したCentOS 7.7 のカーネルのバージョンを、「コマンド：uname -r」で確認すると、「3.10.0-1062.el7.x86_64」でした。「インストレーションガイド」のP.12の「【SX-Aurora TSUBASA】検証済み Linux カーネル」のリンクを見ると、以下の３種類が動作確認済みカーネルとなっているので、カーネルバージョンアップを適切に実行してください。
3.10.0-1062.18.1.el7.x86_64 ／ 3.10.0-1062.12.1.el7.x86_64 ／ 3.10.0-1062.4.1.el7.x86_64
この検証済みカーネルがアップデートしないように、sudo vi /etc/yum.conf として設定します。ファイルを開いたら、[main]の設定の最後に、「exclude=kernel*」を追加します。
- 2.4 SX-Aurora TSUBASA yumリポジトリ設定
SX-Aurora TSUBASA システムの実行環境である VH に必要なソフトウェアのインストールを行うため、yum リポジトリを設定します。
まず、リポジトリ追加用ファイルを、以下のコマンドで導入します。~
sudo yum install https://www.hpc.nec/repos/TSUBASA-soft-release-2.1-1.noarch.rpm 利用者のパスワード入力＞インストール確認 y で進める
インストール：TSUBASA-soft-release.oarch 0:2.1-1 「完了しました！」で終了。インストール内容として、以下のコマンドでファイルを確認できます。~
$ ls -l /etc/yum.repos.d/ ：リポジトリ設定ファイルTSUBASA-repo/restrictedの２つのファイルがある~
$ ls -l /opt/nec/ve/sbin/ ：サービス制御スクリプトなど４つのコマンドがある
この中で優勝リポジトリ設定ファイルの中に、sudo vi /etc/yum.repos.d/TSUBASA-restricted.repo で、準備した情報を設定します。~
４つの項目があるので、準備した項目の情報を、「インストレーションガイド」のP.15の手順に従って設定します。
- 2.5 インストールの実行
この作業は、ガイドに従って root になって、プロンプト # になってから実行してみます。「su / (root-password)」
ここでは、実行と開発の両方を行う設定で、infiniband, nqsv, scatefs を利用しない設定として、インストール項目を以下のように設定します。~
# TSUBASA_GROUPS="ve-devel nec-sdk-devel nec-mpi-devel"
グループ状態更新スクリプト TSUBASA-groups-remark.sh を用いて、次のように設定します。~
# /opt/nec/ve/sbin/TSUBASA-groups-remark.sh $TSUBASA_GROUPS ~
エラーなく「Marked packages: nec-mpi-devel-2-7-0,nec-mpi-libs-2-7-0,nec-mpi-runtime,nec-mpi-utils-2-7-0」と表示されたら成功です。
実際に yum を用いて、次の手順でインストールします。
# yum groups install $TSUBASA_GROUPS 「インストール容量；3.7G」となり、インストール確認 y で進める 全部で99個パッケージを導入します。~
少し待つと「file:///etc/pki/rpm-gpg/RPM-GPG-KEY-TSUBASA-soft から鍵を取得中です。」と表示されたら y で進める。~
ここから実際に99個のパッケージをインストール・検証します。７分ぐらいかかって「完了しました！」で終了です。
- 2.6 ＶＥの状態確認
導入したSXAT用のインストールによって、vecmd コマンドでＶＥが ONLINE であることを確認します。インストールしてから数分待って行います。~
ここも root でコマンドを実行すると、以下のようになります。~（／は改行）これでＶＥカードは正常に認識されていることが分かります。~
# /opt/nec/ve/bin/vecmd state get ~
Vector Engine MMM-Command v1.3.37 ／ Command: ／ state -N 0 get ~
VE0 [65:00.0] [ ONLINE ] Last Modif:2020/06/08 10:29:39 ／ Result: Success
- 2.7 VMC Firmware (VMCFW) の アップデート
次に VMC（ＶＥ管理コントローラー：VE Management Controller）の更新の要否を、次のコマンドで判定します。（ここも root でコマンドを実行）~
# /opt/nec/ve/bin/vecmd fwup check ~
結果として、以下のように「Updating VMCFW is required.」となりましたので、「インストレーションガイド」のP.16の手順に従って更新します。
VE0 VMCFW Version : HW 1.5.13 < File 1.5.17 ~
Updating VMCFW is required. ／ Result: Success
(1) VEの状態をMAINTENANCEモードにします。
# /opt/nec/ve/bin/vecmd state set off 「Result: Success」と出て終了 ／ # /opt/nec/ve/bin/vecmd state set mnt 「Result: Success」と出て終了
(2) vecmdコマンドを実行し、ファームウェアをアップデートします。
# /opt/nec/ve/bin/vecmd fwup vmc aurora_MK10.bin 「It takes time. Please wait a moment.」と表示されるので数分間待つ。~
終了すると「If all FWUP succeeds, please carry out reboot. ／ Result: Success」とあるので、システムを再起動する。
(3) VEの状態を確認します。
# /opt/nec/ve/bin/vecmd state get 「Result: Success」と出て認識は確認 ／ # /opt/nec/ve/bin/vecmd fwup check 「Updating VMCFW is not required.」と出て更新も確認
*** SXAT用ソフトのライセンス設定 [#vadc9ec3]
''以下の内容の詳細は、「HPC ソフトウェアライセンス管理説明書」にあります。''
まず P.5 の「1.4. 対象製品」において、設定するライセンスを確認します。次に P.6 の「1.6. ライセンスを使用するための手順」において手順を確認し、P.7の「2. ライセンスの管理方法について」を確認しておきます。
なお以下の手順では、P.9の「3. ライセンスファイルの入手」と P.11の「4. ライセンスサーバー、ライセンスアクセスライブラリの入手」は、対応済とします。
それでは、P.12の「5. ライセンスサーバーのインストール・環境設定」を実行します。まず「5.1. ライセンスサーバーのインストール」は、対応済みで不要です。
「5.2. ライセンスファイルの配置」を行います。準備したライセンスファイル license.dat を /opt/nec/aur_license ディレクトリの下に配置します。root としてライセンスファイルがあるディレクトリで、以下のコマンドを実行します。~
# cp license.dat /opt/nec/aur_license （正常終了すると出力なし）
「5.3. ライセンス発行キーの登録」を行います。準備したライセンス発行キーをライセンスサーバーに登録します。root として /opt/nec/aur_license/bin/reg_serialkey コマンドで、以下のように、ライセンス発行キーを一つずつ指定して登録します。~
ライセンス発行キーが複数ある場合は、ライセンス発行キーごとに reg_serialkey コマンドを繰り返し実行して、ライセンスファイルを入手する際に使用した全てのライセンス発行キーを登録します。
# /opt/nec/aur_license/bin/reg_serialkey NNNNNN-NNNNNN-NNNNNN-NNNNNN-NNNNNN
用意したすべてのライセンス発行キーを登録したら、次のコマンドで登録が正常に行えているか確認をします。問題なく登録が行えている場合「OK」が表示されます。
# /opt/nec/aur_license/bin/reg_serialkey -—check
「5.4. ライセンスサーバーの設定」を行います。環境設定は、/opt/nec/aur_license/aur_license.conf ファイルを、root で所定のとおり編集します。今回は、License_server_port と License_server_host の２項目を記述し、他の３項目は既定値です。
# vi /opt/nec/aur_license/aur_license.conf
「5.5. ファイアウォールの設定」を行います。ライセンスサーバーが上記の設定で指定した待ち受けポート番号で通信が行えるように、ファイアウォールの設定が必要です。以下の２つのコマンドで設定します。
# firewall-cmd --add-port=7300/tcp --permanent （「success」が表示される）
# firewall-cmd --reload （「success」が表示される）
次に以上の準備を終えて、「6. ライセンスサーバーの運用」を行います。具体的には「6.1. ライセンスサーバーの起動、終了」を実行します。
まず、以下のコマンドで設定したライセンスサーバーを起動します。
# systemctl start aurlic-server.service （成功するとメッセージなし）
設定したライセンスサーバーの状況を、以下のコマンドで確認します。
# systemctl status aurlic-server.service （成功すると以下のメッセージ）~
aurlic-server.service - Vector System License Server … Active: active (running)
正常な動作を確認したら、再起動時にライセンスサーバーを自動的に起動できるように、以下で設定します。
# systemctl enable aurlic-server.service （成功すると以下のメッセージ）~
Created symlink from /etc/systemd/system/multi-user.target.wants/aurlic-server.service to /usr/lib/systemd/system/aurlic-server.service.
【[[AboutNecSXAT]] に戻る】【２：[[SXAT-CCXbuild1]] に進む】【３：[[SXAT-PrePoMax1]] に進む】【４：[[SXAT-PrePoMax2]] に進む】
![[PukiWiki]](image/ryos-logo-1-M.png "[PukiWiki]"){kind=logo}
