KISTI 슈퍼컴퓨팅 기술 블로그

슈퍼컴퓨터 5호기 초고성능컴퓨팅 기반 RnD 혁신지원 프로그램 2023년 1차분 연구과제 공모

사용자지원 — Fri, 28 Oct 2022 14:56:25 +0900

KISTI 국가슈퍼컴퓨팅센터는 초고성능컴퓨팅(High Performance Computing) 육성법에 근거하여 국가 차원의 초고성능컴퓨팅 자원을 지원하고 있습니다. 초고성능컴퓨팅 기반 RnD 혁신지원 프로그램 연구과제에 대해 아래와 같이 공모하오니, 희망 연구자는 마감일을 지켜 신청서를 제출해 주시기 바랍니다.

ㅇ 프로그램명 : 슈퍼컴퓨터 5호기 초고성능컴퓨팅 기반 RnD 혁신지원 프로그램(2023년 1차분)

ㅇ 지원자격 :
초고성능컴퓨터를 활용하여 계산과학, 제조혁신, 인공지능 등의 연구개발을 수행하고자 하는 국내 재직 중인 박사급 이상 연구자 또는 이에 준하는 경력 연구자(학사후 10년, 석사후 5년),
단, 외국인의 경우 post doc.은 가능, 방문 연구원은 제외

ㅇ 지원분야 : 거대연구 및 창의연구

ㅇ 신청기간 : 2022년 11월 01일(금)~11월 14일(목) 18:00 마감

ㅇ 신청방법 :
KSC 홈페이지 메뉴에서 자원신청>R&D혁신지원 프로그램 신청을 선택하거나 아래를 통해 직접 신청하실 수 있습니다.

https://www.ksc.re.kr/jwjg/hsjw/hsjwsc/view/1382?page=&csSignature=hclE1eRpo54TZfuVl058Cw%3D%3D&gs_gigan=&gs_startScDate=&gs_endScDate=&pageSize=&rootPage=true

국가슈퍼컴퓨팅센터

R&D 혁신지원 프로그램 상세정보 슈퍼컴퓨터 5호기 초고성능컴퓨팅 기반 RnD 혁신지원 프로그램(2023년 1차) 연구과제 신청서접수기간 22-11-01 00:00 ~ 22-11-14 18:00 평가실시시간 22-11-18 ~ 22-12-05 사전 결

www.ksc.re.kr

뉴론 lammps-27Oct2021 (GPU 버전) 설치

사용자지원 — Fri, 16 Sep 2022 14:33:37 +0900

KISTI 뉴론 시스템에 lammps-27Oct2021버전을 설치하는 방법에 대해 소개한다.

설치 과정 소개는 tar 파일을 이용한 압축 해제 방법과 설정 방법 등의 진행 절차를 위주로 설명하고, 소스 파일 다운로드 등은 생략한다.

1. 설치환경

구분	내용
대상 시스템	뉴론
OS Version	리눅스 / CentOS 7.9
CPU	Intel(R) Xeon(R) Gold 5217 CPU @ 3.00GHz
컴파일러	GCC 10.2.0
MPI	CUDA OpenMPI 4.1.1
기타	CUDA 11.4

2. 설치 전 환경설정

뉴론 시스템은 PATH, LD_LIBRARY_PATH 등을 손쉽게 설정하기 위하여, OpenSource 프로그램인 Environment Modules(https://modules.sourceforge.net)이 구성되어 있고, 이하 설치 소개에서는 module load를 이용한 환경설정 방법을 활용한다.

$ module purge
$ module load gcc/10.2.0 cuda/11.4 cudampi/openmpi-4.1.1

3. 설치 과정

설치 과정에서 설치 경로는 ${HOME}/lammps/27Oct2021 을 사용하였다. 이 경로는 사용자에게 맞는 경로로 변경하여야 한다.

(1) VORO++ 설치 (다운로드 : http://math.lbl.gov/voro++/download)

VORONOI 패키지 설치를 위한 voro++을 우선 설치한다.

$ tar xvf voro++-0.4.6.tar.gz
$ cd voro++-0.4.6
$ mkdir -p ${HOME}/build/library
$ vi config.mk

(수정 내용)
CXX=mpicxx
PREFIX=${HOME}/build/library

$ make
$ make install

(2) LATTE 설치 (다운로드 : https://github.com/lanl/LATTE/releases)

LATTTE 패키지 설치를 위한 Latte 라이브러리를 우선 설치한다. 다운로드 받은 파일을 적당한 위치($HOME/build)에 올린 후 다음과 같은 명령으로 압축 묶음 파일을 푼다.

$ cd ${HOME}/build
$ tar xvf v1.2.1.tar.gz
$ cd LATTE-1.2.1
$ vi makefile.CHOICES

(수정 내용)
LIB = -L/apps/compiler/gcc/10.2.0/applib1/lapack/3.10.0 -llapack -lblas

GPU_CUDA_LIB = -L/apps/cuda/11.4/lib64 -lcublas -lcudart
GPU_ARCH = sm_70
※ a100 노드에서 작업 수행 시, GPU_ARCH = sm_70대신 GPU_ARCH = sm_80)

$ make

(3) 라이브러리 패키지 설치

LAMMPS 공식 홈페이지 http://lammps.sandia.gov/index.html 나 https://github.com/lammps/lammps/releases 로부터 다운로드 받은 파일을 적당한 위치($(HOME)/build)에 옮긴 뒤, 다음과 같은 명령으로 압축 해제 한다.

$ tar xvf lammps-27Oct2021.tar.gz

(3-1) voronoi 설정

(1)에서 설치한 voro++ 설치 디렉터리를 지정해 준다. lammps 압축 해제 후 lammps-27Oct2021 디렉터리로 이동하여 아래의 작업을 진행한다.

$ cd lammps-27Oct2021
$ cd lib/voronoi
$ ln -s $(HOME)/build/library/include/voro++ includelink
$ ln -s $(HOME)/build/library/lib liblink
$ cd ../../

(3-2) poems 설치

$ cd lib/poems
$ make -f Makefile.g++

(3-3) awpmd 설치

$ cd lib/awpmd
$ vi Makefile.lammps.installed

(수정 내용)
awpmd_SYSLIB =

$ make -f Makefile.mpicc
$ cd ../../

(3-4) atc 설치

$ cd lib/atc
$ vi Makefile.lammps.installed

(수정 내용)
atc_SYSLIB =

$ make -f Makefile.mpic++
$ cd ../../

(3-5) linalg 설치

$ cd lib/linalg
$ make -f Makefile.gfortran
$ cd ../../

(3-6) latte 설정

$ cd lib/latte

$ ln -s ${HOME}/build/LATTE-1.2.1/src includelink
$ ln -s ${HOME}/build/LATTE-1.2.1 liblink
$ ln -s ${HOME}/build/LATTE-1.2.1/src/latte_c_bind.o filelink.o

$ cd ../../

(3-7) gpu 설치

$ cd lib/gpu
$ vi Makefile.linux

(수정 내용)
CUDA_HOME = /apps/cuda/11.4

# Maxwell hardware
#CUDA_ARCH = -arch=sm_50

# Volta hardware
CUDA_ARCH = -arch=sm_70

# Ampere hardware
#CUDA_ARCH = -arch=sm_80
※ a100 노드에서 작업 수행 시, CUDA_ARCH = -arch=sm_70는 주석처리(#)하고
CUDA_ARCH = -arch=sm_80 주석해제)

$ vi Makefile.cuda

(수정 내용)
CUDA_HOME = /apps/cuda/11.4

$ make -f Makefile.linux
$ ./nvc_get_devices

$ vi Makefile.lammps

(수정 내용)
CUDA_HOME=/apps/cuda/11.4

$ cd ../../

(4) LAMMPS 설치

lammps 설치 디렉터리 ($(HOME)/build/lammps-27Oct2021) 아래 src 디렉터리로 이동한다.

- package 선택 및 설치

수행하는 연구 내용에 맞추어 필요한 package를 선택하여 설치한다. 예시에서는 기본적으로 많이 사용되는 package 위주로 구성하여 설치 진행하였다.

$ cd src

$ make package-status
$ make no-kim
$ make no-KOKKOS
$ make no-MSCG
$ make no-PYTHON
$ make yes-meam
$ make yes-reaxff
$ make yes-granular
$ make yes-peri
$ make yes-MANYBODY
$ make yes-ATC
$ make yes-AWPMD
$ make yes-MISC
$ make yes-POEMS
$ make yes-VORONOI
$ make yes-LATTE
$ make yes-GPU
$ make package-status

- makefile 수정

$ vi MAKE/Makefile.mpi

(수정 내용)
CC =            mpicxx
CCFLAGS =       -g -O3 -std=c++11
CCFLAGS +=      -I/apps/wa/build/applications/lammps-27Oct2021/build/library/include/voro++ -I/apps/cuda/11.4/include
SHFLAGS =       -fPIC
DEPFLAGS =      -M

FFT_INC = -I/apps/compiler/gcc/10.2.0/cudampi/11.4/openmpi/4.1.1/applib2/fftw_mpi/3.3.7/include
FFT_PATH =
FFT_LIB = -L/apps/compiler/gcc/10.2.0/cudampi/11.4/openmpi/4.1.1/applib2/fftw_mpi/3.3.7/lib

(수정 내용)
include ../../lib/gpu/Makefile.lammps
include ../../lib/latte/Makefile.lammps.mpi
include ../../lib/atc/Makefile.lammps
include ../../lib/awpmd/Makefile.lammps
include ../../lib/poems/Makefile.lammps
include ../../lib/voronoi/Makefile.lammps

$ make mpi 2>&1 |tee make.log

4. 실행 파일 복사

설치가 완료되면 편의를 위해 bin 경로를 만들어 실행 파일인 lmp_mpi를 bin 경로에 복사하여 활용할 수 있다. (선택사항)

$ ls -l lmp_mpi
$ cd $(HOME)

$ mkdir bin
$ cp $(HOME)/build/lammps-27Oct2021/src/lmp_mpi .

5. 뉴론에서 LAMMPS 사용을 위한 SLURM 작업 스크립트 예제

위의 과정을 거쳐 설치된 lammps는 뉴론 환경에서 다음과 같이 작업에 활용할 수 있다. 뉴론에서 작업을 제출하기 위해서는 SLURM 작업 스크립트를 사용하여야 한다.

실행 예제로는 /apps/applications/test_samples/LAMMPS/peri 경로의 데이터를 이용하였다.

- 작업 스크립트 예시 (test.sh)

#!/bin/sh
#SBATCH -J test
#SBATCH -p cas_v100_4
#SBATCH -N 1
#SBATCH -n 4
#SBATCH -o %x_%j.out
#SBATCH -e %x_%j.err
#SBATCH -t 00:30:00
#SBATCH --gres=gpu:2
#SBATCH --comment lammps

module purge
module load gcc/10.2.0 cuda/11.4 cudampi/openmpi-4.1.1

export PATH=$(HOME)/bin:$PATH
(또는 lmp_mpi가 있는 경로를 PATH 경로로 지정)

srun lmp_mpi -sf gpu -pk gpu 2 -in [input 파일명]

RASPA2-2.0.47 설치 소개

사용자지원팀 — Mon, 1 Aug 2022 09:23:23 +0900

KISTI 누리온/뉴론 시스템에 RASPA2-2.0.47 버전을 설치하는 방법에 대해 소개한다.

설치 과정 소개는 tar 파일을 이용한 압축 해제 방법과 설정 방법 등의 진행 절차를 위주로 설명하고, 소스 파일 다운로드 등은 생략한다.

1. 설치환경

구분	내용
대상 시스템	누리온
OS Version	리눅스 / CentOS 7.7
CPU	Intel(R) Xeon Phi(TM) CPU 7250 / Intel(R) Xeon(R) Gold 6148
컴파일러	Intel 2018.3 Version
MPI	Intel MPI 2018.3 Version
기타	Intel Math Kernel Library

2. 설치 전 환경설정

누리온/뉴론 시스템은 PATH, LD_LIBRARY_PATH 등을 손쉽게 설정하기 위하여, OpenSource 프로그램인 Environment Modules(https://modules.sourceforge.net)이 구성되어 있고, 이하 설치 소개에서는 module load를 이용한 환경설정 방법을 활용한다.

$ module purge
$ module load intel/18.0.3 impi/18.0.3

3. 설치 과정

설치 과정에서 설치 경로는 ${HOME}/RASPA2/2.0.47 을 사용하였다. 이 경로는 사용자에게 맞는 경로로 변경하여야 한다.

$ tar -xvzf v2.0.47.tar.gz
$ cd RASPA2-2.0.47

$ mkdir -p m4
$ aclocal
$ autoreconf -i
$ automake --add-missing

$ autoconf

$ ./configure --prefix=${HOME}/RASPA2/2.0.47 \
CPPFLAGS="-I/apps/compiler/intel/18.0.3/mkl/include/fftw" \
LDFLAGS="-L/apps/compiler/intel/18.0.3/mkl/lib/intel64" \
LIBS="-mkl=cluster" CC=mpiicc CXX=mpiicpc F77=mpiifort \
CFLAGS="-O3 -fPIC -m64 -xCOMMON-AVX512 -std=c99" \
CXXFLAGS="-O3 -fPIC -m64 -xCOMMON-AVX512" \
FFLAGS="-O3 -fPIC -m64 -xCOMMON-AVX512"

$ make 
$ make install

2022년도 슈퍼컴퓨터 5호기 초고성능컴퓨팅 기반 RnD 혁신지원 프로그램 3차분 연구과제 공모

사용자지원 — Tue, 28 Jun 2022 09:34:15 +0900

KISTI 국가슈퍼컴퓨팅센터는 초고성능컴퓨팅(High Performance Computing) 육성법에 근거하여 국가 차원의 초고성능컴퓨팅 자원을 지원하고 있습니다. 초고성능컴퓨팅 기반 RnD 혁신지원 프로그램 연구과제에 대해 아래와 같이 공모하오니, 희망 연구자는 마감일을 지켜 신청서를 제출해 주시기 바랍니다.

ㅇ 프로그램명 : 슈퍼컴퓨터 5호기 초고성능컴퓨팅 기반 RnD 혁신지원 프로그램(2022년 3차분)

ㅇ 지원자격 :
초고성능컴퓨터를 활용하여 계산과학, 제조혁신, 인공지능 등의 연구개발을 수행하고자 하는 국내 재직 중인 박사급 이상 연구자 또는 이에 준하는 경력 연구자(학사후 10년, 석사후 5년),
단, 외국인의 경우 post doc.은 가능, 방문 연구원은 제외

ㅇ 지원분야 : 거대연구 및 창의연구

ㅇ 신청기간 : 2022년 7월 01일(금)~7월 14일(목) 18:00 마감

ㅇ 신청방법 :
KSC 홈페이지 메뉴에서 자원신청>R&D혁신지원 프로그램 신청을 선택하거나 아래를 통해 직접 신청하실 수 있습니다.

https://www.ksc.re.kr/jwjg/hsjw/hsjwsc/view/1381?page=&csSignature=HJogmqw1SJ5jCFhZ18TKmg%3D%3D&gs_gigan=&gs_startScDate=&gs_endScDate=&pageSize=&rootPage=true

국가슈퍼컴퓨팅센터

R&D 혁신지원 프로그램 상세정보 슈퍼컴퓨터 5호기 초고성능컴퓨팅 기반 RnD 혁신지원 프로그램(2022년 3차분) 연구과제 신청서접수기간 22-07-01 00:00 ~ 22-07-14 18:00 평가실시시간 22-07-19 ~ 22-07-29 사전

www.ksc.re.kr

혁신지원프로그램공고_2022년_3차분.pdf

0.52MB

X86_64 어셈블리 프로그래밍 기초

파라다이소 — Thu, 2 Jun 2022 16:08:58 +0900

어셈블리(Assembly) 언어란?

어셈블리어란 사용자가 이해하기 어려운 기계어 대신에 명령 기능을 쉽게 연상할 수 있는 기호를 기계어와 대응시켜 코드화한 언어
어셈블리어로 작성한 프로그램은 어셈블러를 통해 오브젝트 코드(기계어)로 변환하는 과정(어셈블)을 거쳐야 함

어셈블리 언어를 배워야 하는 이유

○ 어셈블리 언어를 배워야 하는 이유는 다음과 같다:
참고: x86-64 Assembly Language Programming with Ubuntu (Jorgensen)

하드웨어 구조에 대한 이해를 돕는다. 기본적인 명령어, 레지스터, 메모리 접근방식, 하드웨어 인터페이싱에 대해 더 잘 이해할 수 있다.
툴 체인에 대한 이해: 컴파일러, 어셈블러, 링커, 로더, 디버거와 같은 도구의 세부사항을 이해할 수 있다
알고리즘 향상: 저수준 프로그램의 작성을 통해 프로그래머는 세부 사항에 더 많은 생각을 하게 된다.
기능/절차에 대한 이해 : 함수/프로시저 호출이 작동하는 방식을 이해하게 되고, 스텍 기반의 인수, 보존 레지스터 및 동적 로컬 변수에 대한 개념을 이해할 수 있음
컴파일러의 범위 이해: 컴파일러가 컴퓨터 아키텍처와 관련하여 하는 일과 하지 않는 일에 대해 이해할 수 있음
공유메모리, 인터럽트, 스레드 처리, 경쟁 조건과 같은 개념에 대해 이해 할 수 있음

CISC vs RISC

○ CISC (Complex Instruction Set Computer)

복잡한 명령어 집합을 갖는 CPU 아키텍처
명령어가 복잡하기 때문에 명령어를 해석하는데 상대적으로 긴 시간이 필요하며 해석에 필요한 회로도 복잡함
연산의 대상은 레지스터, 메모리, 또는 상수(immediate value)의 조합으로 다양함
피연산자(operand)의 개수는 제한이 없으나, 2개~3개 지정하는 경우가 많음
복잡한 명령어 처리를 위해 마이크로프로그램 방식을 채택하는 경우가 많음. 복잡한 명령을 다시 단순한 명령어(micro-instruction)로 나누어 명령어 파이프라인에서 처리함

○ RISC (Reduced Instruction Set Computer)

명령어 개수를 줄여 하드웨어 구조를 단순하게 만드는 방식
CISC에서 지원하는 명령은 많지만, 그 중에서 실제로 자주 사용되는 명령어는 몇 개 되지 않는 다는 사실을 바탕으로 명령어 집합을 구성함
CISC에서 줄어든 제어 로직을 대신하여 레지스터와 캐시를 증가시켜 파이프라이닝(piplining) 기법 등을 적용하여 수행 속도가 전체적으로 향상됨

CISC 와 RISC의 비교

구분	CISC	RISC
하드웨어 복잡도	복잡한 하드웨어 구조	단순한 하드웨어 구조
명령어 개수	많은 명령어	최소 명령어
명령어 길이	다양한 길이	고정된 길이
실행 싸이클	복잡한 명령은 여러 클럭이 필요함	단순한 명령을 단일 클럭에 실행
메모리 참조	대부분의 명령이 메모리를 참조함	소수의 명령만 메모리를 참조함
명령어 실행	마이크로 프로그램이 명령을 실행	하드웨어가 직접 명령을 실행
어드레싱 모드	다양한 어드레싱 모드	단순한 어드레싱 모드
레지스터수	비교적 소수의 레지스터	비교적 레지스터 수가 많음
복잡도	마이크로 프로그램이 복잡	컴파일러 제작이 복잡함
파이프라이닝	파이프라인을 적용하기 힘듦	파이프라이닝이 쉬움
마이크로프로세서	X86	ARM, SPARC, MIPS

CISD 와 RISC 명령어 비교

예시 기능	CISC 방식 어셈블리어	RISC 방식 어셈블리어
덧셈 (메모리 어드레싱)	ADD Ma, Mb	LOAD Ra, Ma LOAD Rb, Mb ADD Ra, Rb STORE Ma, Ra
곱셈	mov ax, 10 mov bx, 5 mul bx, ax	mov ax, 0 mov bx, 10 mov cx, 5 begin: add ax, bx loop begin

어셈블리 코딩 예제

다음과 같은 hello.asm 파일을 작성한다.

section .data
        text db "Hello, World!",10
section .text
        global _start
_start: mov rax, 1
        mov rdi, 1
        mov rsi, text
        mov rdx, 15    ; length of message
        syscall
        mov rax, 60
        mov rdi, 0
        syscall

빌드를 위한 nasm 어셈블러 설치한다.

(NASM: https://github.com/netwide-assembler/nasm , https://www.nasm.us/ )

$ sudo apt-get install nasm

컴파일하고, 링크하여 실행파일을 만들고 실행한다.

$ nasm -f elf64   -o hello.o  -l hello.lst  hello.asm 
$ ld hello.o  -o hello
$ ./hello 
Hello, World!

- 옵션 -f 는 출력 파일의 형식으로 elf64는 리눅스를 위한 x86_64 포맷을 의미한다. nasm에서 지원하는 출력파일 형식은 nasm -hf 명령을 참고한다.

- 옵션 -l 은 소스 코드와 매크로 처리 결과와 생성된 코드를 비교할 수 있도록 출력한다.

<코드 설명>

data 섹션(.data)은 프로그램에서 초기화된 정적 변수를 위한 공간으로, 글로벌 변수와 정적 로컬 변수를 위한 공간이다. 이 섹션의 크기는 런타임에서 변경되지 않는다. data 섹션은 읽기와 쓰기가 가능하나, 읽기 전용을 위한 .rodata 섹션이 존재한다.
text 섹션(section .text)는 코드를 위한 영역으로 읽기만 가능하다.
_start 레이블은 프로그램의 엔트리 포인트이다. 이것은 디폴트 값으로 엔트리 포인트를 바꾸고 싶을 경우 ld -e foo 라고 할 수 있다.
x86_64 아키텍처의 레지스터는 다음과 같다. 자세한 것은 Intel 64 and IA-2 Architectures Software Developer's Manual 을 참고한다.

X86_64 프로세서 내부 레지스터 구조

syscall 은 시스템콜을 호출하는 명령어로, 리눅스에서 사용하는 시스템 콜 번호는 관련 문서(64비트, 32비트, ARM)를 참고한다. 아키텍처에 따라서 시스템 호출 번호가 서로 다름을 알 수 있다.
64비트 리눅스에서 sys_write 시스템콜 정의는 다음과 같다.

레지스터	값	설명
%rax	1	sys_write
%rdi	1	unsigned int fd (표준출력:1)
%rsi	text	const char *buf
%rdx	15	size_t count

시스템콜 sys_exit 의 정의는 다음과 같다.

레지스터	값	설명
%rax	60	sys_exit
%rdi	0	int error_code

더 자세한 내용이 궁금하시다면..

아래의 첨부파일을 참고하시기 바랍니다.
본 문서는 X86 64비트 아키텍쳐를 중심으로 일반적인 리눅스 환경에서 어셈블리 프로그래밍을 시작할 수 있는 기초 지식에 대해서 기술하였다. 어셈블리어 코딩, 역어셈블링 방법, C코드와 연동, SSE/AVX 확장 명령, ELF 포맷 등에 대한 기초 지식에 대해서 공부할 수 있다.

X86_64 어셈블리 프로그래밍 기초
2022.6.1.
ISBN 978-89-294-1309-5-93560
한국과학기술정보연구원 슈퍼컴퓨팅기술개발센터 김상완, 오광진

[기술문서] X86_64 어셈블리 프로그래밍 기초.pdf

1.90MB

공유 노드 정책 변경에 따른 메모리 할당량 설정 안내

사용자지원 — Thu, 31 Mar 2022 12:07:38 +0900

■ 뉴론 시스템 노드 정책 변경 안내

정책 변경시점 : 2022년 3월 17일 예방정비 점검(PM) 이후

정책 적용 파티션 : 모든 파티션

변경 내용 : 배타적 노드 할당 정책 -> 공유 노드 정책

※배타적 노드 할당 정책 : 노드 단위 작업 할당 정책으로, 하나의 노드에 하나의 작업만을 할당

※공유 노드 정책 : CPU 단위 할당 정책으로, 유휴 자원(CPU)이 존재하는 노드에 사용자 작업을 할당하는 방식이며, 하나의 노드에 여러 작업이 할당될 수 있음

■ 뉴론 공유 노드 정책에서 메모리 할당량 설정

- 뉴론 시스템 자원 활용의 효율성 및 사용자의 안정적인 작업 수행을 위하여 아래와 같이 메모리 할당량을 자동 조절

memory-per-node = ntasks-per-node * cpus-per-task * (단일 노드 메모리 가용량의 95% / 단일 노드 총 core 수)

- '--mem' (노드 당 메모리 할당) 옵션을 사용하더라도 노드 당 수행될 프로세스 수(ntasks-per-node)와 프로세스 당 할당될 cpu core 수(cpus-per-task)에 따라 메모리 할당량이 자동 계산

- #SBATCH --exclusive 옵션 사용시에 단일 노드 메모리 가용량의 95%가 작업에 할당되며, 노드를 전용으로 사용할 수 있음,
(단 전용으로 사용 가능한 노드가 확보될 때까지 대기 시간이 길어질 수 있음.)

- GPU 작업 시, 메모리 할당에 대한 안내 및 이해를 돕고자, gpu 사용 개수가 cpu core 수를 초과하는 경우에 아래 안내 메시지 출력되며 작업이 제출되지 않도록 설정되어 있음.

sbatch: error: Job submission failed due to 'CPU_cores_per_node(#cpu core 개수) < GPU_gres_per_node(#gpu 개수)'
sbatch: error: if 'CPU_cores_per_node >= GPU_gres_per_node' then job submission is successful!
…

- 메모리 할당량을 설정하지 않으면 메모리 부족으로 작업이 종료될 수 있기 때문에 사용자 작업 방식에 맞게 ntasks-per-node, cpus-per-task 또는 exclusive SBATCH 옵션 입력하여 작업 수행 권함

■ 뉴론 공유 노드 정책에서 GPU 당 CPU core 할당 개수 설정

- GPU 어플리케이션의 안정적인 수행을 위해 노드당 CPU core 개수를 GPU에 비례하여 아래와 같이 기본 할당 (메모리 용량도 자동으로 설정, 참조: 뉴론 공유 노드 정책에서 메모리 할당량 설정)

cpus-per-gpu = node의 총 core 수 / node의 총 GPU 수 * 요청 GPU 수(--gres=gup:)

- 메모리 요구량 추가로 필요한 경우 기본 할당된 cpus-per-gpu 수 보다 크게 자원을 요청하여 메모리 할당량을 확보할 수 있음. 단, 자동 설정된 cpus-per-gpu 보다 cpu core 요구량을 작게 할당할 경우 기본 할당 개수로 overwrite 됨.

■ 제출 작업의 메모리 사용량 확인 방법 예시

- 사용자는 자신이 제출한 작업이 수행되고 있는 계산노드에 ssh 명령으로 접속하여 메모리 사용량을 확인할 수 있음

1. 작업이 수행중인 계산노드 확인
$ squeue -u $USER
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)
job_number cas_v100_ gpu_job username R 0:00 1 gpu99

2. ssh 명령으로 계산노드 접속
$ ssh gpu99

3. 이후 top, nvidia-smi, htop, nvtop 등의 명령으로 자원 사용량에 대해 확인
(htop, nvtop은 module load nvtop htop 후 사용 가능)

- 메모리 사용량은 작업 수행과정에 따라 일시적으로 증가할 수 있기 때문에 노드에 접속하여 확인한 값보다 여유롭게 설정하는 것을 권장

■ 작업 스크립트 예시

1) 프로그램 실행에 사용할 core 수는 적으나, 메모리 사용량이 큰 경우 노드당 수행될 프로세스 수로 메모리 할당량을 조절하여 프로그램 실행하는 예제

#!/bin/sh
#SBATCH -J mem_alloc_job
#SBATCH -p cas_v100_4
#SBATCH --nodes=1
#SBATCH --ntasks-per-node=40
#SBATCH -o %x_%j.out
#SBATCH -e %x_%j.err
#SBATCH --time=01:00:00
#SBATCH --comment xxx #Application별 SBATCH 옵션 이름표 참고

module purge
module load intel/18.0.2 mpi/impi-18.0.2

#실행할 프로세스 수를 -n 옵션으로 입력
srun -n 1 ./test.exe

※ cas_v100_4 1개 노드 모든 core 점유하여 메모리 할당받는 예제

※ 파티션별 총 core 수는 뉴론 지침서 > 스케줄러(SLURM)를 통한 작업 실행 > 가. 큐 구성 > Total CPU core 수 또는 뉴론 시스템 motd 명령으로 확인 가능

2) #SBATCH –exclusive 설정으로 노드를 전용으로 사용하는 예시

#!/bin/sh
#SBATCH -J exclusive_test
#SBATCH -p cas_v100_4
#SBATCH --nodes=1
#SBATCH --gres=gpu:1
#SBATCH --exclusive
#SBATCH -o %x_%j.out
#SBATCH -e %x_%j.err
#SBATCH --time=01:00:00
#SBATCH --comment xxx #Application별 SBATCH 옵션 이름표 참고

module purge
module load python/3.7.1

python test.py

※ exclusive 옵션으로 노드 메모리 가용량의 95%를 작업에 할당받음

2022년 누리온 최적병렬화 수시 공모

사용자지원 — Mon, 7 Mar 2022 16:19:24 +0900

슈퍼컴퓨팅본부에서는 KISTI 슈퍼컴퓨터 사용자지원 정책에 따라 계산과학/공학 분야의 연구를 위해 대규모 병렬 계산 또는 첨단 계산 기법을 필요로 하는 슈퍼컴퓨터 사용자들을 지원하고 있습니다.
지원의 일환으로 사용자들이 슈퍼컴퓨터를 이용하여 문제 해결에 필요한 시간을 단축하거나, 현재보다 훨씬 더 큰 규모의 문제에 도전하는 등 보다 높은 연구 생산성을 얻을 수 있도록 성능최적화 및 병렬화를 지원합니다. 당면한 문제해결에 국한된 단기적인 성능최적화지원을 뛰어넘어 중·장기적인 지원을 통해 기존 연구 주제를 계산 규모나 성능 측면에서 큰 폭으로 확장할 수 있는 주제를 발굴하고 지원을 제공하기 위해 진행됩니다.

1. 업무 범위

공모를 통해 진행될 과제에서는 사용자 코드로는 계산이 불가능한 대규모 문제를 풀기 위해 단기적인 성능 문제 해결 지원을 넘어서는 다양한 방안의 성능최적화 지원을 최소 6개월에서 최대 1년 동안 (예외 인정) 수행할 예정이며 다음과 같은 내용을 포함하고 있습니다.

• 대규모 문제로의 확장을 위한 단일 노드레벨의 최적화, OpenMP와 MPI 병렬화를 포함하는 전통적인 방식의 코드 최적화 및 병렬화
• 기존 코드의 알고리즘 변경, 병렬화 기법 개발 등을 통해 기존 코드의 알고리즘을 변경하는 병렬 코드의 개발
• 가속기(GPU 등) 활용을 위해 신규 프로그래밍 환경으로의 포팅과 수치 알고리즘 변경 등을 포함하는 코드 최적화 기술 개발 및 적용
• 영향력이 매우 큰 커뮤니티 코드의 활용도 향상을 위한 슈퍼컴퓨터 또는 기타 시스템으로의 포팅 및 성능 향상

2. 신청 자격

신청자와 지원을 수행하는 성능최적화 인력은 성공적인 성능최적화지원을 위해 협력연구 형태로 과제를 수행하게 되며, 이를 위해 신청하신 연구책임자는 다음과 같은 내용의 협력을 제공해야 합니다.

• 코드의 전체/각 부분의 기능과 알고리즘 설명
• 코드 사용 및 실행 방법 설명 및 예제를 통한 데모 제공
• 협의를 통해 연구 성과물에 대한 권리 인정 및 추후 발생하는 연구 성과물에 대한 정보 공유

대상이 되는 코드의 추후 활용과 자유로운 코드 수정 및 사용을 위해 다음과 같은 신청 제한을 둡니다.

• 현재 KISTI 슈퍼컴퓨터 사용자 또는 개발된 코드를 슈퍼컴퓨터에서 사용하려는 잠재 사용자 (현재 사용자가 아니어도 무방)
• 해당 코드를 직접 개발하거나 충분한 사용을 통해 해당 코드의 기능, 알고리즘, 실행법에 대해 충분히 정보를 제공할 수 있는 신청자
• 해당 코드의 수정 및 사용에 있어서 라이선스 문제가 없는 신청자

3. 신청서 접수 기간

2022년 3월 7일( ) ~ 2022년 9월 30일(금)

4. 의무 사항

협력연구의 의의를 살리고 개발된 코드의 활용 확대와 이어지는 후속 연구를 위해 신청자와 성능최적화지원팀은 다음과 같은 의무 사항을 가집니다.

• 성능최적화 지원을 받은 코드를 활용한 최초 연구성과물에 대해 성능최적화지원팀에 알리고 해당인력 공저자 포함
• 성능최적화지원 인력 또한 해당 코드에 대한 최초 연구성과물에 대해 신청자에게 알리고 공저자 포함
• 이후 발생하는 연구성과물에 대해서는 기여도에 따라 자유롭게 협의를 통해 공저자 포함 가능
• 성능최적화지원을 받은 코드 중 신규 개발 부분에 대해서는 KISTI의 저작권을 인정하며 상업적인 이용에 한해 KISTI와 사전 협의 필요
• 상기 내용은 코드의 완성도 및 연구성과물의 수준에 따라 협의

5. 신청 방법

홈페이지(www.ksc.re.kr) 로그인(회원가입) 이후 기술지원-> 최적병렬화 신청을 통해 가능합니다.

자세한 내용은 아래 링크를 참조해 주시기 바랍니다.

https://www.ksc.re.kr/gsjw/sncjh/sncjhsc/view/1291?page=&csSignature=pQleHLZyjyMMNeiNvn9fEw%3D%3D&gs_gigan=&gs_startScDate=&gs_endScDate=&pageSize=&rootPage=true

국가슈퍼컴퓨팅센터

최적화 프로그램 상세정보 2022년 누리온 최적병렬화 수시 공모 프로그램 상세정보 기간 비정기 신청서 접수 기간 2022-03-07 ~ 2022-09-30 결과통보 기간 신청서 접수 후 1주일 이내 선정 및 결과 통보

www.ksc.re.kr

2022년 GPU 기반 최적병렬화 공모

사용자지원 — Mon, 7 Mar 2022 16:11:28 +0900

슈퍼컴퓨팅본부에서는 KISTI 슈퍼컴퓨터 사용자지원 정책에 따라 계산과학/공학 분야의 연구를 위해 대규모 병렬 계산 또는 첨단 계산 기법을 필요로 하는 슈퍼컴퓨터 사용자들을 지원하고 있습니다. 올해는 NVIDIA와 함께 GPU기반 최적 병렬화와 AI 관련 연구협력 프로그램을 시작합니다.
지원의 일환으로 사용자들이 슈퍼컴퓨터를 이용하여 문제 해결에 필요한 시간을 단축하거나, 현재보다 훨씬 더 큰 규모의 문제에 도전하는 등 보다 높은 연구 생산성을 얻을 수 있도록 성능최적화 및 병렬화를 지원합니다. 당면한 문제해결에 국한된 단기적인 성능최적화지원을 뛰어넘어 중·장기적인 지원을 통해 기존 연구 주제를 계산 규모나 성능 측면에서 큰 폭으로 확장할 수 있는 주제를 발굴하고 지원을 제공하기 위해 진행됩니다.

1. 업무 범위

공모를 통해 진행될 과제에서는 다양한 방안의 성능최적화 지원을 최소 3개월에서 최대 6개월 동안 (예외 인정) 수행할 예정이며 다음과 같은 내용을 포함하고 있습니다.
• HPC 분야 : CPU기반 시뮬레이션 코드를 GPU기반 병렬 프로그래밍으로의 최적 병렬화입니다.
1. In-house* 코드의 GPU 가속 포팅 지원(Type I): GPU라이브러리를 이용한 GPU 가속 지원
2. In-house* 코드의 GPU 가속 포팅 지원(Type II): OpenMP/OpenACC/CUDA 언어를 GPU 가속 지원
3. In-house* 코드의 GPU 가속 포팅 지원(Type III): 멀티GPU 카드/노드 가속 지원
4. ISV **및 오픈소스 프로그램의 GPU 가속 지원: 사용하는 프로그램의 GPU가속여부를 확인하고, GPU가속 가능한 경우 이를 활용할 수 있도록 지원합니다.
• AI 분야 : 과학기술분야의 딥러닝 적용및 딥러닝 모델의 고도화를 위한 병렬화를 지원합니다.
5. AI 적용을 위한 가속화: 과학계산 분야의 AI 적용시 학습 데이터 준비 및 모델링 에 대한 포괄적 공동 연구 지원
6. 기존 연구중인 AI 모델의 고도화: Data/Model Parallel 수행을 통한 고도화
* In-house: 개발을 외주인력이 아닌 내부인력으로 개발한 코드
** ISV (Independent Software Vendor): 소프트웨어 제품을 만들고 판매하는 회사를 ISV라고 하며, VASP과 같은 상용 프로그램을 판매하는 경우를 언급함

2. 신청 자격

3. 신청서 접수 기간

- 2022년 2월 25일(금) ~ 2022년 4월 3일(일)

4. 의무 사항

협력연구의 의의를 살리고 개발된 코드의 활용 확대와 이어지는 후속 연구를 위해 신청자와 성능최적화지원팀은 다음과 같은 의무 사항을 가집니다.

• 성능최적화 지원을 받은 코드를 활용한 최초 연구성과물에 대해 성능최적화지원팀에 알리고 해당인력 공저자 포함
• 성능최적화지원 인력 또한 해당 코드에 대한 최초 연구성과물에 대해 신청자에게 알리고 공저자 포함
• 이후 발생하는 연구성과물에 대해서는 기여도에 따라 자유롭게 협의를 통해 공저자 포함 가능
• 성능최적화지원을 받은 코드 중 신규 개발 부분에 대해서는 KISTI와 NVIDIA의 저작권을 인정하며 논문 등의 성과 발표와 상업적인 이용에 한해 KISTI와 NVIDIA의 사전 협의 필요
• 상기 내용은 코드의 완성도 및 연구성과물의 수준에 따라 협의

5. 신청방법

홈페이지(www.ksc.re.kr) 로그인(회원가입) 이후 기술지원-> 최적병렬화 신청을 통해 가능합니다.

자세한 내용은 아래 링크를 참조해 주시기 바랍니다.

https://www.ksc.re.kr/gsjw/sncjh/sncjhsc/view/1290?page=&csSignature=pQleHLZyjyMMNeiNvn9fEw%3D%3D&gs_gigan=&gs_startScDate=&gs_endScDate=&pageSize=&rootPage=true

국가슈퍼컴퓨팅센터

최적화 프로그램 상세정보 2022년 GPU 기반 최적병렬화 공모 신청서접수기간 22-02-25 ~ 22-04-03 평가실시기간 22-04-04 ~ 22-04-17 선정 및결과 통보기간 22-04-18 ~ 22-04-24 지원기간 22-04-25 ~ 22-10-31 과제종료

www.ksc.re.kr

2022년 최적병렬화 공모

사용자지원 — Mon, 17 Jan 2022 10:25:36 +0900

슈퍼컴퓨팅본부에서는 KISTI 슈퍼컴퓨터 사용자지원 정책에 따라 계산과학/공학 분야의 연구를 위해 대규모 병렬 계산 또는 첨단 계산 기법을 필요로 하는 슈퍼컴퓨터 사용자들을 지원하고 있습니다. 지원의 일환으로 사용자들이 슈퍼컴퓨터를 이용하여 문제 해결에 필요한 시간을 단축하거나, 현재보다 훨씬 더 큰 규모의 문제에 도전하는 등 보다 높은 연구 생산성을 얻을 수 있도록 성능최적화 및 병렬화를 지원합니다. 당면한 문제해결에 국한된 단기적인 성능최적화지원을 뛰어넘어 중·장기적인 지원을 통해 기존 연구 주제를 계산 규모나 성능 측면에서 큰 폭으로 확장할 수 있는 주제를 발굴하고 지원을 제공하기 위해 진행됩니다.

일정 :

• 신청서 접수 기간 : 2022-01-17 ~ 2022-02-02
• 평가 실시 기간 : 2022-02-03 ~ 2022-02-09
• 결과통보 기간 : 2022-02-10 ~ 2022-02-11
• 지원기간 : 2022-02-14 ~ 2022-12-31

신청자격 :

신청자와 지원을 수행하는 성능최적화 인력은 성공적인 성능최적화지원을 위해 협력연구 형태로 과제를 수행하게 되며, 이를 위해 신청하신 연구책임자는 다음과 같은 내용의 협력을 제공해야 합니다.
• 코드의 전체/각 부분의 기능과 알고리즘 설명
• 코드 사용 및 실행 방법 설명 및 예제를 통한 데모 제공
• 협의를 통해 연구 성과물에 대한 권리 인정 및 추후 발생하는 연구 성과물에 대한 정보 공유
대상이 되는 코드의 추후 활용과 자유로운 코드 수정 및 사용을 위해 다음과 같은 신청 제한을 둡니다.
• 현재 KISTI 슈퍼컴퓨터 사용자 또는 개발된 코드를 슈퍼컴퓨터에서 사용하려는 잠재 사용자 (현재 사용자가 아니어도 무방)
• 해당 코드를 직접 개발하거나 충분한 사용을 통해 해당 코드의 기능, 알고리즘, 실행법에 대해 충분히 정보를 제공할 수 있는 신청자
• 해당 코드의 수정 및 사용에 있어서 라이선스 문제가 없는 신청자

의무사항 :

협력연구의 의의를 살리고 개발된 코드의 활용 확대와 이어지는 후속 연구를 위해 신청자와 성능최적화지원팀은 다음과 같은 의무 사항을 가집니다.
• 성능최적화 지원을 받은 코드를 활용한 최초 연구성과물에 대해 성능최적화지원팀에 알리고 해당인력 공저자 포함
• 성능최적화지원 인력 또한 해당 코드에 대한 최초 연구성과물에 대해 신청자에게 알리고 공저자 포함
• 이후 발생하는 연구성과물에 대해서는 기여도에 따라 자유롭게 협의를 통해 공저자 포함 가능
• 성능최적화지원을 받은 코드 중 신규 개발 부분에 대해서는 KISTI의 저작권을 인정하며 상업적인 이용에 한해 KISTI와 사전 협의 필요
• 상기 내용은 코드의 완성도 및 연구성과물의 수준에 따라 협의

평가 및 선정 :

제출하신 제안서에 대한 서면 평가는 슈퍼컴퓨팅본부의 주관으로 다음의 사항을 중심으로 이루어집니다.
• 슈퍼컴퓨터에서의 사용 적합성
• 신규 프로그래밍 환경으로의 포팅 가능여부
• 해당 코드의 커뮤티니내의 영향력 및 활용도

서면 평가를 통해 선정된 과제에 대해서는 별도의 프레젠테이션을 통해 요구사항 수렴 및 과제 진행 방향과 기간을 협의한 후 성능최적화지원 담당 인력을 배정하고 최소 6개월에서 최대 1년간 지원을 진행하게 됩니다. (연장 가능)
발표 평가는 평가기간내의 날짜 가운데 진행합니다. (별도로 연락합니다.)

신청방법 :

홈페이지(www.ksc.re.kr) 로그인(회원가입) 이후 기술지원-> 최적병렬화 신청을 통해 가능합니다.

https://www.ksc.re.kr/gsjw/sncjh/sncjhsc/list

자세한 내용은 enables@kisti.re.kr을 통해 문의바랍니다.

국가슈퍼컴퓨팅센터

최적병렬화 신청 사용자들이 슈퍼컴퓨터를 이용하여 문제 해결에 필요한 시간을 단축하거나, 현재보다 훨씬 더 큰 규모의 문제에 도전하는 등 보다 높은 연구 생산성을 얻을 수 있도록 성능 최

www.ksc.re.kr

누리온 GROMACS-2021.4 버전 설치 소개 (SKL)

사용자지원 — Thu, 9 Dec 2021 15:52:09 +0900

KISTI 슈퍼컴퓨팅센터의 누리온 시스템의 SKL 사용 시 gromacs-2021.4 Source 버전으로 설치 하는 방법에 대하여 소개 한다.

1. 설치 환경

구분	내용
대상 시스템	누리온(SKL)
OS Version	리눅스 / CentOS 7.7
CPU	Intel(R) Xeon(R) Gold 6148
컴파일러	Intel 2021.4 Version
MPI	IntelMPI 2021.4 Version
기타	Intel MKL Math Library

2. 설치 전 환경 설정

누리온 시스템은 PATH, LD_LIBRARY_PATH 등을 쉽게 하기 위하여

환경설정 툴인 Modules(http://modules.sourceforge.net)이 구성되어 있고,

이하 설치 소개 에서는 module load를 이용한 환경 설정 방법을 이용한다.

[ 환경 설정 ]

$ module purge
$ module load intel/oneapi_21.2 impi/oneapi_21.2 cmake/3.17.4

3. gromacs-2021.4 버전 설치 과정

설치 과정 소개는 tar 를 이용한 압축 해제 방법과 설정 방법 등 진행 절차를 위주로 설명하고,

소스 파일 다운로드 등은 생략한다.

설치 과정

$ export FLAGS="-O2 -g -static-intel"
$ export CFLAGS=$FLAGS
$ export CXXFLAGS=$FLAGS
$ export CC=mpiicc
$ export CXX=mpiicpc

$ tar -xzvf gromacs-2021.4.tar.gz
$ cd gromacs-2021.4/
$ mkdir build
$ cd build

$ cmake .. -DCMAKE_INSTALL_PREFIX=$HOME/GROMACS/2021.4 \
-DGMX_BUILD_OWN_FFTW=ON -DGMX_MPI=ON -DGMX_OPENMP=ON \
-DGMX_CYCLE_SUBCOUNTERS=ON -DGMX_GPU=OFF \
-DGMX_HWLOC=OFF -DGMX_SIMD=AVX_512 \
-DGMX_OPENMP_MAX_THREADS=32

$ make
$ make install

※ "-DCMAKE_INSTALL_PREFIX=$HOME/GROMACS/2021.4"는 예시로 설치 희망하는 디렉토리로 명시한다.