Singularity

EN: This page is not translated to English.

Oficjalna dokumentacja https://sylabs.io/docs/

Po co kontenery?

BYOE: Bring Your Own Environment!

Kontenery zmieniają przestrzeń użytkownika w wymienny komponent. Oznacza to, że programy, niestandardowe konfiguracje i środowisko, może być niezależne od systemu operacyjnego np. CentOS, Fedora, Ubuntu itp. Kontener Singularity spakuje wszystko, czego potrzebujesz, w jeden weryfikowalny plik.

Uruchamiając kontener (np. nowy PC, centrum HPC, nowy użytkownik/członek zespołu) zaoszczędzamy czas związany z konfiguracją środowiska i instalacją bibliotek niezbędnych do uruchomienia programu.

Przykłady

Sesja Interaktywna

Najpierw należy wejść na węzeł obliczeniowy w systemie Topola

srun -N1 -n10 --partition=topola --account=NR_GRANTU --qos=hpc --time=01:00:00 --pty /bin/bash -l

lub w systemie Okeanos

srun -N1 -n10 --partition=okeanos --account=NR_GRANTU --time=01:00:00 --pty /bin/bash -l
module load common/go/1.13.12
module load common/singularity/3.5.3

lub w systemie Rysy

srun -N1 -n4 --account=app-NR_GRANTU --gres=gpu:1 --time=01:00:00 --pty /bin/bash -l

Możemy użyć polecenia singularity. Jako przykład posłuży kontener o nazwie 'lolcow'.

singularity search lolcow  # wyszukaj kontenery o nazwie lolcow
singularity pull library://sylabsed/examples/lolcow  # ściągnij wybrany kontener

Po ściągnięciu kontenera

singularity run lolcow_latest.sif  # uruchom kontener z domyślnym programem
singularity exec lolcow_latest.sif cowsay moo # wywołaj polecenie 'cowsay' z argumentem 'moo'
singularity shell --cleanenv lolcow_latest.sif # wejdź do kontenera - sesja interaktywna wewnątrz kontenera
# jeżeli nie chcemy przekazywać zmiennych środowiskych systemu hosta do wnętrza kontenera, należy użyć flagi --cleanenv

Zlecenie zadań

Zlecenie zadań z wykorzystaniem kontera singularity, odbywa się analogicznie jak dla innych programów

zadanie.slurm

#!/bin/bash -l
#SBATCH -J __JOBNAME__
#SBATCH -N __NUMBER_OF_NODES__
#SBATCH --ntasks-per-node __PROCESORS_PER_NODE__
#SBATCH -A __GRANT_NAME_GXXX__
#SBATCH -p __PARTITION__


module load common/go/1.13.3  # na systemie okeanos
module load common/singularity/3.4.2  # na systemie okeanos

singularity exec moj_kontener.sif ./skrypt_do_wykonania_wewnatrz_kontenera.sh

skrypt_do_wykonania_wewnatrz_kontenera.sh

#!/bin/bash -l

echo hello # program do wykonania wewnątrz kontenera

Jężeli chcemy uruchomić kontener z GPU (klaster RYSY), to należy dodać flagę --nv, np. singularity exec --nv moj_kontener.sif ./skrypt_do_wykonania_wewnatrz_kontenera.sh.

Singularity a MPI

Szczegóły na oficjalnej stronie singularity: https://sylabs.io/guides/3.4/user-guide/mpi.html

Budowanie kontenerów

Obecnie nie jest możliwe budowanie kontenerów singularity bezpośrednio na maszynach ICM. Kontener musi zostać zbudowany na lokalnym komputerze użytkownika (lub w chmurze).

sudo singularity build image.sif recipe.def