Przejdź do treści

Maszyny obliczeniowe w ICM

Poniżej przedstawiamy zestawienie i krótką charakterystykę maszyn obliczeniowych ICM. Po zalogowaniu się przez ssh na węzeł dostępowy (hpc.icm.edu.pl) można ponownie użyć ssh do zalogowania się na kolejną maszynę (np. Okeanos, Rysy), niedostępna zza firewalla. Po zalogowaniu na węzeł dostępowy hpc.icm.edu.pl może występować on pod nazwą hpc.

Info

Zlecanie zadań na system topola możliwe jest bezpośrednio z węzła dostępowego hpc.icm.edu.pl. W przypadku pozostałych systemów możliwy/wymagany jest dodatkowy krok logowania wykonany z komputera hpc.icm.edu.pl, np. ssh rysy, ssh okeanos.

Nazwa Typ Architektura Liczba i nazwa węzłów obliczeniowych Parametry węzła obliczeniowego
Okeanos Superkomputer Intel Haswell Cray XC40 1084 24 rdzenie, 128 GB pamięci RAM
Topola Klaster HPC, Klaster PL-Grid Intel Haswell Huawei E9000 223 28 rdzeni, 64 lub 128 GB pamięci RAM
Rysy/GPU Klaster GPU, Intel Skylake, NVIDIA Volta 6 36 rdzenie, 380 GB pamięci RAM, 4x GPU V100 32GB
Rysy/GPU Klaster GPU, Intel Skylake, NVIDIA Volta 1 48 rdzeni, 1500 GB pamięci RAM, 8x GPU V100 16GB
Rysy/PBaran Komputer wektorowy, NEC Aurora A300-8 Intel Skylake, NEC SX-Aurora Tsubasa 1 24 rdzenie, 192 GB RAM / 8 x 8 rdzeni, 8 x 48 GB RAM

Superkomputer Okeanos

Z początkiem lipca 2016 roku ICM UW udostępnił naukowcom superkomputer Okeanos – system wielkoskalowego przetwarzania Cray XC40. Okeanos zbudowany jest z ponad 1000 węzłów obliczeniowych, z których każdy zawiera dwa 12-rdzeniowe procesory Intel Xeon Haswell oraz 128 GB pamięci RAM. Wszystkie węzły systemu połączone są ultraskalowalną siecią Cray Aries o topologii Dragonfly.

Odpowiadając na wymagania technologiczne ICM, firma Cray Inc. zbudowała system będący unikatowym rozwiązaniem w dziedzinie HPC w skali kraju. System wyróżnia wysoka moc i skalowalność obliczeniowa, a także wysoka wydajność przetwarzania danych grafowych. Okeanos najlepiej sprawdza się w obliczeniach wielkoskalowych, które w pojedynczym przebiegu wymagają zastosowania kilku tysięcy rdzeni obliczeniowych oraz kilkudziesięciu terabajtów pamięci operacyjnej. Realizacja tego typu obliczeń jest jego głównym przeznaczeniem.

System Okeanos razem z systemami analityki i przechowywania dużych danych to główne części składowe infrastruktury Centrum Kompetencji OCEAN, zainstalowanej w nowej serwerowni ICM na warszawskiej Białołęce.

Okeanos

Szczegółowy opis superkomputera Okeanos

Instalacja:                   Cray XC40
Nazwa:                        Okeanos
Typ procesora:                Intel Xeon E5-2690 v3
Architektura:                 x86_64
Reprezencja danych:           little-endian
Częstotliwość taktowania:     2.6 GHz
Liczba procesorów w węźle:    2 x 12 rdzenie (Hyperthreading x2)
Sockets - Cores - Threads:    2-12-2
Ilość pamięci w węźle:        128 GB
System plików:                Lustre (rozproszony system plików)
System operacyjny:            SUSE Linux Enterprise Server 15
System kolejkowy:             slurm 19.05.4

Superkomputer Topola

Szczegółowy opis superkomputera Topola

Instalacja:                   Klaster
Nazwa:                        Topola
Typ procesora:                Intel(R) Xeon(R) CPU E5-2650 v3
Architektura:                 x86_64
Reprezencja danych:           little-endian
Częstotliwość taktowania:     2.0 - 3.1GHz
Liczba procesorów w węźle:    28 rdzeni
Sockets - Cores - Threads:    2-14-1
Ilość pamięci w węźle:        64/128 GB
System plików:                NFS/lustre/ext4
System operacyjny:            CentOS 7
System kolejkowy:             slurm 20.11.8

Opis węzłów klastra Topola

Model CPU Taktowanie CPU Sockets: Cores: Threads RAM Liczba węzłów Nazwa
Intel(R) Xeon(R) CPU E5-2697 v3 2.1GHz - 3.0GHz 2:14:1 128 GB 60 t1-[1-12], t[13-15]-[1-16]
Intel(R) Xeon(R) CPU E5-2697 v3 2.1GHz - 3.0GHz 2:14:1 64 GB 163 t1-[13-16], t[2-12]-[1-16]

Węzły topoli różnią się tylko wielkością pamięci RAM. System kolejkowy automatycznie dobierze typ węzła w zależności od zapotrzebowania na pamięć podaną przez użytkownika

Superkomputer Rysy

Szczegółowy opis superkomputera Rysy

Instalacja:                   Klaster
Nazwa:                        Rysy
Typ procesora:                Intel(R) Xeon(R) Gold 6154/6252 CPU
Architektura:                 x86_64
Reprezencja danych:           little-endian
Częstotliwość taktowania:     2.1/3.0 - 3.7GHz
Liczba procesorów w węźle:    36 rdzeni
Sockets - Cores - Threads:    2-18-1
Ilość pamięci w węźle:        380/1500 GB
System plików:                nfs4/lustre
GPU:                          NVIDIA Tesla V100 16/32GB
System operacyjny:            CentOS 7
System kolejkowy:             slurm 20.02.3

Opis węzłów klastra Rysy

Model CPU Taktowanie CPU Sockets: Cores: Threads RAM GPU Liczba węzłów Nazwa
Intel(R) Xeon(R) Gold 6252 3.0GHz - 3.7GHz 2:18:1 380 GB 4x NVIDIA Tesla V100 32GB 6 rysy-n[1-6]
Intel(R) Xeon(R) Gold 6154 2.1GHz - 3.7GHz 2:24:1 1500 GB 8x NVIDIA Tesla V100 16GB 1 rysy-n7
Intel(R) Xeon(R) Gold 6126 2.6GHz - 3.7GHz 2:12:1 192 GB 8x NEC Vector Engine Type 10B 48GB 1 pbaran
deviceQuery Starting...

 CUDA Device Query (Runtime API) version (CUDART static linking)

Detected 1 CUDA Capable device(s)

Device 0: "Tesla V100-PCIE-32GB"
  CUDA Driver Version / Runtime Version          11.5 / 11.4
  CUDA Capability Major/Minor version number:    7.0
  Total amount of global memory:                 32510 MBytes (34089730048 bytes)
  (080) Multiprocessors, (064) CUDA Cores/MP:    5120 CUDA Cores
  GPU Max Clock rate:                            1380 MHz (1.38 GHz)
  Memory Clock rate:                             877 Mhz
  Memory Bus Width:                              4096-bit
  L2 Cache Size:                                 6291456 bytes
  Maximum Texture Dimension Size (x,y,z)         1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)
  Maximum Layered 1D Texture Size, (num) layers  1D=(32768), 2048 layers
  Maximum Layered 2D Texture Size, (num) layers  2D=(32768, 32768), 2048 layers
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       49152 bytes
  Total shared memory per multiprocessor:        98304 bytes
  Total number of registers available per block: 65536
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  2048
  Maximum number of threads per block:           1024
  Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
  Max dimension size of a grid size    (x,y,z): (2147483647, 65535, 65535)
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             512 bytes
  Concurrent copy and kernel execution:          Yes with 7 copy engine(s)
  Run time limit on kernels:                     No
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Enabled
  Device supports Unified Addressing (UVA):      Yes
  Device supports Managed Memory:                Yes
  Device supports Compute Preemption:            Yes
  Supports Cooperative Kernel Launch:            Yes
  Supports MultiDevice Co-op Kernel Launch:      Yes
  Device PCI Domain ID / Bus ID / location ID:   0 / 134 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 11.5, CUDA Runtime Version = 11.4, NumDevs = 1
Result = PASS

Dyski NVMe-oF

Na superkomputerze Rysy, na węzlach z GPU dostepne sa dyski NVMe-oF. Aby z nich skorzystać należy dodać opcje --gres=nvme:SIZE do parametrow zadania. Wtedy slurm utworzy katalog tymczasowy /scratch/${SLURM_JOBID} z quotą SIZE GB. Katalog będzie dostępny z węzła obliczeniowego na którym uruchomione jest zadanie i zostanie usuniety po ukończeniu zadania. Po zakończeniu zadania katalog zostanie usuniety. Możliwa jest (łączna) alokacja do 3500 GB na węzłach rysy-n[1-6] i 6100 GB na węźle rysy-n7.

Informacje o systemie (hardware)

Poniższe komendy slurm'a pozwalają na samodzielne sprawdzenie informacji o systemie:

scontrol show partition <nazwa_partycji>        # właściwości partycji
scontrol show node <nazwa_węzła>                # właściwości węzła

cat /etc/os-release     # informacje o systemie operacyjnym
df -Th                  # informacje o systemie plików

lscpu                   # informacja o architekturze cpu (warto wykonać te komendę na węźle obliczeniowym)
sinfo -N -l             # lista węzłów
sinfo -l -N | awk '{printf ("%1s %15s %15s %15s %10s %10s \n", $1, $2, $3, $5, $6, $7)}' # formatowanie kolumn
smap -i 2               # quasi-graficzna informacja o wykorzystaniu węzłów
Ta strona używa plików cookies.
Polityka Prywatności    AKCEPTUJĘ