Hydra

Komputer
Ibrixw.jpg
Instalacja: Klaster
Model: HP/Supermicro
Nazwa: Hydra
Typ procesora: AMD,Intel
Architektura: x86
Reprezencja danych: little-endian
Częstotliwość
taktowania:
2.0 - 2.8GHz
Liczba procesorów
w węźle:
12/12/48/64 rdzenie
AMD/Intel/AMD/AMD
Ilość pamięci
w węźle:
32/24/256/512 GB
System plików: NFS/lustre/ext3
System operacyjny: Scientific Linux 6
System kolejkowy: SLURM
Wszystkie komputery | okeanos | boreasz | nostromo | hydra | topola
Podręcznik | Programowanie

Spis treści

Informacje ogólne

Hydra jest komputerem ogólnego przeznaczenia, wyposażonym w procesory AMD i Intel. System dostępny jest dla wszystkich posiadających konta w infrastrukturze PL-Grid oraz dla członków organizacji związanych z eksperymentami przeprowadzanymi w CERN-ie (zwłaszcza CMS ). Dostęp do klastra możliwy jest poprzez ssh, podobnie, jak w przypadku innych maszyn ICM, a także przy pomocy narzędzi takich, jak: UNICORE, QosCosGrid czy gLite.

W ramach tej infrastruktury udostępniane są nie tylko moce obliczeniowe, ale i przestrzeń przechowywania danych. Większość przestrzeni dyskowej (ok 0.5 PB) udostępniana jest przy pomocy standardowych protokołów używanych w środowiskach gridowych, takich jak xroot czy srm.

Uruchamianie obliczeń

Obliczenia na hydrze możemy zlecać poprzez systemy gridowe, opisane powyżej lub poprzez bezpośredni dostęp do systemu kolejkowego. Z systemu kolejkowego można korzystać po założeniu konta i otwarciu grantu obliczeniowego, zgodnie z krokami opisanymi w Podręczniku użytkownika.

Error.png Użytkownicy posiadający już grant obliczeniowy w ICM mogą uzyskać dostęp do serwera hydra po przesłaniu krótkiego uzasadnienia (planowane do wykorzystania oprogramowanie) na adres pomoc@icm.edu.pl.

Aby uruchomić zadanie przez system kolejkowy, należy :

  • zalogować się na maszynę dostępową login.icm.edu.pl
  • zlecić uruchomienie zadania w systemie kolejkowym SLURM (informacje i przykłady pod tą zakładką).

Nazwę kolejki należy wybrać zgodnie z zaleceniami z tabeli poniżej (np. plgrid dla użytkowników PL-Grid, hydra - dla posiadaczy grantów obliczeniowych w ICM).

Kolejki (partycje)

Nazwa kolejki plgrid plgrid-long plgrid-testing hydra grom
Maksymalny walltime 72h 168h 1h 168h 72h
Maksymalny cputime brak brak brak brak brak
Domyślny walltime brak brak brak brak brak
Domyślny cputime brak brak brak brak brak
Grupa użytkowników plgrid plgrid plgrid ICM KDM CePT

Walltime oznacza czas trwania zadania, niezależnie od liczby wykorzystywanych procesorów. CPUtime to czas walltime pomnożony przez liczbę przydzielonych danemu zadaniu procesorów (rdzeni). Szczegółowe informacje o właściwościach kolejki można sprawdzić poleceniem:
scontrol show partition nazwa_kolejki

Error.png Należy zwrócić również uwagę na typ węzła, na którym chce się prowadzić obliczenia (patrz tabela poniżej).

Opis węzłów klastra

Exclamation.png Uwaga: Z końcem lipca 2017 r. została zakończona eksploatacja najstarszych węzłów klastra hydra, tj. o nazwach wn1xxx oraz wn2xxx.
Własności węzłów w systemie kolejkowym Model CPU Taktowanie CPU Liczba CPU x rdzeni RAM Interconnect Liczba węzłów Topologia Nazwa
istanbul,ib,noht AMD Opteron(tm) Processor 2435 (Istanbul) 2.6 GHz 2 x 6 32 GB Infiniband DDR + 1Gb Ethernet ND (96) wn[1001-1096]
westmere,ib,noht Intel(R) Xeon(R) CPU X5660 (Westmere-EP) 2.8 GHz 2 x 6 24 GB Infiniband QDR + 1Gb Ethernet ND (120) schemat wn[2001-2120]
magnycours,noht AMD Opteron(tm) Processor 6174 (Magny-Cours) 2.2 GHz 4 x 12 256 GB 10Gb Ethernet 30 schemat wn[3001-3030]
interlagos,noht AMD Opteron(TM) Processor 6272 (Interlagos) 2.2 GHz 4 x 16 512 GB 10Gb Ethernet 16 schemat wn[4001-4016]

W przypadku prowadzenia obliczeń wykorzystujących więcej niż jeden węzeł klastra i wymagających intensywnej komunikacji między procesorami, należy zwrócić uwagę, że tylko część węzłów hydry wyposażona jest w InfiniBand. Takie węzły opatrzone są własnością ib. Użytkownicy prowadzący obliczenia z intensywnym wykorzystaniem przestrzeni współdzielonego scratcha (np.$SHARED_TEMP) powinni zwrócić uwagę na fakt, że przepustowość sieciowa do odpowiedniego systemu plików na jeden rdzeń obliczeniowy jest znacznie większa dla węzłów z własnością ib. Procesory z rodziny IntelX5660 wyposażone są w Hyper-threading. Jest on standardowo wyłączony, ale może być włączony na prośbę użytkowników. Odpowiednie węzły posiadają wówczas własność ht zamiast noht.

Przechowywanie plików

Katalog domowy użytkownika, do którego użytkownik trafia po zalogowaniu się na login.icm.edu.pl widoczny jest też jako katalog domowy przez programy uruchamiane na hydrze poprzez system kolejkowy. Zadania uruchomione w systemie kolejkowym mają także dostęp do katalogu tymczasowego /tmp, który jest osobny dla każdego węzła i po zakończeniu zadania jego zawartość jest automatycznie kasowana. W razie potrzeby można korzystać także z tymczasowego katalog współdzielonego. Więcej na ten temat można znaleźć w rozdziale Przechowywanie_danych.

Error.png Do plików z klastra Halo2 można mieć dostęp poprzez katalog /icm/halo2/users/nazwa_konta (będzie dostępny do października 2014).

Przykłady, jak kopiować dane do i z ICM oraz pomiędzy poszczególnymi maszynami dostępne są na osobnej stronie.

Profiling zadań

System kolejkowy na Hydrze wspiera profiling (dynamiczną analizę) zadań. Więcej informacji na ten temat można znaleźć w osobnej sekcji podręcznika.

Instalacja oprogramowania

Informacje na temat sposobów instalacji oprogramowania na hydrze znajdują się na osobnej stronie.

Zainstalowane oprogramowanie

Listę oprogramowania na Hydrze można wyświetlić poleceniem wydanym z węzła dostępowego (czyli login.icm.edu.pl)

srun -p nazwa_partycji -A G99-99 bash -l -c  "module avail"


gdzie nazwa_partycji to "hydra", "topola" lub "plgrid-testing" lub "plgrid", zgodnie z tabelą powyżej, a "G99-99" - numer grantu obliczeniowego danego użytkownika.


  • abaqus
    • abaqus/6.12-3
    • abaqus/6.13-3



  • amber
    • amber/12
    • amber/12-gpu




  • compilers
    • compilers/cuda/4.2.9
    • compilers/cuda/5.5.22
    • compilers/cuda/8.0
    • compilers/gnu/4.8.1
    • compilers/intel/2013/initial
    • compilers/intel/2013/latest
    • compilers/intel/2013/update5
    • compilers/intel/2013_sp1/initial
    • compilers/intel/2013_sp1/latest
    • compilers/intel/2013_sp1/update5
    • compilers/intel/2015/initial
    • compilers/intel/2015/update1
    • compilers/intel/2015/update2
    • compilers/intel/2015/update3
    • compilers/llvm/3.3
    • compilers/open64/4.5.2.1
    • compilers/open64/5.0
    • compilers/pgi/12.10
    • compilers/pgi/13.7




  • darshan
    • darshan/openmpi/1.4.5-pgi12.10/2.3.1



  • espresso
    • espresso/4.3.2
    • espresso/5.0.2
    • espresso/5.0.3
    • espresso/5.1.1
    • espresso/5.2.0



  • fluent
    • fluent/14.5
    • fluent/15.0.7
    • fluent/16.0.0
    • fluent/16.2.0




  • gaussian
    • gaussian/g09.B.01
    • gaussian/g09.D.01


  • genesis
    • genesis/parallel/2.3.1
    • genesis/sequential/2.3



  • gnu
    • gnu/4.4.7
    • gnu/4.4.7.ndebug
    • gnu/4.8.1
    • gnu/4.8.1.ndebug


  • gromacs
    • gromacs/4.6.5/intel/2013/update5


  • hadoop
    • hadoop/cdh-4.3.0
    • hadoop/cdh-tt-4.3.0


  • java6
    • java6/oracle
    • java6/oracle/1.6.0_45


  • java7
    • java7/ibm/1.7.0_SR6
    • java7/oracle
    • java7/oracle/1.7.0_40


  • java8
    • java8/openjdk/1.8.0_b128
    • java8/oracle
    • java8/oracle/1.8.0_00


  • java9
    • java9/openjdk/1.9.0_ea_b52





  • libs
    • libs/fftw/3.3.3/intel/2013/update5
    • libs/fftw/3.3.3/intel/2013_sp1/initial
    • libs/fftw/3.3.3/intel/2013_sp1/update1
    • libs/fftw/3.3.3/openmpi/1.6.5/intel/2013_sp1/update1
    • libs/gsl/1.16/gnu/4.8.1
    • libs/hdf5/1.8.12/sequential/intel/2013/update5
    • libs/mxm/3.2.2990-1
    • libs/netcdf/4.1.3/sequential/intel/2013/update5
    • libs/netcdf/c/4.3.1.1/sequential/intel/2013/update5
    • libs/netcdf/fortran/4.2/sequential/intel/2013/update5
    • libs/openblas/0.2.8
    • libs/scalapack/2.0.2/mpich/3.1rc2/intel/2013/update5
    • libs/scalapack/2.0.2/mpich/3.1rc2/intel/2013/update5.ndebug
    • libs/sdp/1.1.108
    • libs/swig/2.0.12
    • libs/zlib/1.2.8/intel/2013/update5


  • libtool
    • libtool/intel/2013/update5


  • m4
    • m4/intel/2013/update5



  • matlab
    • matlab/R2013a
    • matlab/R2015b


  • mpi
    • mpi/intel/2013_sp1/initial
    • mpi/intel/2013_sp1/latest
    • mpi/intel/2013_sp1/update1
    • mpi/intel/2015/initial
    • mpi/intel/2015/update1
    • mpi/intel/2015/update2
    • mpi/intel/2015/update3
    • mpi/mpich/3.1.3
    • mpi/mpich/3.1.4
    • mpi/mpich/3.1rc2
    • mpi/mpich/3.1rc2/intel
    • mpi/mpich/3.1rc2/intel/2013/update5
    • mpi/mpich/3.1rc2/intel/2013/update5.ndebug
    • mpi/mpich/3.1rc2/intel/2013_sp1/initial
    • mpi/mpich/3.1rc2/intel/2013_sp1/initial.ndebug
    • mpi/mpich/3.1rc2/intel/2013_sp1/update1
    • mpi/mpich/3.1rc2/intel/2013_sp1/update1.ndebug
    • mpi/mpich/3.2a2
    • mpi/mpich/3.2b2
    • mpi/mpich2/1.0.8/intel/2013/update5.ndebug
    • mpi/mpich2/1.2.1/gnu/4.4.7
    • mpi/mpich2/1.2.1/gnu/4.4.7.ndebug
    • mpi/mpich2/1.2.1/intel/2013/update5.ndebug
    • mpi/mpich2/1.4.1p1/gnu/4.4.7.ndebug
    • mpi/mpich2/1.4.1p1/gnu/4.8.1.ndebug
    • mpi/openmpi/1.4.5/pgi/12.10
    • mpi/openmpi/1.6.5/gnu/4.4.7
    • mpi/openmpi/1.6.5/gnu/4.8.1
    • mpi/openmpi/1.6.5/intel/2013/update5
    • mpi/openmpi/1.6.5/intel/2013/update5.mt
    • mpi/openmpi/1.6.5/intel/2013_sp1/initial
    • mpi/openmpi/1.6.5/intel/2013_sp1/update1
    • mpi/openmpi/1.6.5/pgi/13.7
    • mpi/openmpi/1.8.4/gnu/4.8.1
    • mpi/openmpi/1.8.4/intel/2013/update5


  • mpich
    • mpich/3.1.3
    • mpich/3.1.4
    • mpich/3.1rc2
    • mpich/3.1rc2/intel
    • mpich/3.1rc2/intel/2013/update5
    • mpich/3.1rc2/intel/2013/update5.ndebug
    • mpich/3.1rc2/intel/2013_sp1/initial
    • mpich/3.1rc2/intel/2013_sp1/initial.ndebug
    • mpich/3.1rc2/intel/2013_sp1/update1
    • mpich/3.1rc2/intel/2013_sp1/update1.ndebug
    • mpich/3.2a2
    • mpich/3.2b2


  • mpich2
    • mpich2/1.0.8/intel/2013/update5.ndebug
    • mpich2/1.2.1/gnu/4.4.7
    • mpich2/1.2.1/gnu/4.4.7.ndebug
    • mpich2/1.2.1/intel/2013/update5.ndebug
    • mpich2/1.4.1p1/gnu/4.4.7.ndebug
    • mpich2/1.4.1p1/gnu/4.8.1.ndebug






  • opencl
    • opencl/2.8
    • opencl/2.9.1
    • opencl/test



  • orca
    • orca/3.0.1
    • orca/3.0.3





  • pgi
    • pgi/12.10
    • pgi/13.7



  • physics
    • physics/meep/1.2
    • physics/meep/1.3




  • python
    • python/2.7.5
    • python/2.7.9
    • python/3.4.3_back
    • python/3.4.3_intel
    • python/3.5.2


  • r
    • r/3.0.2
    • r/3.1.0
    • r/3.1.2
    • r/3.2.2


  • rosetta
    • rosetta/2013wk48-bin
    • rosetta/2013wk48-bin_single


  • rx
    • rx/gnu/3.1.2
    • rx/gnu/3.3.1
    • rx/gnu/3.3.2
    • rx/gnu/3.3.3
    • rx/gnu/3.4.0
    • rx/intel/3.1.2
    • rx/intel/3.3.1
    • rx/intel/3.3.2
    • rx/intel/3.3.3
    • rx/intel/3.4.0




  • siesta
    • siesta/3.2-pl3
    • siesta/3.2-pl3_mkl



  • tcl
    • tcl/8.6.1


  • tools
    • tools/autoconf/intel/2013/update5
    • tools/cmake/2.8.12
    • tools/hdfview/2.9
    • tools/libtool/intel/2013/update5
    • tools/m4/intel/2013/update5


  • totalview
    • totalview/8.12.0-1
    • totalview/8T.13.0-1


  • upc
    • upc/2.18.2



  • vampirtrace
    • vampirtrace/5.14.4/intel/2013_sp1/latest
    • vampirtrace/5.14.4/mpich/3.1rc2/intel/2013_sp1/update1
    • vampirtrace/5.14.4/openmpi/1.6.5/gnu/4.8.1
    • vampirtrace/5.14.4/openmpi/1.6.5/intel/2013_sp1/update1


  • vasp
    • vasp/5.2.12
    • vasp/5.2.12-mkl
    • vasp/5.3.3
    • vasp/5.3.3-mkl
    • vasp/5.3.3-neb-mkl
    • vasp/5.3.3-noncollinear-mkl


  • vtk
    • vtk/6.1.0


  • x10
    • x10/2.4.3




Pomoc

Więcej informacji uzyskać można pod adresem pomoc@icm.edu.pl.

Instalacja nowego klastra - topola

Testy wydajnosci:Topola-benchmarks

Migracja katalogow z software: Migracja-software-hydra