Halo2

Languages:   Polski  • English
Halo2 panorama.jpg

Sun Constellation System
halo2

Exclamation.png Komputer Halo2 został wycofany z eksploatacji w październiku 2015 r. Użytkowników zachęcamy do migracji obliczeń na inne systemy, w szczególności klater Topola.

Spis treści

Architektura

System składa się z węzłów - fizycznie oddzielonych serwerów kasetowych upakowanych w specjalnych szafach. Każdy węzeł wyposażony jest w 4 procesory 4-rdzeniowe typu AMD Opteron (architektura x86_64, nazwa kodowa Barcelona), razem 16 fizycznych jednostek obliczeniowych.

Procesory rodziny Opteron są architekturą typu little-endian. Jeden węzeł posiada 16 lub 32 Gb pamięci operacyjnej, maksymalnie dostępnej dla jednego procesu użytkownika. Jest to architektura typu ccNUMA (cache coherent Non-Uniform Memory Access), w której poszczególne rdzenie w procesorze współdzielą pamięć podręczną (trzeciego poziomu - L3), natomiast procesory w obrębie węzła mają spójną pamięć podręczną oraz niejednorodny czas dostępu do pamięci głównej.

Serwery (węzły) nie posiadają lokalnego dysku.

Węzły klastra połączone są siecią typu Infiniband o wysokiej wydajności. Rozwiązanie to charakteryzuję się między innymi niskimi opóźnieniami oraz mechanizmem tzw. rDMA (remote Direct Memory Access) pozwalającym na bezpośredni dostęp do pamięci innego węzła. Połączenia Infiniband wykorzystywane będą zarówno do operacji wejścia/wyjścia, ze względu na brak dysków lokalnych, jak i do wymiany danych pomiędzy procesorami klastra.

Grube węzły

Od czerwca 2012 udostępniono 5 dodatkowych węzłów obliczeniowych. Każdy z tych węzłów wyposażony jest w:

  • 64 rdzenie AMD Opteron 6272
  • 512 GB pamięci operacyjnej

"Grube" węzły przeznaczone są do obliczeń wymagających bardzo dużej ilości pamięci. Węzły udostępniane poprzez kolejkę o nazwie biqmem z limitem 168 godzin czasu zegarowego dla zadań wsadowych i 12 godzin czasu zegarowego dla zadań interakcyjnych. Zadanie w kolejce biqmem może wykorzystywać tylko jeden węzeł.

Użytkowanie i przeznaczenie

Komputer jest dostępny dla zadań użytkowników, zadań meteo (numerycznych modeli prognostycznych) oraz dla innych projektów specjalnych.

Zasady korzystania

Logowanie następuje na węzeł dostępowy (tzw. front-end) o nazwie halo2. Służy on jedynie do przygotowania programów i przetwarzania danych związanych z obliczeniami. Na węźle dostępowym nie należy uruchamiać żadnych obliczeń, zadania użytkowników uruchamiane są za pomocą systemu kolejkowego na węzłach obliczeniowych o nazwach nXXX.

Uwaga: architektura węzła dostępowego (amd k8) i węzłów obliczeniowych (amd k10) różnią się; należy o tym pamiętać przy samodzielnej kompilacji programów.

Węzły obliczeniowe nie posiadają dysków lokalnych. Wszystkie obliczenia należy wykonywać korzystając z katalogu domowego.

System kolejkowy i zadania użytkowników

Zainstalowanym systemem kolejkowym jest Torque (tzn. OpenPBS z poprawkami).

Aby przygotować zadanie obliczeniowe, należy stworzyć skrypt (plik) zawierający listę żądanych zasobów oraz sposób uruchomienia programu. Przykłady skryptów zamieszczono na stronie systemu kolejkowego PBS .

System plików i przechowywanie danych

System korzysta z rozposzonego systemu plików w implementacji Lustre (http://www.lustre.org).

Ze względu na brak dysków roboczych w węzłach należy, o ile to możliwe, unikać intensywnego korzystania z systemu plików w trakcie obliczeń.

Jako dysk roboczy można wykorzystywać katalog domowy (lokalny dla klastra) oraz do składowania macierzy dyskowej /workspace, dostępnej tylko z wezła dostępowego.

Limity

Limit dostępnej przestrzeni dyskowej (liczba i wielkość plików) dla użytkownika (tzw. quota) można sprawdzić komendą:

lfs quota /home

Domyślnie użytkownik dysponuje limitem około 100 gb.

Użytkownik ma przydzieloną ograniczoną liczbę zadań mogących wykonywać się jednocześnie; pozostałe zadania użytkownika w systemie pozostają w stanie oczekiwania.

Podczas uruchamiania zadań należy pamiętać, że ilość dostępnej dla programu użytkownika pamięci operacyjnej w węźle, jest nieco mniejsza niż całkowita fizyczna pamięć.

Dodatkowe polecenia związane z limitami kolejek podane są na stronie systemu kolejkowego.

W razie konieczności zwiększenia limitów, prosimy o kontakt: hpc-admins@icm.edu.pl.

Środowisko użytkownika

Klaster obsługuje system operacyjny Gentoo Linux.

Do ustawiania środowiska (ścieżki dostępu, biblioteki) służy narzędzie modules. Pełna dokumentacja dostępna jest po wydaniu polecenia: man module. Najważniejsze polecenia to:

module avail (Lista dostępnych modułów)

module list (Lista modułów aktualnie załadowanych przez użytkownika)

module load <nazwa modułu>

module unload <nazwa modułu>

Programowanie

Zainstalowane aplikacje

Pakiety naukowe są instalowane w drzewie katalogów /opt:


Słowniczek

(w języku angielskim)