Boreasz

Komputer
P775 large.jpg
Instalacja: Klaster
Model: IBM Power775
Nazwa: Boreasz
Typ procesora: Power7
Architektura: ppc64 (spec. Power ISA v.2.06)
Reprezencja danych: big-endian
Częstotliwość
taktowania:
3.83 GHz
Liczba procesorów
w węźle:
32 (4 Power7 proc.; 8-core)
Ilość pamięci
w węźle:
128 GB
System plików: GPFS
System operacyjny: AIX 7.1
System kolejkowy: LoadLeveler
Wszystkie komputery | okeanos | boreasz | nostromo | hydra | topola
Podręcznik | Programowanie

Spis treści

Użytkowanie i przeznaczenie

Komputer jest dostępny dla zadań naukowców prowadzących obliczenia w ramach Programu Obliczeń Wielkich Wyzwań Nauki i Techniki (POWIEW) [1]. Z komputera Boreasz mogą również korzystać użytkownicy centrum KDM.

Komputer Boreasz udostepniony został w ramach Programu Obliczen Wielkich Wyzwan Nauki i Techniki (POWIEW), projektu wspolfinansowanego przez Unie Europejska z Europejskiego Funduszu Rozwoju Regionalnego.

Głównym przeznaczeniem systemu są równoległe zadania wymagające dużej mocy obliczeniowej w połączeniu z dostępem do rozległej pamięci operacyjnej w ramach wspólnej przestrzeni adresowej.

Zasady korzystania

Na system Boreasz logować sie, korzystać z kompilatorów i uruchamiać zadanie mogą wszystkie osoby posiadające konto w ICM.

Logowanie spoza ICM na system Boreasz możliwe jest na dwa sposoby:

  • poprzez ogólny węzeł dostępowy: ssh login.hpc.icm.edu.pl, a następnie ssh boreasz
  • bezpośrednio: ssh boreasz.hpc.icm.edu.pl
Exclamation.png Pierwsze logowanie!

Świeżo po założeniu konta użytkownika, przed rozpoczęciem logowania na boreasza, proszę wykonać procedurę pierwszego logowania opisaną tutaj.

Po zalogowaniu na docelowy węzeł dostępowy (tzw. front-end) o nazwie boreasz możemy wykonywać następujące czynności:

  • przygotowywania programów (programowanie,kompilacja),
  • przygotowywania danych wejściowych,
  • wstawiania zadań do kolejki LoadLeveler,
  • przetwarzania wyników obliczeń.

Na węźle dostępowym nie można uruchamiać żadnych obliczeń.

Węzły obliczeniowe nie posiadają dysków lokalnych. Wszystkie obliczenia należy wykonywać korzystając z katalogu domowego.

Węzły klastra

Model CPU Taktowanie CPU Liczba rdzeni fizycznych/logicznych(SMT) RAM Roboczy system plików (scratch) Interconnect Liczba węzłów
węzeł dostępowy IBM Power7 3.83 GHz 24/96 96 GB /home IBM HFI 1
węzeł obliczeniowy IBM Power7 3.83 GHz 32/128 128 GB /home IBM HFI 76

System kolejkowy i zadania użytkowników

Uruchamianie zadań na Boreaszu odbywa się za pośrednictwem systemu kolejkowego IBM LoadLeveler (LL). Za pomocą komend LL możemy sterować przebiegiem obliczeń naszego zadania. Podstawowe komendy to:

  • llsubmit – wstawianie zadania do kolejki,
  • llq – sprawdzanie statusu zadania wstawionego do kolejki,
  • llq -s JOBID – wypisanie rozszerzonych informacji o zadaniu JOBID,
  • llcancel JOBID – usuwanie zadania JOBID z kolejki.

Opis zadania i zapotrzebowanie na zasoby można specyfikować w specjalnym skrypcie – pliku tekstowym dla systemu LL. Skrypt musi zostać napisany przez użytkownika i składa się z dyrektyw LL oraz instrukcji uruchamiających odpowiedni program. Pierwsze linie skryptu powinny zawierać specyfikację zasobów oraz opcje sterujące wykonaniem zadania. Linie te zaczynają się od # @ i nie powinny być oddzielane innymi wpisami. Następnie należy umieścić instrukcje konieczne do uruchomienia programu.

Przykładowy skrypt LoadLeveler z komputera Boreasz:

#@ job_name = Obliczenia
#@ output = $(job_name)_$(jobid)
#@ error =  $(job_name)_$(jobid)
#@ account_no = G33-19
#@ class = kdm
#@ node = 16 
#@ tasks_per_node = 32
#@ wall_clock_limit = 08:00:00
#@ network.MPI = sn_all,not_shared,US,HIGH
#@ notification = never
#@ environment = COPY_ALL
#@ job_type = parallel
#@ queue
mpiexec -n 512 ./program


Lista dostępnych kolejek:

kolejka przeznaczenie priorytet dostęp dla wszystkich limit węzłów na zadanie max wall_time max job_cpu_time limit wszystkich zadań
test zadania testowe 90 tak 2 10min brak 4
kdm krótkie zadania 70 tak brak 24h 12288h 32
kdm-long długie zadania 60 tak 16 96h brak 9
powiew projekt POWIEW 80 nie brak 336h brak brak
prace projekt PRACE -- nie -- -- -- --
meteo prognoza pogody 100 nie brak -- -- --

Systemy plików i przechowywanie danych

Węzły nie posiadają lokalnego dysku. Zasoby dyskowe udostępniane są użytkownikom na węźle dostępowym oraz na węzłach obliczeniowych za pomocą równoległego systemu plików IBM GPFS.

Lokalizacja Przeznaczenie Całkowita przestrzeń Maksymalna przepustowość z jednego węzła/całego klastra System plików Współdzielona? Przeznaczona do intensywnych operacji zapisu/odczytu? Backup Quota
/home/ Przestrzeń przechowywania danych z obliczeń. 130 TB ~1 GB/s / ~10 GB/s GPFS tak (wszystkie węzły obliczeniowe i dostępowy) tak nie (docelowo tak) dane: soft 28 GB, hard 30GB; liczba plików: soft 140tyś, hard 150tyś

Informacje w jaki sposób można kopiować dane pomiędzy węzłem dostępowym a innymi komputerami znajdują się tutaj.

Środowisko programisty

Cały dostępny stos oprogramowania niezbędny do utworzenia, uruchomienia, testowania i debugowania w C, C++ i Fortranie równoległych kodów użytkownika pochodzi od jednego producenta.

Środowiskiem programistycznym dedykowanym dla systemu Boreasz jest IBM Parallel Environment Runtime Edition, w skrócie PE. PE zapewnia mechanizm i narzędzia do przesyłania wiadomości pomiędzy procesami w systemach o rozproszonej pamięci.

Protokołem dla komunikacji równoległej w ramach klastra jest MPI. Dostępna w ramach środowiska biblioteka to PE MPI, implementacja zgodna ze standardem „MPI: A Message-Passing Interface Standard, Version 2.2, University of Tennessee, Knoxville, Tennessee, September 4, 2009″.

Podstawowe kompilatory dla kodów równoległych to:

  • mpcc_r – dla kodów w C
  • mpCC_r – dla kodów w C++
  • mpxlf_r, mpxlf90_r, mpxlf95_r, mpxlf2003_r - dla kodów w języku Fortran

Dostępne są również kompilatory służące do przygotowywania aplikacji w ramach pojedynczego węzła:

  • IBM XL C/C++ – rodzina kompilatorów dla języka C/C++
  • IBM XL Fortran – rodzina kompilatorów dla języka Fortran

Skompilowany równoległy kod jest przygotowany do uruchamiania przy użyciu narzędzi POE. Zadaniem POE jest przygotowanie węzłów i środowiska pod uruchamiane procesy użytkownika. POE wykorzystuje do tego ręcznie przygotowaną wcześniej listę zadanych węzłów lub posiłkuje się menedżerem zasobów. W systemie Boreasz POE wolno korzystać tylko z menedżera zasobów, w tym przypadku jest to IBM LoadLeveler.

Profilery, debuggery:

Użytkownicy mają do dyspozycji stos oprogramowania do analizowania wydajności i poprawności działania swoich aplikacji. Zapewnia to pakiet IBM HPC Toolkit.

Artykuły

  • Zapraszamy do zapoznania się z możliwościami zarządzania procesami i wątkami w zadaniach obliczeniowych na Boreasz-u w artykule zamieszczonym w Biuletynie nr 37.
  • O sztuczkach i kruczkach w obsłudze komputera Boreasz można znaleźć więcej w Biuletynie nr 36

Zainstalowane oprogramowanie