Notos

Komputer
Bgp.jpg
Instalacja: Komputer MPP (Massively Parallel Processing)
Model: IBM Blue Gene/P
Nazwa: notos
Typ procesora: PowerPC 450
Architektura: ppc
Reprezencja danych: big-endian
Częstotliwość
taktowania:
850 MHz
Liczba procesorów
w węźle:
4 rdzenie PowerPC
Ilość pamięci
w węźle:
4 GB
System plików: GPFS
(rozproszony system plików)
System operacyjny: Blue Gene/P Linux
System kolejkowy: LoadLeveler
Wszystkie komputery | okeanos | boreasz | nostromo | hydra | topola
Podręcznik | Programowanie

Architektura

System Notos składa się z jednostki obliczeniowej IBM Blue Gene/P wyposażonej w 1024 węzły obliczeniowe.

Konfiguracja węzła obliczeniowego:

  • procesor Power PC 450, 32-bit, 850 MHz, 4 rdzenie SMP (Symmetric multiprocessing),
  • współdzielona pamięć cache trzeciego poziomu (L3) - 8MB,
  • pamięć - 4GB

Procesory rodziny PowerPC są architekturą typu big-endian.

Węzły nie posiadają lokalnego dysku. Wyposażone są w zintegrowany kontroler I/O oraz zintegrowane kontrolery sieciowe.

Węzły klastra połączone są dedykowanym rozwiązaniem sieciowym firmy IBM skonstruowane w oparciu o:

  • podstawową sieć komunikacji o topologi 3D Torus,
  • sieć przeznaczona do komunikacji grupowej (z ang. collective communication),
  • sieć przeznaczona do wykonywania szybkiej synchronizacji (bariery),
  • sieć 10Gb Ethernet do komunikacji zewnętrznej (głównie operacje I/O).

Użytkowanie i przeznaczenie

Komputer jest dostępny dla zadań naukowców prowadzących obliczenia w ramach Programu Obliczeń Wielkich Wyzwań Nauki i Techniki (POWIEW) http://wielkiewyzwania.pl. Z komputera Notos mogą również korzystać użytkownicy centrum KDM. Osoby zainteresowane korzystaniem z Notos-a proszone są o przesłanie informacji na adres email: powiew-admins@icm.edu.pl

Komputer Notos udostępniony został w ramach Programu Obliczeń Wielkich Wyzwań Nauki i Techniki (POWIEW), projektu współfinansowanego przez Unie Europejska z Europejskiego Funduszu Rozwoju Regionalnego.

Zasady korzystania

Na system Notos logować mogą się wszystkie osoby posiadające konto w ICM. Korzystanie z kompilatorów i uruchamianie zadań możliwe po wcześniejszym przesłaniu zgłoszenia na adres:

powiew-admins@icm.edu.pl

Logowanie spoza ICM na system Notos możliwe jest na dwa sposoby:

  • poprzez ogólny węzeł dostępowy: ssh login.hpc.icm.edu.pl, a następnie ssh notos
  • bezpośrednio: ssh notos.hpc.icm.edu.pl
Exclamation.png Pierwsze logowanie!

Świeżo po założeniu konta użytkownika, przed rozpoczęciem logowania na notosa, proszę wykonać procedurę pierwszego logowania opisaną tutaj.

Po zalogowaniu na docelowy węzeł dostępowy (tzw. front-end) o nazwie notos możemy wykonywać następujące czynności:

  • przygotowywania programów (programowanie,kompilacja),
  • przygotowywania danych wejściowych,
  • wstawiania zadań do kolejki LoadLeveler,
  • przetwarzania wyników obliczeń.

Na węźle dostępowym nie można uruchamiać żadnych obliczeń. Serwer dostępowy oparty jest o inną architekturę (IBM POWER6), a środowisko programistyczne oparte jest na tzw. cross-kompilatorach.

Węzły obliczeniowe nie posiadają dysków lokalnych. Wszystkie obliczenia należy wykonywać korzystając z katalogu domowego.

System kolejkowy i zadania użytkowników

Zainstalowanym systemem kolejkowym jest LoadLeveler.

Aby przygotować zadanie obliczeniowe, należy stworzyć skrypt (plik) zawierający listę żądanych zasobów oraz sposób uruchomienia programu.

Przykładowe skrypty można znaleźć w katalogu: /opt/examples/loadleveler na węźle dostępowym.

System plików i przechowywanie danych

System korzysta z rozposzonego systemu plików w implementacji GPFS (http://www-03.ibm.com/systems/software/gpfs/).

Jako dysk roboczy należy wykorzystywać katalog domowy (lokalny dla klastra).

Informacje w jaki sposób można kopiować dane pomiędzy węzłem dostępowym a innymi komputerami znajdują się tutaj.

Limity

TODO

Środowisko użytkownika

Węzeł dostępowy obsługuje system operacyjny SUSE Linux Enterprise Server 10.0. Węzły obliczeniowe obsługiwane są przez linuksowe Compute Node Kernels (CMK) dla Blue Gene/P.

Domyślnie nie jest możliwe logowanie na węzły obliczeniowe. Zadania należy przygotowywać w całości na serwerze dostępowym.

Do ustawiania środowiska (ścieżki dostępu, biblioteki) służy narzędzie modules. Pełna dokumentacja dostępna jest po wydaniu polecenia: man module. Najważniejsze polecenia to:

module avail (Lista dostępnych modułów)

module list (Lista modułów aktualnie załadowanych przez użytkownika)

module load <nazwa modułu>

module unload <nazwa modułu>

W szczególności ustawienie kompilatorów MPI uzyskuje się po wykonaniu komendy:

module load mpi_gnu

Kompilatory i biblioteki

Na komputerze Notos dostępne są następujące kompilatory:

  • IBM XL C/C++ Advanced Edition for Blue Gene/P, V9.0,
  • IBM XL Fortran Advanced Edition for Blue Gene/P, XV11.1,
  • GCC for Blue Gene/P, V4.1.2.

Dostępna jest biblioteka MPI for Blue Gene/P, (MPI-2.1).

Zainstalowane oprogramowanie

Pakiety naukowe są instalowane w drzewie katalogów /opt: (Wersja robocza listy - może być niekompletna)

Brak stron spełniających kryteria.

Pozostałe pakiety i biblioteki: P3DFFT, HDF5, NetCDF, PNetCDF

Dokumentacja

  • Blue Gene/P Application Development Redbook PDF
  • Blue Gene/P Performance Analysis Tools Redbook PDF
  • LoadLeveler Using and Administering PDF

Zainstalowane aplikacje

Linki

Nazwa Notos

Notos - posąg przed Pałacem pod Czterema Wiatrami w Warszawie, źródło: http://en.wikipedia.org/wiki/Anemoi

Notos - bóg i uosobienie wiatru południowego (mitologia grecka). Uosabiał gorący, wilgotny, niosący deszcze silny wiatr wiejący z południa.