Biuletyn nr 10

Biuletyn KDM
1 | 2 | 3 | 4 | 5
6 | 7 | 8 | 9 | 10
11 | 12 | 13 | 14
15 | 16 | 17 | 18
19 | 20 | 21 | 22
23 | 24 | 25 | 26
27 | 28 | 29 | 30
31 | 32
Lista biuletynów

Biulety nr 10 (4 kwietnia 2006)

Spis treści

Sesja sprawozdawcza 2005

Autor: Anna Psoda

Tradycji stało się zadość, jesteśmy po wyjazdowej sesji sprawozdawczej, która tym razem odbyła się na Mazurach w scenerii zimowej [1a, 1b, 1c, 2, 3, 4, w pięknie położonym [5] i urządzonym [6, 7, 8] ośrodku nad jeziorem Zyzdrój Wielki w Puszczy Piskiej [9, 10].

Jak zwykle towarzyszyło temu napięcie, najpierw związane z finansowaniem (dadzą nie dadzą), potem z programem [11], który do ostatniej chwili co i rusz stawał na głowie, a na tydzień przed wyjazdem okazało się, że w ośrodku do którego jedziemy oczekują nas tydzień później, bo ktoś coś źle odnotował.

I, jak zwykle, sesja bardzo się udała [12]. Nasi niezawodni użytkownicy swoimi bardzo ciekawymi wystąpieniami tchnęli w nas, nadwątlona przez cały rok, wiarę, że to co robimy naprawdę ma sens. Obok użytkowników-weteranów pojawiły się nowe twarze, nowe tematyki, a projekty otwarte kilka miesięcy temu już mają znaczące wyniki. Chcielibyśmy wierzyć, że wzmacniające się z roku na rok wsparcie dla użytkowników przekłada się na efektywność prowadzonych obliczeń. Jest prawie sto publikacji z ostatniego roku, większość w pismach z najwyższej półki.

W tym roku sesję wyjazdową poprzedziła sesja użytkowników oprogramowania Gaussian, która odbyła się na początku lutego w ICM. Jest to grupa użytkowników, która wykorzystuje relatywnie najwięcej czasu obliczeniowego i wobec konieczności wprowadzenia systemowych ograniczeń w wykorzystywaniu maszyn chcieliśmy dokładnie poznać ich wyniki i potrzeby. Na sesji wyjazdowej nie byłoby na to czasu.

Na sesji nie było w tym roku tematyki związanej z fizyką atmosfery i środowiska, tak silnie reprezentowanej w roku ubiegłym. Brakowało nam falowania i prądów na Bałtyku, liczymy na podwójną dawkę w roku przyszłym.

Zespół oceniający projekty nie zakończył jeszcze pracy ale wiadomo już, że po wprowadzeniu nowego regulaminu wiele projektów w sposób znaczący będzie musiało ograniczyć ilość wykorzystywanego czasu. Liczba wpływających wniosków o przyznanie grantów obliczeniowych rośnie znacznie szybciej niż moce obliczeniowe ICM. Temat ten, podjęty przez prof. Niezgódkę na otwarciu sesji, przewijał się przez cały czas jej trwania.

To czego nam naprawdę brakowało w czasie sesji to wolnego czasu. Okolica była przepiękna, pogoda też. Miejsce gdzie mieszkaliśmy to dawna stanica wodna Juwenturu (przez jezioro przepływa rzeka Krutynia), obecnie w rękach nowego właściciela przerobiona w wytworny, przytulny hotel z oszkloną salą konferencyjną z widokiem na jezioro z jednej strony [13] i na bar z drugiej [14]. Nie wszyscy to wytrzymywali [15, 16, 17]. Nie zorganizowałam żadnej wycieczki czego żałuję, elegancka kolacja też nie wszystkim przypadła do gustu [18]. Ale było świetnie, w przyszłym roku również zawalczę o sesję dalej niż rzut beretem od Warszawy, tylko zacznę walczyć wcześniej, może się znajdzie jakiś sponsor, entuzjasta społeczeństwa-opartego-na-wiedzy.

A program podobno mamy układać pół roku przed sesją. Do zobaczenia.


HPC-Europa

Autor: Anna Trykozko

W ramach projektu HPC-Europa (FP6 Structuring the European Research Area Programme) istnieje możliwość odbycia stażu naukowego (1-3 miesiące) w jednym z sześciu europejskich centrów HPC (High Performance Computing).

Podczas stażu uzyskuje się między innymi dostęp do największych zasobow obliczeniowych w Europie, oraz konsultacje i pomoc doświadczonych pracowników centrów. Koszty pobytu i podroży są pokrywane ze środow projektu.

Ośrodki, w których odbywają się staże to: BCS (Barcelona), CINECA (Bolonia), EPCC (Edynburg), HLRS (Stuttgart), IDRIS (Paryż) oraz SARA (Amsterdam).

Projekt HPC-Europa będzie prowadzony do końca 2007 roku. O stypendium mogą ubiegać się naukowcy dowolnego szczebla, począwszy od doktorantów aż do profesorów, działający w różnych obszarach nauki, pod warunkiem, że dostęp i efektywne wykorzystanie zasobow komputerowych dużej mocy jest istotne z punktu widzenia prowadzonych badań oraz przewidywanych wyników. Spotkania komitetu przydzielającego stypendia odbywają się 4 razy w roku; najbliższy termin nadsyłania zgłoszeń upływa 15 maja 2006 roku.

Więcej informacji znajduje się na stronie: http://www.hpc-europa.org

Przykłady projektów zrealizowanych do tej pory w ramach HPC Europa w jednym z ośrodków uczestniczących w projekcie - HLRS w Stuttgarcie - znajdują się na stronie: http://www.hlrs.de/hpc-europa/past_applicants.html

UNICORE

Autor: Krzysztof Nowiński

Co to jest UNICORE

UNICORE - UNIform access to Computational Resources jest mechanizmem gridowym pozwalającym na ujednolicony dostęp do zasobów obliczeniowych (oprogramowania i danych) w różnych miejscach i na różnych systemach. UNICORE realizuje jednolity mechanizm uwierzytelniania użytkowników na podstawie certyfikatów X-509 oraz zasadę niezależności sformułowania zadania obliczeniowego od docelowego systemu.

Niezależność ta obejmuje zarówno strukturę serwerów, systemów plików, katalogów i loginów wewnątrz ośrodka jak i zmienne systemowe, katalogi uruchomieniowe etc. W praktyce oznacza to, że aby uruchomić zadanie obliczeniowe, użytkownik nie musi już znać całej lokalnej konfiguracji środowiska obliczeniowego. Zamiast uciążliwego niekiedy kopiowania plików i wielokrotnego testowania skryptów w środowisku docelowym UNICORE udostępnia intuicyjny, graficzny interfejs do budowania i uruchamiania zadań. Mechanizm działania jest następujący: Użytkownik tworzy opis zadania (tzw. Abstract Job Object – AJO) przy pomocy klienta UNICORE. Następnie klient UNICORE łączy się z serwerem UNICORE w systemie docelowym i przekazuje AJO do wykonania. Serwer sprawdza uprawnienia, “tłumaczy” AJO na komendy stosowne do ustawień lokalnych, transferuje wymagane pliki na system docelowy i wstawia zadanie do kolejki. Użytkownik na bieżąco może sprawdzać przy pomocy klienta bieżący status zadania. Po zakończeniu obliczeń użytkownik na żądanie otrzymuje z powrotem pliki wynikowe oraz log zadania.

Klient UNICORE

W najprostszej wersji klient umożliwia edycję i zdalne uruchomienie skryptu shellowego:

Klient UNICORE

Jest to najprostsze zastosowanie, jednakże nie pokazujące w pełni możliwości UNICORE. Z punktu widzenia użytkownika bowiem najistotniejszą cechą systemu jest przeniesienie na administratora ciężaru odpowiedniego ustawienia środowiska dla programu. Oznacza to, że administratorzy w specjalnej bazie danych konfigurują poszczególne wersje oprogramowania dostępne dla użytkowników, wraz z ustawieniem wszelkich wymaganych zmiennych systemowych. W takim przypadku, jeśli użytkownik chce uruchomić program wystarczy podać minimalną ilość wymaganych do uruchomienia samej aplikacji parametrów.

UNICORE: Nowe zadanie

Przepływ danych

Oczywiście z punktu widzenia użytkownika ważny jest możliwie komfortowy dostęp do danych i bezproblemowe przenoszenie ich pomiędzy maszynami obliczeniowymi. Unicore udostępnia w tym celu interfejs umożliwiający łatwe zdefiniowanie koniecznych transferów plików. Zadanie zazwyczaj zaczyna się od importu zbiorów do przestrzeni roboczej zadania. Źródłem danych mogą być w tym przypadku zarówno pliki na komputerze, przy którym siedzi użytkownik, jak i pliki w innych zdalnych dostępnych dla UNICORE lokalizacjach, np. w katalogu domowym w ośrodku obliczeniowym czy w jakimś archiwum.

UNICORE: Import pliku

Następnie typowo wykonywany jest program obliczeniowy, a rezultaty w postaci zbiorów (a także standardowego wyjścia i wyjścia błędów programu) są odbierane przez użytkownika, który analizuje wyniki obliczeń. Charakterystyczna dla UNICORE jest możliwość budowania bardziej złożonych zadań w postaci grafu, w którym uruchamianie kolejnych zadań zależy od powodzenia wykonania poprzedników.

UNICORE: Zależności

Pozwala to na zrealizowanie w ramach jednego zadania przykładowo importu danych, uruchomienia programu obliczeniowego, przetworzenia rezultatów programami do konwersji i filtracji, a następnie ściągnięcie wyników na komputer użytkownika.

Ponieważ niekiedy przygotowanie wejścia dla złożonej aplikacji obliczeniowej może być trudne, a dodatkowo podatne na błędy w UNICORE zaproponowano interesujący sposób rozwiązania tego problemu, poprzez system tzw. pluginów, czyli wtyczek do aplikacji klienckiej. Otóż istnieje możliwość ładowania specjalnie napisanych modułów, które dostarczają interfejsu graficznego dla potrzeb poszczególnych aplikacji. Dla niektórych programów użytkowanych w ICM przygotowano już odpowiednie pluginy, w szczególności dostępne są pluginy dla programów Amber i Gaussian.

Instalacja testowa

Ponieważ zainstalowanie sobie Unicore na własne potrzeby nie jest łatwe, w ICM przygotowano specjalny, otwarty serwer, umożliwiający zapoznanie się z systemem i przetestowanie go własnoręcznie. Osoby zainteresowane krótkim samouczkiem, przeprowadzającym przez operacje samodzielnego zainstalowania klienta unicore, skonfigurowania go i uruchamiania prostych zadań proszone są o kontakt z Aleksandrem Nowińskim, axnow@icm.edu.pl.

Certyfikaty X-509, które zastosowano w systemie, są powszechnie używanym sposobem identyfikacji partnerów w komunikacji internetowej. Ich wykorzystanie w Unicore polega na tym, że zamiast logowania się do systemu przy pomocy haseł, użytkownicy dostają specjalne certyfikaty w postaci odpowiednich plików, które przechowywane na ich komputerze pozwalają na jednoznaczne identyfikowanie w systemach zdalnych. Wszystkie zlecane systemowi zadania są sygnowane kluczami kryptograficznymi związanymi z certyfikatem, co umożliwia identyfikację użytkownika na każdym etapie wykonywania zadania. Jest to system o tyle dogodniejszy od zwykłego, opartego na hasłach, że nie ma konieczności wielokrotnego wprowadzania haseł , co jest zarówno irytujące jak i stanowi potencjalne zagrożenie (jeśli hasło wprowadzane jest wielokrotnie w czasie sesji, to raz na jakiś czas może zostać omyłkowo wpisane otwartym tekstem, co umożliwi podejrzenie go osobom postronnym).

Unicore w ICM

W tej chwili mamy zainstalowane składniki UNICORE umożliwiające dostęp do Cray’ów (tornado i tajfun) i SGI Origin (latimeria). Udostępnienie klastra halo powinno być możliwe w dającej się przewidzieć przyszłości po pewnej modyfikacji systemu plików. Opiekunem systemu certyfikatów ICM jest Mirek Nazaruk.

Kurs

Kurs pracy z UNICORE zostanie zorganizowany w najbliższym czasie (kwiecień/maj).

O dokładnym terminie poinformujemy na stronie głównej ICM, a także pocztą elektroniczną.