Dobre praktyki w pracy z systemami HPC ICM UW
Archiwizacja i kompresja danych
- Regularnie archiwizuj i kompresuj pliki, aby zwolnić przestrzeń dyskową oraz zmniejszyć liczbę plików (ważne w kontekście limitów file quota i disk quota).
- ⚠️ ICM UW nie wykonuje kopii zapasowych danych użytkowników – dbaj o własne backupy!
- Przydatne narzędzia:
tar,gzip,bzip2. - Kompresja danych binarnych zwykle nie ma sensu (jest czasochłonna i mało efektywna).
- Archiwum tar (bez opcji
-z) to najszybsze rozwiązanie w przypadku dużej liczby małych plików.
📖 Instrukcje:
- Limity przestrzeni dyskowej
- Kompresja plików – tar i gzip
Backup i synchronizacja
- Warto regularnie archiwizować dane lokalnie lub w chmurze.
- Narzędzia:
rsync– do synchronizacji katalogów,rclone– do pracy z Google Drive i innymi usługami chmurowymi.
📖 Instrukcje:
- Archiwizacja i kompresja
- Rclone – dokumentacja
Transfer danych
- Pliki można przesyłać i pobierać z serwerów obliczeniowych za pośrednictwem Open OnDemand.
- Pamiętaj, że prędkość transferu zależy głównie od wydajności dysku użytkownika.
📖 Instrukcja:
- Open OnDemand – transfer plików
Testy skalowalności
- Przed rozpoczęciem dużych obliczeń uruchom test skalowalności.
- Sprawdź, czy Twój program efektywnie wykorzystuje wiele rdzeni i wiele węzłów.
- Dzięki temu unikniesz marnowania zasobów i czasu w kolejce.
📖 Instrukcja:
- Podstawy SLURM
Bezpieczne logowanie
- Staraj się korzystać z kluczy SSH zamiast haseł – to bezpieczniejsze i szybsze rozwiązanie.
- Skonfiguruj połączenie typu MasterConnection (SSH multiplexing), aby nie wpisywać wielokrotnie OTP.
📖 Instrukcje:
- Tworzenie i używanie kluczy SSH
- SSH multiplexing – opis
Korzystanie z zasobów
- Pamiętaj, że duże obliczenia wpływają na innych użytkowników.
- Nie próbuj obchodzić limitów systemu kolejkowego – takie działania mogą skutkować blokadą konta.
- Nieuzasadnione zużycie zasobów obniża efektywność pracy całego systemu.
- Choć ICM nie nalicza kar za niewykorzystane godziny obliczeniowe, staraj się racjonalnie planować swoje potrzeby.
- W razie zmian możesz wnioskować o dodatkowe zasoby w tym samym roku.
📖 Instrukcja:
- Limity zasobów
Walltime i kolejka
- Precyzyjnie oszacuj potrzebny walltime – wpływa to na czas rozpoczęcia zadania i efektywne wykorzystanie zasobów.
- System kolejkowy umożliwia:
- ustawianie liczby zadań,
- definiowanie zależności między zadaniami,
- sterowanie sekwencją uruchomień.
📖 Instrukcja: - Podstawy SLURM