VsDavid < VS

r28 - 05 Jan 2009 - 20:38:26 - JanaUhlirovaYou are here: TWiki >
#MyAnchor
---+ !!Dokumentace pro uživatele subclusteru David

Pro snažší komunikaci s uživateli byl zaveden __RT (Request Tracking) system__ . Proto veškeré dotazy a problémy spojené s farmou Goliáš zasílejte výhradně na e-mailovou adresu __fzu zavináč rt3.cesnet.cz__ .

---++!! Upozornění:

%X% Dne 19.11.2008 byl definitivně vypnut server __prak2.farm.particle.cz__.

---++!! Ke stažení
   * Uživatelský manuál  [[http://hpv2.farm.particle.cz/PBSProUserGuide9.2.pdf][ _PBSProUserGuide9.2_ ]]
   * Administrátorský manuál [[http://hpv2.farm.particle.cz/PBSProAdminGuide9.2.pdf][ _PBSProAdminGuide9.2_ ]].
 

---++!! %BLACK%Obsah:%ENDCOLOR%

%TOC%

---++ 1. Základní informace

---+++ 1.1 Nový uživatel

Ve farmě *Goliáš* je vyčleněna skupina výpočetních serverů, které slouží ke strukturním výpočtům, neformálně označovaná jako *David*. Pro uživatele Davida je k dispozici potřebný SW, zejména kompilátory _Portland_ a _Intel_, knihovny _MKL_, obyčejná a paralelizovaná verze, a prostředí _MPI_. Kdo chce na Davidu počítat, musí být předem domluven s některým z vedoucích výzkumných skupin FZÚ, což jsou nyní Pavel Jelínek, Pavel Novák a František Máca. S jejich svolením si může požádat o účet. Vyplněnou [[http://www.particle.cz/farm/htmlpages/forusers/ucet_form.pdf][žádost o zřízení účtu]] je třeba v papírové formě zaslat na sekretariát Sekce fyziky elementárních částic FZÚ. Pro urychlení celé procedury je možné žádost poslat faxem (fax: 286 585 443) a originál doručit do čtrnácti dnů.

[[#MyAnchor][Zpět]]


---+++ 1.2 První přihlášení

Jakmile obdržíte e-mailem potvrzení o zřízení účtu, postupujte následovně:

*1.* Připojte se na stroj _golias.farm.particle.cz_ a potom na _ui2.farm.particle.cz_ nebo _prak3.farm.particle.cz_ a pomocí povelu _%BROWN%passwd%ENDCOLOR%_ si změňte heslo. 

*2.* Používáte-li _shell bash_, přidejte si do souboru __.bash_profile__ ve svém domácím adresáři řádku _%BROWN%. /raid2_david/SW/david.sh%ENDCOLOR%_

Používáte-li _shell tcsh_, přidejte si do souboru __.login__ ve svém domácím adresáři řádku _%BROWN%source /raid2_david/SW/david.csh%ENDCOLOR%_

*3.* Vytvořte si adresář _%BROWN%/raid2_david/scratch/%ENDCOLOR%<vaše jméno>_

Poté vám bude už automaticky vytvořen adresář _%BROWN%/raid2_david/home/%ENDCOLOR%<vaše jméno>_

*4.* Pošlete mail se subjektem _"sub david"_ na adresu _david_ . Tím budete přidáni do *debatního klubu david*. Mail musí mít jako zpáteční adresou vaši mailovou adresu, a ta musí končit _@fzu.cz_. 

Tím se stanete plnoprávným uživatelem/uživatelkou subclusteru David. 

[[#MyAnchor][Zpět]]


---++ 2. Datové prostory

   * Domácí adresář __/home__ je vidět ze všech výpočetních uzlů. Domácí adresář je zálohován systémem _Legato Net Worker_. Jestliže ztratíte soubor a chcete si ho obnovit, zalogujte se na _ui2_ nebo _prak3_ a odtud bez hesla

_%BROWN%ssh storage5%ENDCOLOR%_

a zde v prostředí _X11_
 
_%BROWN%nwrecover &%ENDCOLOR%_

Dostanete grafické _GUI_ k obnově. Podrobné informace naleznete [[http://www-hep2.fzu.cz/twiki/bin/view/VS/VsGolias#4_Z_lohov_n_a_obnova_dat][zde]]. Alternativně můžete požádat Jana Švece, aby vám obnovu udělal.

Domácí adresář je v péči farmy Goliáš a základní kvóta je zde *2GB*. Kvóty administruje Jan Švec a Tomáš Kouba. Další informace o kvótách jsou [[http://www-hep2.fzu.cz/twiki/bin/view/VS/VsGolias#2_1_Domovsk_adres_home][zde]].

   * Sdílený pracovní prostor __/raid2_david/scratch__ je vidět ze všech výpočetních uzlů. Tento prostor slouží k ukládání velkých dočasných dat, zejména mezivýsledků výpočtů. Prostor je dostatečně velký a není kvótován. Při využívání tohoto  prostoru se laskavě chovejte ukázněně a nepotřebná data po sobě mažte. Sdílený _scratch_ není zálohován a v případě jeho zaplnění mohou starší data bez výstrahy zmizet (dva měsíce a víc).

   * Sdílený zálohovaný prostor __/raid2_david/home__ je kvótován, základní kvóta je *50GB*. Tuto kvótu nelze zvětšit, naopak je možné, že v případě většího využití tohoto prostoru bude nutné kvóty zmenšit. Kvóty spravuje Michal Krátký. Prostor _/raid2_david/home_ je zálohován každodenním zrcadlením na jiný stroj. Případnou obnovu souborů vám na požádání udělá rovněž Michal Krátký.
 
   * Lokální pracovní prostor __/scratch__ je na každém výpočetním uzlu. Tento prostor z jiných uzlů pochopitelně není vidět, což omezuje jeho použitelnost při paralelních výpočtech. Je vhodné ho při výpočtech maximálně využívat, protože je k němu rychlejší přístup než do sdílených prostorů a nezatěžuje síť.

%X% Na všech výpočetních uzlech jsou v pracovním adresáři _/scratch_ automaticky promazávány všechny soubory, od jejichž posledního přístupu uběhlo více než 10 dní ( _atime_ přesáhl 240 hodin). 

[[#MyAnchor][Zpět]]


---++ 3. Zadávání úloh do fronty

---+++ 3.1 Typy front

V současné době existují pro subcluster David dvě fronty: fronta __solid__ a fronta __isolid__.

---++++ 3.1.1 Fronta _solid_

Tato fronta je určena pro časově náročnější úlohy.

---++++ 3.1.2 Fronta _isolid_

Pro frontu _isolid_ byly vyhrazeny dva výpočetní uzly: _golias117_ a _golias118_, t.j. celkem 8 procesorů.

Tato fronta je určena pouze pro kratší úlohy, tzn. pro úlohy, které nepřesáhnout časový limit 10 hodin. Přes den by zde měly běžet především interaktivní úlohy, překlady a ladění programů. Po 22:00 je možné spustit na volných procesorech delší úlohu. Úloha ale musí skončit před 8:00 následujícího dne. V žádném případě nesmí být úloha zadána, pokud by měla ve frontě čekat (status Q).

[[#MyAnchor][Zpět]]


---+++ 3.2 Zadávání úloh

Výpočetní úloha (*job*) je v zásadě __shell skript__, který si předem připravíte a potom zadáte do fronty povelem __qsub__. Základní informace o zadávání úloh a zjišťování jejich stavu jsou v [[http://www-hep2.fzu.cz/twiki/bin/view/VS/VsGolias#3_2_P_kaz_qsub][základním návodu]] ( _Dokumentace pro uživatele farmy Goliáš_ ).  Pro vážné zájemce je ke stažení uživatelská příručka [[http://hpv2.farm.particle.cz/PBSProUserGuide9.2.pdf][ _PBSProUserGuide 9.2_ ]].

Základní způsob, jak zadat úlohu k výpočtu tedy je

_%BROWN%qsub -q %ENDCOLOR% solid &lt;váš skript&gt;_

nebo

_%BROWN%qsub -q %ENDCOLOR% isolid &lt;váš skript&gt;_

%X% Hodnoty _cput_ a _walltime_ uvedené v informacích o dané úloze ( např. v příkazu [[http://www-hep2.fzu.cz/twiki/bin/view/VS/VsGolias#3_3_Dal_u_ite_n_p_kazy_PBS][ _qstat_ ]] ) neodpovídají skutečným hodnotám. Je třeba si je příslušným multiplikátorem přepočítat. Podrobnosti [[http://www-hep2.fzu.cz/twiki/bin/view/VS/VsGolias#3_2_P_kaz_qsub ][ zde ]].

| *Typ stroje* | *Multiplikátor* |
| golias117 - golias133 (bl35p Opteron 280) | 1.76 |
| golias151 - golias162 (bl465c Opteron 2220) | 2.3 |

[[#MyAnchor][Zpět]]


---+++ 3.3 Víceprocesorové úlohy

Pro paralelní výpočty je vhodné využít systém _MPI_. Návod najdete [[http://www.particle.cz/farm/htmlpages/forusersmanuals/mpi2.htm][zde]].

[[#MyAnchor][Zpět]]


---+++ 3.4 Úlohy náročné na paměť

Úlohy náročné na paměť by uživatel měl spouštět na samostatném výpočetním uzlu. Rezervování uzlu se zadává v příkazu _qsub_ specifikací __-l place=excl__. Na daném uzlu tedy poběží jedna jediná úloha i v případě, že nejsou obsazené všechny procesory.

_%BROWN%qsub -q%ENDCOLOR% solid%BROWN% -l select=%ENDCOLOR%1%BROWN%:ncpus=%ENDCOLOR% &lt;počet procesorů&gt;%BROWN% -l place=excl%ENDCOLOR% &lt;váš skript&gt;_

[[#MyAnchor][Zpět]]


---++ 4. Skripty pro subcluster David

Uživatelé občas mají pocit, že nevědí, proč jejich úloha čeká ve frontě, místo aby počítala. Pro zlepšení orientace uživatelů v okamžitém stavu zdrojů byly pro uživatele Davida vytvořeny následující pomocné prostředky.

   * __/raid2_david/SW/lib/worker_nodes__ - soubor, který obsahuje seznam všech výpočetních uzlů farmy Goliáš a jejich základní vlastnosti. Tento soubor je generován každou noc osaháváním skutečného stavu. Najdete-li ho náhodou prázdný, oznamte to laskavě Janě Uhlířové.

   * __solid_nodes__ - vypíše seznam 64-bitových výpočetních uzlů určených pro subcluster David

   * __solid_nodes_off__ - vypíše seznam výpočetních uzlů, které jsou v daném okamžiku _down, unknown, offline_

   * __solid_occu__ - vypíše informace o výpočetních uzlech, které jsou v daném okamžiku plně nebo částečně vytížené

   * __solid_free__ - vypíše informace o výpočetních uzlech, které jsou v daném okamžiku zcela nebo částečně volné

   * __solid_wait__ - vypíše všechny úlohy, které čekají ve frontě _solid_ nebo _isolid_ (úlohy se statutem Q). U první čekající úlohy jsou uvedené podrobnější informace (majitel, datum a čas zadání do fronty, požadovaný počet výpočetních uzlů a procesorů a důvod, proč se úloha nespustila).

V současné době existují pro subcluster David dvě fronty: __solid__ a __isolid__. V důsledku toho jsou skripty _solid_nodes, solid_occu_ a _solid_free_ spustitelné

   * bez parametru - souhrnné informace
   * s parametrem - informace o jednotlivých frontách
      * __-s__ (fronta _solid_)
      * __-i__ (fronta _isolid_)

Skript _solid_nodes_off_ se spouští bez parametru, naopak skript _solid_wait_ se spouští vždy s parametrem.

Např.

%BROWN% _solid_free -i_ %ENDCOLOR% vypíše volné výpočetní uzly fronty _isolid_

%BROWN% _solid_occu -s_ %ENDCOLOR% vypíše obsazené výpočetní uzly fronty _solid_

[[#MyAnchor][Zpět]]


---++ 5. Grafy pro monitorování fronty _solid_ a _isolid_

Pro monitorování fronty _solid_ a _isolid_ jsou k dispozici dvouhodinové, denní, týdenní a měsíční grafy. Grafy jsou vytvořené pomocí systému RRDTool a aktualizují se každých pět minut. 

   * Graf č.1 - počet obsazených a volných procesorů ve frontě _solid_ / _isolid_ 
   * Graf č.2 - počet běžících a čekajících úloh ve frontě _solid_ / _isolid_
   * Graf č.3 - podrobnější rozpis obsazených procesorů ve frontě _solid_ / _isolid_
      * __Job-busy__ - procesory obsazené úlohami
      * __Job-exclusive__ - procesory nedostupné z důvodu rezervace celého výpočetního uzlu pro jednu úlohu
      * __Offline__ - procesory nedostupné z důvodu nastavení výpočetního uzlu do stavu offline (provádění testů, instalace nového softwaru apod.)
      * __Down__ - procesory nedostupné z důvodu hardwarové závady na výpočetním uzlu

Odkazy na grafy jsou v následující tabulce:

| *Časový průběh* | *Fronta _solid_* | *Fronta _isolid_* | 
| poslední 2 hodiny | [[http://hpv2.farm.particle.cz/~uhlirova/solid_hour.html][zde]] | [[http://hpv2.farm.particle.cz/~uhlirova/isolid_hour.html][zde]] |
| posledních 24 hodin | [[http://hpv2.farm.particle.cz/~uhlirova/solid_day.html][zde]] | [[http://hpv2.farm.particle.cz/~uhlirova/isolid_day.html][zde]] |
| posledních 7 dní | [[http://hpv2.farm.particle.cz/~uhlirova/solid_week.html][zde]] | [[http://hpv2.farm.particle.cz/~uhlirova/isolid_week.html][zde]] |
| poslední 4 týdny | [[http://hpv2.farm.particle.cz/~uhlirova/solid_month.html][zde]] | [[http://hpv2.farm.particle.cz/~uhlirova/isolid_month.html][zde]] |

[[#MyAnchor][Zpět]]


---++ 6. Seznam uživatelů subclusteru David

| *User ID* | ** |
| cesar | Cesar Gonzalez |
| chlan | Vojtěch Chlan |
| drchal | Václav Drchal |
| fuksa | Jiří Fuksa |
| goykolov | Dmitrij Goykolov |
| hapala | Prokop Hapala |
| jelen | Pavel Jelínek |
| kamien | Wojciech Kaminski |
| knizek | Karel Knížek |
| kotrla | Miroslav Kotrla |
| kratky | Michal Krátký |
| kudrnovj | Josef Kudrnovský |
| maca | František Máca |
| malekj | Jiří Málek |
| mutombo | Pingo Mutombo |
| novakmat | Matyáš Novák |
| novakp | Pavel Novák |
| ondracek | Martin Ondráček |
| rusz | Jan Rusz |
| shick | Alexander Shick |
| sipr | Ondřej Šipr |
| svab | Jan Šváb |
| uhlirova | Jana Uhlířová |
| vroz | Vít Rozsíval |

_Poslední aktualizace seznamu 21.7.2008_

[[#MyAnchor][Zpět]]


-- FZU.JanaUhlirova - 01 Jul 2008
Webs
ATLAS
AUGER
FZU
ILC
Sandbox
TWiki
VS
Copyright &ÂŠ by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback