4. Ostatní

Jak si mám změnit login shell?

A: Přihlašte se na golias.farm.particle.cz a pomocí příkazu chsh si změňte login shell. Do půl hodiny změna automaticky proběhne i na strojich ui2 a prak3.

Zpět

Může se na výpočetním uzlu, který je ve stavu offline, spustit úloha?

A: Memůže. Na výpočetním uzlu, který je ve stavu offline, se žádná další úloha nespustí. Pouze doběhnou úlohy, které na něm už běží.

Zpět

Proč hodnota walltime neodpovídá skutečnému času?

Proč hodnota walltime uvedená pro moji úlohu neodpovídá skutečné?

A: Kvůli efektivnějšímu fungování fairshare (automatické přidělování výpočetních zdrojů na základě propočítaného času) byly u všech výpočetních uzlů nastaveny multiplikátory, kterými je násoben jednak cput - čas, který úloha zabrala na daném procesoru, jednak walltime - skutečný čas, po který úloha obsazovala výpočetní uzel. Multiplikátory vyjadřují poměr výkonu daného výpočetního uzlu vůči referenci, kterou je stroj typu dl140. Proto hodnoty cput a walltime uvedené pro danou úlohu neodpovídají skutečným hodnotám. Je třeba si je příslušným multiplikátorem přepočítat. Přehled multiplikátorů pro různé typy strojů je uveden zde.

Zpět

Upozornění:

Dne 17.11.2008 bude prak2.farm.particle.cz přeinstalován a nebude možné se na něj dále přihlašovat. Pro login uživatelů na farmu Goliáš jsou určené servery ui2.farm.particle.cz a prak3.farm.particle.cz.

Jak změním svoje přístupové heslo?

Vzhledem k tomu, že systém LDAP ještě není nainstalován na všech uzlech, uživatelská data se zatím berou z goliase. Pokud si tedy heslo změníte na libovolném ldapizovaném uzlu, změní se automaticky na ostatních ldapizovaných uzlech, ale nejpozději do jedné hodiny se přepíše heslem nastaveným na goliasi. Proto změnu hesla musíte také provést na goliasi. Heslo si můžete měnit podle vlastního uvážení. Zatím nejsou stanovené žádné časové lhůty.

Novinky:

-l select=[N:] chunk [+[N:] chunk ...]

Pokud N není uvedeno, dosadí se automaticky hodnota 1.

Počet požadovaných procesorů na jednom uzlu se zadává specifikací ncpus. Dva výpočetní uzly a na každém dva procesory zadáte specifikací

Jak si mám rezervovat jeden výpočetní uzel se třemi procesory na 100 hodin skutečného času?

• -m o jakých událostech dostávat e-mail

Chci dostávat e-mailem informaci o případném přerušení úlohy.

A: Nejprve si v domovském adresáři /home vytvořte soubor .forward a do něho napište seznam e-mailových adres, na které chcete zprávy posílat.

V příkazu qsub si pomocí parametru -m zvolte, o jakých událostech chcete dostávat e-mail:

• a (abort) zpráva o přerušení úlohy
• b (begin) zpráva o spuštění úlohy
• e (end) zpráva o ukončení úlohy

Např. chcete-li zprávu o spuštění, ukončení i případném přerušení úlohy, zadáte

qsub -q <jméno fronty> -m abe [-l <seznam požadavků na výpočetní zdroje>] <váš skript>

Pozn.: Pokud nemáte vytvořený soubor .forward, můžete e-mailovou adresu specifikovat přímo v příkazu qsub dalším parametrem -M <e-mailová adresa>.

qsub -q <jméno fronty> -m abe -M <e-mailová adresa> [-l <seznam požadavků na výpočetní zdroje>] <váš skript>

Zpět

Jaké datové prostory jsou na farmě Goliáš k dispozici?

qstat -q

Základní informace o rozdělení front naleznete zde.

• -o kam uložit výstupní soubor stdout (standardně se stdout ukládá do adresáře, ze kterého byl spuštěn příkaz qsub)
• -e kam uložit chybový soubor stderr (standardně se stderr ukládá do adresáře, ze kterého byl spuštěn příkaz qsub)
• -l požadavky úlohy na
  • vlastnosti uzlu (např. typ model=, operační systém bits=, ... )
  • zdroje (např. počet uzlů select= , počet procesorů na jednom uzlu ncpus=, množství skutečného času walltime=, velikost paměti mem=, ... )

man pbs_resources

Podrobné informace o příkazu qsub jsou zde nebo na manuálové stránce

FAQs - Časté dotazy uživatelů

Seznam otázek

Jaké jsou v adresáři /home limity?

Jak zjistím, kolik mám ještě v adresáři /home volného místa?

Jak mám požádat o zvýšení limitu?

Které soubory jsou zálohované?

Jak můžu obnovit ztracený soubor?

Do jaké fronty mám úlohy posílat?

man qsub

Jak si mám rezervovat dva výpočetní uzly a na každém dva procesory?

A: Počet požadovaných výpočetních uzlů se zadává specifikací select, počet požadovaných procesorů na jednom uzlu specifikací ncpus.

qsub -q <jméno fronty> -l select=2:ncpus=2 <váš skript>

Zpět

Jak si mám rezervovat jeden výpočetní uzel na 100 hodin skutečného času?

A: Požadavek na množství skutečného času se zadává specifikací walltime.

qsub -q <jméno fronty> -l select=1:walltime=100:00:00 <váš skript>

Zpět

Jak mám spustit úlohu na konkretnim stroji (např. na stroji typu bl35p s 64bitovým OS)?

A: Požadavky na vlastnosti výpočetního uzlu se zadávají specifikací parametrů model a bits.

qsub -q <jméno fronty> -l select=1:model=bl35p:bits=64bit <váš skript>

Zpět

Jak mám spustit úlohu náročnou na paměť?

A: Úlohu náročnou na paměť je vhodné spustit na jednom samostatném výpočetním uzlu. Vyhrazení uzlu se zadává specifikací -l place=excl. Na daném uzlu tedy poběží jedna jediná úloha i v případě, že nejsou obsazené všechny procesory.

qsub -q <jméno fronty> -l select=1 -l place=excl <váš skript>

Zpět

Jak se zadává interaktivní úloha?

A: Interaktivní úloha se spustí pomocí přepínače -I. Získáte prompt shellu na přiděleném výpočetním uzlu. Z terminálu můžete zadávat příkazy. Po ukončení shellu bude úloha zrušena.

qsub -I -q <jméno fronty> [-l <seznam požadavků na výpočetní zdroje>]

qsub: waiting for job 1234567.golias to start

qsub: job 1234567.golias ready

[user@goliasN ~]$ ... příkazy ...

[user@goliasN ~]$ exit

logout

qsub: job 1234567.golias completed

Zpět

...

Struktura farmy Goliáš je stručně popsána zde.

Zpět

• Domovský adresář /home je vidět ze všech výpočetních uzlů. Je zálohován, jeho prostor je ale omezen kvótou.
• Lokální pracovní adresář /scratch existuje na každém výpočetním uzlu. Je vhodné ho používat pro ukládání mezivýsledků výpočtů, protože je k němu rychlejší přístup. Průběžně se promazává, není omezen kvótou. Podrobnosti zde.

Zpět

Zpět

3. Zadávání úloh do fronty

Zpět

Jakým způsobem se úloha do fronty zadává?

Úloha je v zásadě skript, který si předem připravíte a potom zadáte do fronty pomocí příkazu qsub.

qsub -q <jméno fronty> <seznam parametrů> <váš skript>

• Skript se spouští ve vašem domovském adresáři. Proto je třeba u všech příkazů, které nejsou v domovském adresáři, použít plnou cestu nebo příkaz cd.
• Při spuštění úlohy se v pracovním adresáři /scratch automaticky vytvoří podadresář /pbstmp.cislojobu.golias. Současně se vytvoří proměnná $TMPDIR, která do tohoto adresáře ukazuje. Proto je třeba ve skriptu pro uložení dočasných dat použít proměnnou $TMPDIR. Podadresář se po skončení úlohy automaticky smaže.

Podrobné informace o příkazu qsub naleznete zde.

2. Datové prostory

Jaké datové prostory jsou na farmě Goliáš k dispozici?

Uživatel má k dispozici domovský adresář /home a lokální pracovní adresář /scratch. Domovský adresář /home je vidět ze všech výpočetních uzlů. Je zálohován, jeho prostor je ale omezen kvótou. Lokální pracovní adresář /scratch existuje na každém výpočetním uzlu. Je vhodné ho používat pro ukládání mezivýsledků výpočtů, protože je k němu rychlejší přístup. Průběžně se promazává, není omezen kvótou. Podrobnosti zde.

ssh storage5 /usr/sbin/repquota -s /home

Podrobnější informace naleznete zde.

nwrecover

Dostanete grafické GUI k obnově.

Podrobnější informace naleznete zde.

Časté dotazy uživatelů

1. Nový uživatel

Jak mám zažádat o zřízení účtu na farmě Goliáš?

Pokud chcete pracovat na farmě Goliáš, musíte vyplnit Žádost o zřízení účtu. Žádost podepsanou Vašim nadřízeným zašlete v papírové formě na sekretariát Sekce fyziky elementárních částic FZÚ. Pro urychlení celé procedury můžete žádost poslat faxem (fax: 286 585 443) a originál doručit do čtrnácti dnů.

Na které stroje se můžu přihlašovat?

Přihlašujete se pouze na stroje prak2.farm.particle.cz a prak3.farm.particle.cz. V současné době si sám zvolíte, na který z praků se zalogujete.

Jak často mám měnit přístupové heslo?

Jakmile obdržíte e-mailem potvrzení o zřízení účtu, je nutné se přihlásit na prak2 a na prak3 a pomocí příkazu passwd změnit přístupové heslo. Heslo by mělo být silné, tzn. mělo by se skládat alespoň z 8 znaků a obsahovat malá a velká písmena, číslice a nealfanumerické znaky (např. %, &, *, # apod.). Heslo si můžete měnit podle vlastního uvážení.

Pozn.: Po instalaci systému LDAP bude každý nový uživatel při prvním přihlášení na kterýkoliv z praků automaticky vyzván ke změně hesla. Dokud si heslo nezmění, nebude mít možnost dále pracovat.

2. Adresář /home a /scratch

Jaké jsou v adresáři /home limity?

Rozlišujeme dva stupně limitu: soft limit a hard limit. V současné době je soft limit standardně nastaven na hodnotu 2GB, hard limit na hodnotu 2,5GB. Hard limit už překročit nelze.

Jak zjistím, kolik mám ještě v adresáři /home volného místa?

Při zalogování na prak2 se automaticky zobrazí velikost obsazeného prostoru a nastavené kvóty. Budete také upozorněn v případě, že jste už překročil soft limit.

Pozn. : Toto řešení je pouze dočasné. Výhledově bude uživatel upozorněn na překročení soft limitu e-mailem.

Jak mohu požádat o zvýšení limitu?

Pokud potřebujete v adresáři /home větší prostor, můžete požádat o zvýšení kvóty. Svou žádost náležitě odůvodněte a pošlete prostřednictvím e-mailu Janu Švecovi nebo Tomáši Koubovi.

Jsou soubory zálohované?

Zálohuje se pouze adresář /home, a to pomocí systému networker. Úplný backup probíhá jednou měsíčně a uchovává se po dobu 3 měsíců. Inkrementální (přírůstkový) backup probíhá denně (zálohují se jenom nové nebo změněné soubory).

Jak mohu obnovit smazaný soubor?

Pokud chcete obnovit ztracený soubor, musíte se zalogovat na prak2 nebo prak3 a potom se už bez hesla pomocí ssh přihlásit na storage5.

ssh storage5

nwrecover&

3. Zadávání úloh do fronty

Do jaké fronty mám úlohy zadávat?

...

Časté dotazy uživatelů

• Nový uživatel
  • Jak mám zažádat o zřízení účtu na farmě Goliáš?
  • Na které stroje se můžu přihlašovat?
  • Jak často mám měnit přístupové heslo?

• Adresář /home a /scratch
  • Jaké jsou v adresáři /home limity?
  • Jak zjistím, kolik mám ještě v adresáři /home volného místa?
  • Jak mohu požádat o zvýšení limitu?
  • Jsou soubory zálohované?

• Zadávání úlohy do fronty
  • Do jaké fronty mám úlohy zadávat?
  • ?

-- JanaUhlirova - 01 Jul 2008