Text popisuje stav fyzické vrstvy sítě ve 3. čtvrtletí 2007 a má sloužit pro informaci správě ústavu, expertní komisi, případně dalším zájemcům.
Koncepce přechodu na gigabitovou páteř, popsaná v textech
pro Cukrovarnickou a
pro Slovanku z března a února 2003 byla postupně realizována v letech 2003 - 2005,
malé rozšíření proběhlo ještě loni. Nyní by mohl být příhodný čas pro posouzení jak se koncepce osvědčila, případně pro přemýšlení o dalším
rozvoji v budoucnosti.
Shrnutí
Fyzická vrstva sítě je tvořena strukturovanou kabeláží kategorie 5 a 5e, výjimečně 6 (nové rozvody v teoretickém oddělení v ÚTIA).
Kromě rozvodů v Sekci optiky a v ÚTIA je většina 8 žilových kabelů použita pro dvě přípojná místa, tj. vyhovuje pro rychlý ethernet
(100Mbps), nikoliv pro gigabitový ethernet. Přípojných míst je dohromady kolem 1850. Pro připojení vzdálených míst jsou použity mnohavidové
i jednovidové světlovody.
Všechny aktivní prvky umožňující vzdálenou správu jsou moderní spolehlivé přepínače Cisco (72 kusů). Pro občas potřebné zvýšení počtu
přípojných míst jsou v jednotlivých místnostech použity jednoduché a levné 5 a 8 portové přepínače D-LINK.
Díky centrálním gigabitovým přepínačům se významě zvýšila propustnost sítě a byla odstraněna slabá místa. Protože umožňují přepínání na
3. vrstvě (routování), mohli jsme zavést virtuální sítě s privátními adresami a tak odstranit naléhavý nedostatek veřejných IP adres.
Jejich pokročilé vlastnosti umožnily zavést opatření pro zvýšení stability a bezpečnosti (filtraci DHCP a ARP protokolů). Zároveň jsme tím
získali nástroj pro lokalizaci zdrojů broadcastových bouří, které tak můžeme eliminovat.
Pokračoval vývoj systému pro správu sítě založený na databázi MySQL a skriptech PHP, který umožnil zavedení omezené přenositelnosti notebooků
v rámci jedné sítě, poloautomatické přidělovaní krátkodobých IP adres, zjištění stavu portu uživatelem, a další funkce. Pokračovala snaha
o zlepšení informovanosti uživatelů pomocí webu, napsali jsme např. soubor odpovědí na často kladené otázky.
Do provozu byla uvedena experimentální radiová síť WiFi pro jedno oddělení. Na základě získaných zkušeností připravujeme její rozšíření do
zasedacích místností, pokrytí celých areálů radiovým signálem nedoporučujeme.
Do provozu byl uveden systém Cirrus pro správu konfigurací a SW vybavení přepínačů od firmy SolarWinds. Dobře se osvědčuje. Používáme ho i pro
udržování aktuální konfigurace v náhradních přepínačích připravených pro případ poruchy centrálních přepínačů. Pro monitorování
sítě používáme již delší dobu jiný systém téže firmy.
Předpokládáme, že současná technologická úroveň fyzické vrstvy sítě FZÚ bude dostatečná alespoň v následujících 3 - 4 letech.
Topologií sítě je vícenásobná hvězda kombinovaná se sběrnicí. Středem sítě je centrální routující přepínač C, tvořící
tzv. kolabovanou gigabitovou páteř. Několik agregujících přepínačů A tvoří na vhodných místech podružná centra. Na okrajích sítě
jsou distribuční přepínače D , v případě potřeby zapojené do sběrnice. Na ně se připojují stanice.
Následující obrázek znázorňuje zjednodušeně použitou topologii. Ve skutečnosti je v každé lokalitě kolem 30 - 40 přepínačů uspořádaných
do 16 nebo více nezávislých gigabitových segmentů.
Kolabovaná gigabitová páteř (C) je na Slovance tvořena dvěma spřaženými přepínači C3750G-24TS-S s celkem 52 gigabitovými porty.
Spřažení (stack) má tu výhodu, že je odolnější proti výpadku. Porucha jednoho přepínače neznamená ještě rozpad celé sítě.
Podle toho, který přepínač by se rozbil, mohla by být funkčnost sítě jen více či méně omezená.
Stále ještě zůstávají samozřejmě mnohé prvky nezdvojené, např. hraniční routery, login servery atp.
Náhrada případně porouchaného přepínače by byla rychlá - konfigurace je
uložena shodně na obou přepínačích, takže oprava by spočívala v připojení nenakonfigurovaného přepínače místo vadného.
Vzájemné spojení spřažených přepínačů tvoří dvě nezávislé linky, každá s přenosovou kapacitou 16 Gb/s.
Stack umožňuje také redundantní připojení agregujících nebo distribučních přepínačů více linkami na více centrálních přepínačů
(v našem případě dvěma linkami na dva přepínače). V případě výpadku jedné linky nebo jednoho centrálního přepínače zůstane konektivita
zachovaná.
Stack s přepínači připojenými zdvojenými linkami (v naší síti zatím nejpokročilejší topologie) znázorňuje následující obrázek.
Vedle je tabulka takto zapojených přepínačů.
Dalším kandidátem na takové připojení je agregační přepínač ss-a2p7 pro hlavní budovu na Slovance.
Tam, kde by se nedaly připojit linky na různé přepínače ve stacku, připojení distribučního nebo agregujícího přepínače dvěma
(teoreticky až osmi) paralelními linkami k centrálnímu přepínači nepoužíváme. Ukázalo se, že zvýšení přenosové kapacity tímto způsobem zatím
nepotřebujeme, resp. při pokusech se neprokázal žádný příznivý účinek na ostře sledovaný parametr "zahozené pakety". Naopak chyba
v implementaci paralelních linek (výrobcem přiznaná) neumožňuje na takto zapojených přepínačích spustit užitečné potlačení provozu
z neautorizovaných DHCP serverů. Proto zapojení podle následujícího obrázku nepoužíváme, nepřináší odolnost proti výpadku centrálního
přepínače, ani využitelné zvýšení kapacity.
V Cukrovarnické je kolabovaná gigabitová páteř tvořena jedním přepínačem C3560G-24TS s celkem 28 gigabitovými porty. Je to až na možnost spřahování
stejný typ, jako na Slovance.
První rozdíl je nasnadě - nominální přenosová rychlost se zvýšila o řád, souhrnná dosažitelná přenosová kapacita sítě ještě více díky
většímu počtu nezávislých segmentů.
Průměrné denní zatížení procesorů centrálních přepínačů se pohybuje kolem 6%, ve špičkách kolem 10%
v Cukrovarnické, do 20%
na Slovance.
Co se má rozumět špičkovou hodnotou není stoprocentně jasné, domnívám se, že je to maximální hodnota klouzavého pětiminutového průměru
v daném dni. Nejzatíženějšími porty jsou na Slovance port pro připojení
farmy a routeru do Pasnetu, v Cukrovarnické
obdobně port pro připojení routeru do Pasnetu. Z grafů je vidět, že přenosová kapacita
je dostatečná i ve špičkách. Trend za poslední roky naznačuje, že by měla stačit i pro řadu dalších roků.
Druhým důvodem pro vybudování gigabitové páteře bylo zahazování paketů na centrálních přepínačích. Tento jev se nyní na centrálních
přepínačích vůbec nevyskytuje, viz statistiky za poslední období (cca 4 měsíce):
Statistika chyb centrálního přepínače v Cukrovarnické
První řádky dokládají dobu běhu od posledního nulování čítačů.
Následuje výběr ze statistik jednotlivých rozhraní přepínače podle klíčového slova "ignored", což je
parametr znamenající celkový počet zahozených paketů od posledního nulování.
Další tabulka ukazuje jiný pohled na souhrnnou statistiku chyb rozhraní a vybrané aktuální hodnoty provozu.
Údaj 1353 resp. korelující údaj 1321 ve sloupci IQD (pakety ztracené ve vstupní frontě) u rozhraní 0/7 resp. Vlan100 ukazuje na
nějakou nepravidelnost v provozu od hraničního routeru.
Když se podíváme na grafy, které zobrazují uvedené proměnné v čase, tak vidíme,
že jde o izolované jevy a vzhledem k celkovému počtu přes 4*10^9 přenesených paketů to není příliš významné.
Nicméně to stojí za pozornost a sledování. Delší a intenzivnější výskyt chyb v okolí začátku dubna byla broadcastová bouře, kterou jsem
lokalizoval do jednoho zastaralého Linuxu a reinstalací systému byla příčina odstraněna. Tyto chyby už byly z numerické statistiky
vymazány. Vysvětlení termínu broadcastová bouře a pokus o vysvětlení rozdílu mezi parametry IQD a ignored můžete najít
tady.
Statistika chyb spřažených centrálních přepínačů na Slovance
První řádky dokládají dobu běhu od posledního nulování čítačů.
Následuje výběr ze statistik jednotlivých rozhraní přepínače podle klíčového slova "ignored", což je
parametr znamenající celkový počet zahozených paketů od posledního nulování.
Další tabulka ukazuje jiný pohled na souhrnnou statistiku chyb rozhraní a vybrané aktuální hodnoty provozu.
Údaj 70383 ve sloupci IQD (pakety ztracené ve vstupní frontě) u rozhraní Vlan200 je následek broadcastové bouře, kterou jsem po delším
pátrání lokalizoval do jednoho stroje s Linuxem.
Průběh a intenzitu bouře můžeme vidět na grafu.
Příčina už byla nalezena a odstraněna. Vysvětlení termínu broadcastová bouře a pokus o vysvětlení rozdílu mezi parametry IQD a ignored
můžete najít
tady.
Díky výkonným centrálním přepínačům, které přepínají i na vrstvě 3 (routují), bylo možné zavést privátní virtuální sítě uvnitř FZÚ, a tak
odstranit již velmi naléhavý nedostatek volných IP adres. Stabilita sítě byla vylepšena opatřením proti neautorizovaným DHCP serverům.
Její bezpečnost byla zvýšena zavedením kontroly ARP protokolu.
Obecně lze říci, že s výkonností a stabilitou sítě nejsou problémy žádné. Pozornost věnuji občasnému zahazování paketů na linkách
k distribučním přepínačům a mezi nimi. Příčiny jsem zatím nezjistil, zřejmě budou na různých místech různé. Jev sleduji na grafech
programu pro dozor nad sítí, pro tento text a svůj vlastní přehled jsem připravil tabulky týdenního automatizovaného čtení sledovaných
parametrů z řádkového rozhraní:
Tabulky zahazování paketů na distribučních přepínačích
v Cukrovarnické a
na Slovance ukazují, že k zahazování dochází jak na prvních přepínačích ve sběrnici,
což by se dalo předpokládat vzhledem k tomu, že vstupní port sběrnice bude nejspíš nejzatíženější, tak na přepínačích izolovaných.
(Sběrnicí se tady rozumí několik přepínačů spojených svými gigabitovými porty do série.)
V Cukrovarnické se dokonce občas zahazovalo uprostřed sběrnice (na přepínačích cs-c1p2 a cs-cp2).
Na některých sběrnicích se nezahazuje nikdy. Jev není zatím příliš rušivý, poměr zahozených k přeneseným paketům je v nejhorším případě
na Slovance 5,6*10^-4 .
V Cukrovarnické je nejhorší chybovost 2,5*10^-5 (tuhle linku sleduji už delší dobu a přes různá opatření má stav zhoršující se
tendenci. Pokud budou síly a čas stačit, budu tuhle linku řešit přednostně.
Nabízí se otázka, zda už dozrává čas pro další zvýšení nominální rychlosti o řád, tj. gigabitové spojení ke stanicím a 10 gigabitovou páteř.
Domnívám se, že vzhledem k současnému zatížení sítě a jeho dlouhodobému trendu, provozovaným aplikacím, rychlosti současných počítačů
a cenám na trhu zatím ne. Přechod na 10 gigabitovou páteř by si vyžádal nejen nové velmi drahé přepínače do centra (řádově za jednotky
milionů Kč), ale i výměnu kabelů páteře za světlovody. Jeden optický transceiver pro 10 Gbps přitom stojí kolem 60 kKč a na jednu
linku jsou potřeba dva. Kromě toho by bylo potřeba vyměnit resp. přepojit většinu kabelů od distribučních přepínačů k zásuvkám v místnostech,
protože jsme z důvodu úspory nákladů a dimenzování průrazů používali jeden kabel k připojení dvou zásuvek 10/100 Mbps.
Takové zapojení pro rychlost 1 Gbps nevyhovuje. Náklady na překabelování celého ústavu je možné odvodit ze stejné akce v ÚTIA, kde proběhla
nedávno kvůli plánované výměně obvodových panelů budovy. Podle informace ing. Vaníčka z ÚTIA byla cena jednoho přípojného místa v kategorii 6 cca
3600,- Kč. V současné době je instalováno cca 750 přípojných míst v Cukrovarnické a cca 1100 na Slovance. Předpokládám, že se současnou technologií
vystačíme dalsí 3 až 4 roky.
