Výměna síťových prvků
Propojovací centrum NIX.CZ se rozhodlo v letošním roce obměnit síťové prvky. Z velkých modulárních přepínačů Nexus 7700 přechází na menší 1U zařízení Nexus 9300. Nové prvky nabízejí ve velmi kompaktním rozměru osm 400GE linek a dvacet osm 100GE,
vysvětluje Marian Rychtecký, technický ředitel NIX.CZ. Předchozí velké přepínače Nexus měly na každé kartě jen dvanáct 100GE portů a karet bylo možné osadit osm.
Poprvé tak NIX.CZ používá 400GE linky, zatím jen na propojení dvou lokalit. V části infrastruktury si pronajímáme jednotlivá vlákna a za každý pár platíme, takže nás zajímá, jak ušetřit,
vysvětluje Rychtecký. Navýšení kapacity tak umožňuje použít méně vláken, ušetřit na jejich pronájmu a zjednodušit celé zapojení.
Pro období migrace byly zapojeny dva nové centrální prvky, které jsou propojené s těmi původními a zatím přes ně teče částečný provoz. Chystáme se přístupové přepínače postupně přepojit z původní infrastruktury na novou,
vysvětluje Rychtecký. Máme v plánu to udělat úplně bezvýpadkově, ale vyžaduje to ještě nějaké zkoušky a přípravu.
Poté budou dva původní přepínače Nexus odpojeny.
Podívejte se, jak vypadají původní přepínače Nexus 7710:
Přepínače stejné řady Nexus 9300 jsou pak nasazeny také na Slovensku. Tam zatím nepotřebujeme 400GE síť, takže jsme dali přednost modelům, které mají třicet šest 100GE portů.
Do nich budou připojeny klientské prvky, které mají čtyřicet osm 25GE portů a dvanáct 100GE. Jak budou přibývat přípojky, budeme kaskádovitě přidávat další přístupové prvky a připojíme je do centra sítě.
Na Slovensku bude také rozšířena třetí lokalita, která byla doposud připojena pasivně. Od začátku jsme předpokládali, že pokud bude o připojení velký zájem, můžeme přidat síťové prvky a v Bratislavě tak vznikne třetí přípojný bod. Jelikož jsou nové prvky výrazně levnější, dává nám to smysl,
říká Rychtecký. Cena vytvoření nového přípojného místa klesla v průběhu několika let díky novým síťovým prvkům přibližně na třetinu.
Prohlédněte si nové prvky z řady Nexus 9300:
Rozšíření do Vídně
Úplně nová lokalita vzniká ve Vídni, takže se NIX.CZ po šesti letech rozšiřuje do další země. Jedna z našich linek z Prahy do Bratislavy vede fakticky přes Vídeň, takže ji tam chceme rozpojit a tím získáme z Vídně dvě samostatné linky – jednu do Prahy a jednu do Bratislavy,
vysvětluje záměr Rychtecký.
Původní nápad přišel přímo od sítí z Vídně, které měly zájem se připojit do Bratislavy. Obvykle jde o poskytovatele obsahu, kteří si postavili velký uzel ve Vídni a nedává jim smysl stavět druhý hned vedle v Bratislavě,
vysvětluje Rychtecký. Původně jsme tedy začali nabízet jen vzdálené porty jaku službu, kterou nám poskytovali místní operátoři.
Problém takového řešení je, že se staví obvykle několik měsíců, takže je to velmi neoperativní. Pak za námi přišli i zástupci vídeňského datacentra, že by byli rádi, kdybychom tam měli svůj uzel. Jelikož jsou nové síťové prvky cenově dostupné a jedna linka nám už přes Vídeň vede, rozhodli jsme se tam zřídit další lokalitu.
Schéma propojení jednotlivých lokalit Praha, Bratislava, Vídeň
Po dokončení připravovaných změn bude mít kruh Praha, Bratislava, Vídeň kapacitu dva krát 100GE. V současné době řešíme pronájem chybějících linek, aby byly veškeré propoje redundantní a nabízely dostatek výkonu. Zatím to bude konečné řešení, dokud nám mezi uzly nedojde kapacita,
popisuje Rychtecký.
Přechod na třetí vrstvu
NIX.CZ byl po celou dobu své existence postavený na přepínané síti, tedy druhé síťové vrstvě. Správa takové sítě ale není jednoduchá, provozovatel má jen velmi omezené možnosti v jejím řízení a brzy narazí na problémy se škálováním. Pak přišlo zadání, že budeme stavět kruhovou topologii a narazili jsme na problém. Jedna z větví takové topologie by vždycky byla blokovaná Spanning Tree a je to naprosto neřešitelné,
říká Rychtecký. Znamenalo by to například, že provoz z Bratislavy do Vídně by musel téci přes Prahu.
Na stole bylo několik variant řešení: segment routing, VXLAN, MPLS, EVPN a další možnosti. Rozhodli jsme se pro VXLAN, což je vlastně tunelování Ethernetu na třetí síťové vrstvě.
VXLAN zajišťuje zapouzdření rámců do IP vrstvy, přenos sítí je pak možné provést běžným způsobem. My jsme se rozhodli pro jednoduchost použít OSPF.
Použitá síť ale potřebuje kromě směrovacích tabulek znát také informace z původní druhé síťové vrstvy, aby bylo jasné, který provoz se má kam posílat. K tomu jsme použili EVPN, které využívá rozšíření protokolu BGP umožňující přenášet také informace o MAC adresách.
Směrovač se tedy na své straně naučí sadu používaných MAC adres a svým sousedům signalizuje jejich dostupnost. Vzniká tak vazba mezi druhou a třetí síťovou vrstvou a prvky si mohou pomocí unicastu přímo poslat provoz, který se po vybalení opět pošle do běžné ethernetové linky.
Původní optický modul (vpravo) pro 100GE v porovnání s tím současným.
V takové síti je potřeba také řešit provoz typu broadcast, unknown-unicast a multicast. Broadcast se posílá samozřejmě na všechny sousedy v EVPN síti, přičemž v BGP existuje speciální typ routy, kterým se přepínače informují o tom, jaká VLAN je v daném místě používaná. Tím se vlastně přepínač pomocí BGP přihlásí k odběru broadcastů pro danou VLAN. Pokud danou VLAN vůbec nepotřebuje, nemá smysl mu ji posílat.
Všechno tohle řízení ale probíhá jen na okrajích sítě, uvnitř jsou jen obvyklé jednoduché směrovače, které s pomocí OSPF předávají běžné IP pakety. K zabalení do VXLAN dochází na okraji sítě celé sítě, která je pro klienta zcela transparentní a stále se pro něj chová jako přepínaná síť. Po dokončení celého našeho plánu chceme mít VXLAN už na přístupových přepínačích a jádro sítě provozovat čistě jako IP síť. Dává nám to spoustu možností, můžeme třeba nezávisle propojovat různě vzdálené části sítě,
říká Rychtecký.
Technicky jde pro NIX.CZ o velkou změnu, protože doposud se vše odehrávalo jen na druhé síťové vrstvě. Museli jsme si toho všichni hodně nastudovat, naučit se spoustu nových termínů a ověřit, že všechno skutečně zvládneme,
uzavírá Rychtecký. Je to hodně změn najednou, ale budeme moci lépe škálovat a řídit provoz.
