Hlavní navigace

100 gigabitů: český test nejrychlejší optické technologie

10. 7. 2012
Doba čtení: 8 minut

Sdílet

Dlouho byly standardem pro rychlé optické spoje gigabitové a desetigigabitové sítě. Nové internetové aplikace ale stále více vytěžují páteřní spoje, kterými tečou stále větší kvanta dat. Svět proto netrpělivě (a dlouho) čekal na sto gigabitů. Dočkal se až letos a Češi byli mezi prvními, kteří měli možnost si sáhnout.

Český peeringový uzel NIX.CZ (viz náš článek Na návštěvě v srdci českého internetu NIX.CZ) je poměrně významným evropským internetovým uzlem. Přípojky do něj mají celkovou kapacitu přesahující jeden terabit a během dne přes uzel teče trvale asi 150 Gb/s dat. Některé firmy jsou do NIXu připojeny několika agregovanými desetigigabitovými spoji, které už postupně přestávají stačit. Řešením je přidávání dalších vláken a karet, ale i to má své nevýhody. Proto trh už netrpělivě čekal na příchod desetkrát rychlejší technologie, která nyní konečně nastupuje.

Adam Golecký, technický ředitel NIX.CZ

NIX.CZ měl možnost jako jedna z prvních organizací testovat nové prvky od společnosti Cisco v reálném provozu. Samozřejmě nás taková novinka zajímá, takže jsme český peeringový uzel navštívili a chtěli jsme znát detaily. Odpovídal nám Adam Golecký, technický ředitel NIX.CZ.

Pokud chcete vidět víc obrázků nové karty i dalšího zařízení peeringového centra NIX.CZ, navštivte naši fotogalerii. Tam je i to, co se do článku už nevešlo.

100 gigabitů trvalo deset let

Čekání na stogigovou technologii bylo opravdu dlouhé a trvalo přesně deset let. V roce 2002 přišel na trh 10GE a od té doby až do dneška vůbec nic. Objevila se sice přechodná 40GE varianta, ale ta se používá spíše pro lokální propojení switchů v rámci jednoho uzlu, vysvětlil Golecký. Navíc 40GE přišel poměrně těsně před 100GE, takže se ještě nestihl v praxi příliš rozšířit a je otázkou, zda neskončí v propadlišti dějin. Řada výrobců i uživatelů 40GE úplně ignoruje a čeká rovnou na stovku.

Jak nám na začátku Adam Golecký vysvětlil, český NIX byl jednou z mála organizací na světě, která měla možnost jako první si novou techniku osahat v praxi. Karty jsme dostali k testům ve fázi, kdy byl jejich vývoj ukončen, ale na volném trhu se ještě neprodávaly. Tím se NIX mohl zařadit na druhou pozici pomyslného závodu v zavádění 100G ve světovém peeringu, řekl nám Golecký. V Amsterodamu v AMS-IX byli první a my hned za nimi.

Pohled na část karty a 100GE transceiver

Proč právě český NIX? Pro Cisco jsme velmi významná reference, stejně jako Telefónica. Dostali jsme tedy dvě karty na test a podmínkou bylo, abychom po nějakou dobu dodrželi informační embargo a abychom dodali zpětnou vazbu. Když objevíme nějaký problém, abychom ho Cisco nareportovali. Podmínky tedy byly velmi jednoduché, vysvětlil Adam Golecký.

Rovnou na bojiště

Testování probíhalo v reálném provozu proti síti Telefónica ČR, se dvěma různými switchi i různými 100GE kartami. Na naší straně běžel náš centrální switch Cisco Nexus 7000, na straně Telefóniky byl router Cisco CRS-3, což je nejnovější vlajková loď společnosti Cisco. V ní byla zapojena jednoportová karta, my jsme měli variantu se dvěma porty, popsal Golecký detaily týkající se použitého hardware.

Čelní panel switche se 100GE kartou (uprostřed)

Test samotný pak byl rozdělený do několika samostatných fází. Nejprve jsme vyzkoušeli funkčnost propojení a zkoušeli jsme generovat umělý provoz. K tomu jsme měli zapůjčené dva 10GE generátory JDSU schopné zpětně provoz analyzovat. Dokázali jsme tedy vytvářet 20 gigabitů dat a posílat je na druhou stranu, vysvětlil Golecký první fázi testu. Data se posílala na druhou stranu, tam se jen otočila a proudila zpět, celkem jsme tedy v obou směrech měli 40 gigabitů generovaného provozu.

Schéma zátěžového testu s generátory

Tento umělý zátěžový test běžel bez několika hodin nepřetržitě tři dny. Testovali jsme zároveň IPv4 i IPv6 streamy, vždy deset a deset. Po třech dnech jsme vyhodnotili výsledky a neobjevili jsme žádné chyby, takže jsme mohli postoupit do další fáze, říká Golecký.

Grafy testu s generátory (zelená směr NIX-TO2, modrá zpět)

Ve druhé fázi se přidal další prvek, který dovoloval přiblížit se k reálným provozním podmínkám v peeringovém centru.Jedná se o klasický Cisco router 7206 VXR, do kterého ale můžeme dát speciální image a proměnit jej v generátor BGP session. Kromě generovaného provozu jsme tedy posílali i BGP, podobně jako to běží v NIXu. V této fázi se také nevyskytly žádné potíže.

Router  Cisco 7206 VXR (uprostřed) upravený na generátor

Poté už nastoupil samotný živý test s reálným provozem, který doprovázely speciální podmínky. Používali jsme naše centrální switche Cisco Nexus 7000, ale nové karty jsme měli v samostatném šasi, aby v případě problémů neovlivnily zbytek provozu. Je to prakticky stejné šasi obsahující stejný hardware, ale má o jeden slot méně. Kdyby došlo k problémům se samotnou kartou, byl by vyřazen jen postranní switch a do provozu ostatních sítí by to nezasáhlo.

Schéma ostrého provozu s Telefónikou

Důležité také je, že test neprobíhal v rámci jedné budovy, ale na reálné trase po Praze. Telefónica měla svůj router na Olšanské nahoře na Žižkově a trasa mezi námi měla asi 6,5 kilometru. Telefónica dokonce počítá s tím, že pak při reálném trvalém nasazení použije právě tuto trasu, říká Adam Golecký. Použité lasery v traisceiveru mají garantovaný dosah na 10 kilometrů.

Telefónica pak za svůj switch připojila skutečně všechny své zákazníky a stejně tak NIX připojil přes své zařízení ostatní sítě. Nejprve jsme navázali BGP session našeho AS, za kterým jsou schované služby NIXu, ale třeba i DNS servery, které u nás mají různé zahraniční společnosti jako EURid, VeriSign, Belgie, Litva, Polsko a další. Tady jde celkem asi jen o 5 megabitů provozu, ovšem jde o specifický DNS provoz. Ukázalo se, že vše zatím běží bez problémů.

V dalším kroku se připojilo další AS, ve kterém jsou route servery. Ty slouží ke zjednodušení konfigurace připojení nových sítí. Těm stačí navázat BGP spojení jen s route serverem, který automaticky vrací všechny prefixy dalších sítí, které už jsou k němu připojené, nechal nám Golecký nahlédnout i do provozu NIXu. Přibližně dvě třetiny sítí v NIXu už tyto servery používají, takže stačí navázat jedno spojení a máte k dispozici podstatnou část ostatních sítí.

Graf týdenního provozu 100GE karty (modrá download zákazníků TO2, zelená upload)

Poté následoval poslední krok, kdy se připojila celá Telefónica, která přes nový spoj začala posílat veškerá svá data pro ostatní sítě. V tomto zapojení běžely switche přesně týden – od pondělí od pěti hodin od rána. V průměru linkou teklo asi 20 gigabitů provozu. Během testu se na nové trase neobjevily žádné chyby. Na počítadlech naskočilo několik chybných paketů, ale ty vznikají vždy ve chvíli, kdy se vytahují nebo zasouvají konektory a je to normální, vysvětlil nám čísla Golecký.

Výsledná statistika, všimněte si dvou ztracených paketů

Přestože byli zákazníci připojení touto „experimentální“ linkou, bylo vše zařízeno tak, aby v případě problémů nic nepocítili. Zrušili jsme linku čtyřikrát deset do Sitelu a nahradili ji stovkou, ale pořád ještě běžela linka čtyřikrát deset do věže ČRA. Pokud by došlo k problémům a linka by vypadla, Telefónica měla připravený dohled, který by provoz přeposlal funkční trasou, vysvětlil Adam Golecký záložní plány. Žádné drama ale nakonec nenastalo a sítě fungovaly hladce.

V poslední fázi testu byl použit generátor společnosti IXIA, který dokázal vygenerovat 100gigabitový provoz. Tak jsme zkoušeli skutečně plnou zátěž. Do jednoho našeho portu jsme připojili generátor, provoz jsme posílali do Telefóniky, která nám ho zase vracela zpět. Oba směry jsme tak měli naplno vytížené, říká Golecký.

100GE generátor IXIA

Tento test probíhal jen jeden den, zkoušely se při něm různé varianty nastavení, ale na grafech je patrné, že pásmo bylo skutečně vytíženo.

Jednodenní test s generátorem IXIA (zelená směr NIX-TO2, modrá zpět)

Reálné nasazení už na podzim

Test byl tedy vlastně velmi úspěšný, podle Adama Goleckého se neobjevil žádný problém, který by bránil jejich nasazení. Tyto konkrétní karty máme jen zapůjčené, takže je musíme vrátit, ale uvažujeme, že už na podzim nasadíme vlastní. Právě Telefónica je žhavým kandidátem. V současné době je do NIXu připojená dvakrát 40 gigabitů.

Síť české Telefóniky dokáže tyto linky velmi slušně zatížit. Tady na reálném grafu vidíme, že včera byl fotbal a ve špičce linka přenášela 39,9 gigabitů, bylo tedy saturováno bezmala 50 % celkové kapacity. V krátkodobých špičkách už se jim daří čtyřicítku překračovat. V nejbližší době tedy můžeme očekávat navýšení o další pár desetigigabitových linek. S přechodem na stogigabit tak může ušetřit nemalé peníze. Finančně by připojení stovkou mělo vycházet jako připojení šest krát deset gigabitů. Pro takto velkou síť by to tedy mělo dávat smysl. Kandidátů na připojení 100GE je v NIXu více, Adam Golecký uvádí například UPC, Seznam.cz, CESNET, T-Mobile a další.

UX DAy - tip 2

Optika a optika

Další výhodou jedné rychlé linky je to, že odpadnou problémy s balancováním sloučených desítkových spojů. Mechanismy rozkládání provozu mezi více portů mají svá specifika, používá se při něm tříbitový hash, který rozdělí provoz vnitřně na osminy. Pokud bychom použili počet linek, který není dělitelný osmičkou, třeba šest, pak bychom měli čtyři hodně využité porty a dva málo. V takové konfiguraci není možné zátěž dobře rozložit, vysvětluje Golecký. Výhodné kombinace pro tříbitový hash jsou dvě, čtyři či osm linek. Cokoliv mezi sice pomůže, ale ne tak výhodně. Časem bude k dispozici novější firmware, který přejde na osmibitové hashe, kde bude dělení provozu podrobnější. Pak budeme moci používat libovolné počty linek a rozdíly už nebudou tak dramatické. U jedné budoucí stogigabitové linky ale tento problém zcela odpadá.

Historie vývoje optických modulů (zprava doleva)

Nespornou výhodou je také šetření nákladů na optických spojích. Když má operátor svá zařízení ve stejné budově, je cena za propoje poměrně snesitelná. Pokud ale musí pronajímat nenasvícené vlákno v zemi, náklady rychle rostou. Po Praze se podle Goleckého pronajímá jeden pár vláken za desítky tisíc korun a řada firem si nyní musí najmout párů několik. Deset krát deset gigabitů se pak výrazně prodraží, říká Golecký.

Karta pro 100GE i se dvěma CFP moduly

Byl pro vás článek přínosný?

Autor článku

Petr Krčmář pracuje jako šéfredaktor serveru Root.cz. Studoval počítače a média, takže je rozpolcen mezi dva obory. Snaží se dělat obojí, jak nejlépe umí.