Hlavní navigace

Stavíme privátní datový sál: upgrade a vyšší bezpečnost v jednom

27. 6. 2019
Doba čtení: 5 minut

Sdílet

Vybudováním privátního sálu v datovém centru nedojde ke zvýšení provozních nákladů na provoz infrastruktury. Naopak budeme mít možnost provozní náklady snižovat, protože v privátním sále budeme jediným subjektem.

Na úvod si dovolím popis současného stavu. Pro účely provozu infrastruktury (včetně infrastruktury registru .CZ domén a české části DNS anycastu) si sdružení pronajímá kapacity ve třech datových centrech:

  • DC TOWER Českých radiokomunikací
  • CE Colo
  • neveřejné lokalitě

Ve všech případech jsou naše technologie umístěny ve sdílených datových sálech, fyzické zabezpečení je provedeno pomocí zaklecování a upgrade není ani v jednom ze sálů možný.

V případě DC Tower a CE Colo jsme blízko vyčerpání kapacity týkající se místa, chlazení a napájení, respektive elektrického jištění. Zprovoznění velkých DNS stacků znamenalo instalaci nových racků v obou zmíněných datových centrech. V neveřejné lokalitě je ještě větší část kapacity volná a je tedy nyní nejčastěji využívanou lokalitou pro instalaci nových technologií.

Popis záměru

Pro potřebný upgrade kapacit jsme proto uvažovali různé možnosti, včetně budování zcela nové lokality, ale nakonec nám ze všech variant vyšlo jako nejvýhodnější vybudovat tzv. „privátní sál“ v datovém centru Českých radiokomunikací, protože po migraci do privátního sálu nedojde ke zvýšení provozních nákladů na provoz infrastruktury. Naopak budeme mít možnost provozní náklady snižovat. V privátním sále budeme totiž jediným subjektem, kromě provozovatele datového centra, který ovlivňuje efektivitu chlazení (koeficient PUE).

Lepší efektivitu chlazení (nižší PUE) docílíme již tím, že náš privátní datový sál bude postaven na principu teplé a studené uličky, budeme striktně zamezovat nežádoucímu míchání teplého a studeného vzduchu nebo tím, že budeme chladit na vyšší teplotu. Snižování PUE se okamžitě projeví na fakturaci za spotřebovanou elektrickou energii. Toho lze docílit ve sdíleném datovém sále velmi obtížně.

Podívejte se, jak vypadá rack naplněný technologií používanou v CZ.NIC:

V rámci DC TOWER jsme tedy začali budovat privátní sál, který nám poskytne o 50 % více místa v racích a téměř dvojnásobnou kapacitu napájení a chlazení. Privátní sál dál zvyšuje fyzickou bezpečnost naší infrastruktury, protože je „za zdí“ a zákazníci, kteří navštěvují sdílené prostory datového centra, ji vůbec neuvidí.

Na začátku června byly:

  • dokončeny hrubé stavební práce
  • nataženy silnoproudé rozvody
  • v rámci sálu připraveny žlaby pro vedení silnoproudu, slaboproudu i konektivit
  • vyrobeny a dodány jednotky UPS
  • dokončeny instalace potrubí chlazení s přípravou na následné napojení na jednotky CoolTop
  • hotové instalace pro vzduchotechniku
  • připraveny instalace zabezpečovacích zařízení
  • nainstalovány rozvody pro hašení a větší část s ním souvisejících technologií
  • dokončeny práce s podlahou, je položeno antistatické linoleum včetně uzemnění
  • připraveny trasy pro konektivity

V průběhu června jsme čekali na dodávku racků (dodavatel Conteg, konkrétně se jedná o racky 600×1200×52U a 800×1200×52U pro optimální využití prostoru) a celou řadu dalších kroků dle plánu a projektu.

Pokud nedojde k zásadnějšímu zpoždění, začneme začátkem července práce na zprovoznění síťové infrastruktury v privátním sále, která bude předcházet prvním fyzickým přesunům technologií. Jak v případě síťových prvků, tak v případě serverů, ale i dalšího vybavení datového sálu, provádíme generační obměnu technologií. Výsledkem bude 10G konektivita ke všem serverům, ale také 100G propojení lokalit. Jde tedy o upgrade i z tohoto pohledu.

Do konce roku bychom se v datovém centru Českých radiokomunikací rádi kompletně přesunuli do privátního sálu.

Kolik je 52U aneb jaké budeme mít racky

Instalace v privátním sále za poslední tři týdny výrazně pokročily, nejrozpoznatelnější změnou jsou nainstalované rackové skříně neboli racky neboli speciální skříně na IT technologie umístěné v datovém centru. A právě o nich bych rád dnes zmínil pár detailů. Nejdřív ale fotka, jak vypadal sál před instalací racků.


Jedním z cílů přechodu do privátního sálu (pro jedno datové centrum) bylo získání více prostoru pro umístění IT technologií. Při návrhu osazení sálu jsme se proto od začátku snažili, abychom poskytnutý prostor využili co nejlépe. Ve sdílených sálech je v lepším případě možné ovlivnit pouze velikost racků v půdorysu (šířku a hloubku), výška je definována sdíleným sálem. V případě nově budovaného privátního sálu tomu mohlo být jinak.

Na plochu sálu jsme tak rozmístili optimální kombinaci racků s šířkami 60 a 80 cm a hloubkou 120 cm. To by ještě nebylo tak neobvyklé, „šedesátky“ i „osmdesátky“ racky jsou běžný standard nebo spíš „šedesátky“ standard a „osmdesátky“ komfort – pro manipulaci v racku jsou rozhodně výrazně lepší. Větší odchylkou od běžného standardu je ale použitá výška racků, která je ve všech případech 52U, oproti nejčastěji využívaným 42U. „U“ znamená tzv. rack unit, tedy rackovou jednotku (1,75 palce – 44,45 mm), ve které se udává velikost zařízení umísťovaných do racků.

Právě těch 10U navíc u všech devíti nově instalovaných racků nám dává požadovaný upgrade o více než 50 % kapacity privátního sálu oproti výchozímu stavu se sedmi racky po 42U. Využití 52U racků je možné proto, že máme v privátním sále „vysoko do stropu“. V podstatě jde o podobný princip jako při stavbě výškových budov, kdy se na metr čtvereční vejde daleko více bytů, kanceláří atd. Rozmístění racků v sále je na následujícím schématu.


Vyšší racky si vynucují specifický přístup, třeba v tom, že běžný smrtelník s průměrnou výškou (tj. třeba já) bude muset pro práci ve vyšších sférách racku vždy využívat schůdky. Vzhledem k tomu, že většina technologií se instaluje na období řádu let, je tato „komplikace“ určitě akceptovatelná. A nejen to, třeba takový kolega Vašek Steiner s výškou přes 200 cm, tyto malicherné problémy třeba vůbec neřeší.


Zcela konkrétně máme v novém sále tři racky Conteg RSF-52–60/12A-WWFWA-2EF-H a šest racků Conteg RSF-52–80/12A-WWFWA-2EF-H s vertikálními vyvazovacími panely HDWM-VMR-42–19/10F a HDWM-VMR-48–12/10F a horizontálními vyvazovacími panely HDWM-VMR-48–12/10F. Vyvazovací panely jsou velmi důležitou „bižuterií“ racků, kterou pečlivě vybírala kolegyně Irča Hovorková.

Panely nastavují standard pro budoucí vnitřní uspořádání technologií v racku a výrazně ovlivňují efektivitu chlazení. Neméně důležité je i další vnitřní uspořádání v racku; budeme mít tandem PDU na jedné straně, vyvazovací panel na druhé. A pozor, určitě není možné zapomenout ani na uspořádání otevírání dveří racků.

root_podpora

Níže jsou reálné fotografie ze sálu, na kterých jsem se snažil znovu zdůraznit výšku racků a neukázat podlahu, kde je ještě spousta kartónů. Přeci jen, práce se zprovozněním sálu ještě nejsou dokončeny. V řádu hodin budou instalovány klimatizační jednotky nebo budou racky osazeny napájecími jednotkami PDU. K nim a dalším technologiím se ale dostaneme zase příště.



(Původně napsáno pro blog CZ.NIC.)

Byl pro vás článek přínosný?

Autor článku

Pracuje v CZ.NIC jako technický ředitel a je odpovědný zejména za provoz a rozvoj registru doménových jmen a mojeID.