Hlavní navigace

Stavba datacentra Kokura: když o stavbě rozhodují ajťáci

Petr Krčmář 14. 8. 2015

Seznam.cz se před časem přestěhoval do vlastního. Postavil si své datacentrum Kokura doslova na zelené louce. Díky tomu, že firma nechce prostory pronajímat, mohli o stavbě rozhodovat sami ajťáci. Nemuseli se ohlížet na obchodní nebo marketingové zájmy, ale postavili si datacentrum podle svého.

Seznam.cz před časem otevřel vlastní datové centrum Kokura. Začalo to v roce 2012, kdy jsme se začali zabývat možností stavby vlastního datového centra, řekl nám Vlastimil Pečínka, technický ředitel Seznam.cz. Na začátku celého projektu byl indikativní návrh jedné společnosti, která nabízela možnost přestavět starou budovu na datové centrum za 50 milionů korun. Šlo spíše o jeden datový sál než o celé datacentrum. Jeho kapacita měla být přibližně 90 racků, což se nám za tu částku zdálo neuvěřitelně drahé. Návrh zahodili a začali si vymýšlet, jaké datové centrum by rádi postavili na zelené louce.

Firma předem věděla, že nechce datacentrum pronajímat, ale chce jej používat pro vlastní potřeby. Nechceme z toho mít byznys, chceme jen datacentrum pro sebe a své servery. Od začátku tedy nebyl problém se sdílením všech informací a know-how se zbytkem IT komunity. Začaly tedy různé schůzky, prohlídky a vymýšlení konkrétních řešení. Paralelně jsme začali navštěvovat přednášky a konference, které se danému tématu věnovaly.

Společnost kontaktovala firmy Altron a Pronix a od nich na základě vlastních požadavků získala dvě nezávislé studie proveditelnosti. Chtěli jsme vědět, co je v českých podmínkách možné. Ukázalo se, že obě studie jsou si velmi podobné. Požadavky byly stanoveny na 2400 serverů pro 50 samostatných služeb. Věděli jsme, že se nám to vyplatí, protože PUE nám vyšlo na 1,2. Běžná hodnota tehdy byla přes 1,5. Návratnost investice měla být zhruba 6 až 8 let, přičemž provozně měla firma šetřit už od druhého roku. Vypadly z toho vizualizace, indikativní rozpočet (CAPEX) i odhad operativních nákladů (OPEX), energetická bilance, apod.

Co je to PUE?

PUE (Power Usage Effectiveness) neboli česky Indikátor energetické efektivity ukazuje, kolik ze spotřebované energie datacentra je využito IT vybavením a kolik zkonzumují podpůrné systémy. Jde jednoduše o poměr těchto dvou hodnot. Ideální PUE by bylo 1,0 a v takové situaci by byla veškerá energie používána pro provoz samotných serverů a síťových prvků. V praxi je ale nutné veškeré zařízení chladit, což přináší další energetické náklady. Obvykle se tedy PUE pohybuje mezi 1,1 až 1,5.

Zároveň bylo potřeba řešit, kde bude vlastně datacentrum stát. Ve finále jsme měli tři kandidáty a rozhodli se pro VGP Park, který vypadal nejpřipraveněji – existující územní rozhodnutí a dokonce stavební povolení na celý areál. Přesto ještě cca rok trvalo, než se veškeré „papírování“ dotáhlo do konce. Největší průtahy způsobovala státní správa. Nepřekvapuje mě, že třeba Amazon zastaví plány na stavby v Česku, protože to je neskutečné martyrium. Nejvíce problémů způsobovaly lhůty, které byly dále protahovány různým doplňováním informací a podobně. Celá stavba pak běžela velmi rychle a trvala přibližně tři čtvrtě roku.

Základní kámen v době poklepání. Dnes se nachází ve vchodu do
budovy.

Základní kámen v době poklepání. Dnes se nachází ve vchodu do budovy.

Počítáno bylo s tím, že v horizontu deseti let investice dosáhne 200 milionů korun ve čtyřech etapách. Nejprve jsme chtěli spustit jeden sál, později ho rozšiřovat, pak se přesunout do dalšího sálu a tak dále. Podle Pečínky se ale věci hýbou výrazně rychleji a už teď je celý první sál kompletně připraven a prakticky zaplněn. Během příštího roku bude zprovozněn celý druhý sál a už to nebudeme komplikovat etapami. Reálně tak bude většina peněz proinvestována už v příštím roce a po zprovoznění druhého sálu nejsou další velké investice v plánu.

Stavba samotná trvala jen devět měsíců: základní kámen byl položen 7. května 2014, úřední kolaudace proběhla 26. února 2015. Březen byl věnován zátěžovým testům a ladění technologie, od dubna do poloviny května proběhlo stěhování IT techniky z TTC. Celkem během stěhování jelo 77 plných aut (dodávek), přestěhovalo se 2224 U serverů, což je přibližně 45 tun železa. Průměrný náklad auta byl 580 kg a dva lidé. Největší obavy jsme měli z úmrtností disků. Po převozu serverů to vypadalo, že několik desítek serverů odešlo. Nakonec většina problémů souvisela s konfigurací. Poškozeného hardware bylo méně než pět procent. Další problém vyplýval z toho, že některé služby běžely při stěhování v omezeném režimu. Zároveň jsme měnili IP adresy, což je vždy velmi riskantní akce, ale nakonec to vyšlo bez problémů.

Čtěte dále: Seznam.cz pohání sedm tisíc serverů s Debianem

Dnes je v prvním sále k dispozici 96 racků a elektřina je dimenzovaná tak, aby každý rack dostal v průměru 5 kW. Více potřebuje například Hadoop cluster, naopak zálohování na pásky moc elektřiny nepotřebuje.Zajímavé jsou i reálné energetické statistiky z provozu: V tuto chvíli je celkový odběr datacentra 339 kW a aktuální PUE je 1,17. Nejvyšší okamžité zjištěné PUE bylo 1,3, nejnižší 1,12. V průměru za rok jistě navržené hodnoty 1,2 dosáhneme.Okamžitá hodnota energetické efektivity samozřejmě osciluje, takže je potřeba se spíše dívat na dlouhodobý průměr v období několika měsíců nebo lépe let.

Takových kamionů přijelo na stavbu mnoho, zde část
technologie chlazení.

Takových kamionů přijelo na stavbu mnoho, zde část technologie chlazení.

Hlavním důvodem vysoké efektivity je systém chlazení, který do určité teploty nevyžaduje aktivní chlazení. Jako velmi výhodný se ukázal princip zakrytých teplých uliček. Pomáhá nám fyzika, takže se teplý vzduch do jisté míry odvádí sám a ušetříme na větrácích. Zároveň Seznam nedělá datacentrum pro jiné společnosti, takže může pravidelně obnovovat hardware, který zvládá vyšší teploty. Není pak potřeba chladit na příliš nízkou teplotu.

Datacentrum si už po dvou měsících chodu vyzkoušelo plný běh na diesel, protože vyhořela 22kV pojistka. Běželi jsme šest hodin na agregáty. V červnu jsme posilovali napájení, takže jsme si to vyzkoušeli ještě jednou. Ustáli jsme to bez blackoutu. V červnu dosáhla spotřeba 260 MWh za celé datacentrum, se špičkou 439 kW. V horkém červenci stoupla spotřeba na 309 MWh a PUE oscilovalo mezi 1,3 a 1,5.

Nákladově se stavba vešla do původní představy. V rámci tendrů jsme snížili výrazně ceny za dodávky, takže jsme měli prostor datacentrum dále vylepšovat. Zároveň byla podceněna etapizace, protože se firma rozhodla hned spustit celý sál a příští rok už pravděpodobně poběží druhý sál. Etapizace se lépe obhajuje, ale zbytečně komplikuje praxi.

Kokura již v provozu, zelená energie dala vyrašit i trávě
kolem. :-)

Kokura již v provozu.

Ukázalo se tedy, že stavět ve vlastní režii má velký smysl z nákladového, ale i technického hlediska. Technici si totiž mohou navrhnout své datacentrum tak, jak jim vyhovuje. Kokuru jsme stavěli pro sebe a určitě nechceme vstoupit na trh kolokačních služeb a pronajímat racky nebo servery. Je možné, že svým partnerům, kteří provozují některé služby pod naším brandem, umožníme virtuální hosting. Kokura není logisticky (bezpečnost, zázemí) a koncepčně (firma si hlídá, jaký HW jde na sál) připraveno pro umisťování technologií jiných zákazníků. To ale ani nebylo cílem.

Našli jste v článku chybu?

14. 8. 2015 8:56

Neběží to na RHEL či Ubuntu serveru, protože to běží na Debianu.
A Ubuntu bych si do serveru nepustil.


14. 8. 2015 7:41

Insider :-] (neregistrovaný)

na debianu :-]

Podnikatel.cz: K EET. Štamgast už peníze na stole nenechá

K EET. Štamgast už peníze na stole nenechá

Podnikatel.cz: Přehledná titulka, průvodci, responzivita

Přehledná titulka, průvodci, responzivita

120na80.cz: Pánové, pečujte o svoje přirození a prostatu

Pánové, pečujte o svoje přirození a prostatu

Podnikatel.cz: EET zvládneme, budou horší zákony

EET zvládneme, budou horší zákony

DigiZone.cz: ČRo rozšiřuje DAB do Berouna

ČRo rozšiřuje DAB do Berouna

Lupa.cz: Teletext je „internetem hipsterů“

Teletext je „internetem hipsterů“

Vitalia.cz: Tesco: Chudá rodina si koupí levné polské kuře

Tesco: Chudá rodina si koupí levné polské kuře

Podnikatel.cz: Podnikatelům dorazí varování od BSA

Podnikatelům dorazí varování od BSA

Vitalia.cz: To není kašel! Správná diagnóza zachrání život

To není kašel! Správná diagnóza zachrání život

Vitalia.cz: Říká amoleta - a myslí palačinka

Říká amoleta - a myslí palačinka

DigiZone.cz: Recenze Westworld: zavraždit a...

Recenze Westworld: zavraždit a...

Podnikatel.cz: 1. den EET? Problémy s pokladnami

1. den EET? Problémy s pokladnami

Lupa.cz: Insolvenční řízení kvůli cookies? Vítejte v ČR

Insolvenční řízení kvůli cookies? Vítejte v ČR

Podnikatel.cz: Na poslední chvíli šokuje vyjímkami v EET

Na poslední chvíli šokuje vyjímkami v EET

Lupa.cz: UX přestává pro firmy být magie

UX přestává pro firmy být magie

Měšec.cz: Zdravotní a sociální pojištění 2017: Připlatíte

Zdravotní a sociální pojištění 2017: Připlatíte

Vitalia.cz: Baletky propagují zdravotní superpostel

Baletky propagují zdravotní superpostel

Měšec.cz: Jak vymáhat výživné zadarmo?

Jak vymáhat výživné zadarmo?

DigiZone.cz: NG natáčí v Praze seriál o Einsteinovi

NG natáčí v Praze seriál o Einsteinovi

Lupa.cz: Avast po spojení s AVG propustí 700 lidí

Avast po spojení s AVG propustí 700 lidí