Názory k článku Brněnské datacentrum Faster topí teplem ze svých serverů
-
JA (neregistrovaný)
Pocitam dobre, ze 50kW na 130 racku dava 384W na jeden CELY rack? A to nepocitam chlazeni atd, takze na rack zbyde kolik? 200W? To jsou ty racky uplne prazdne nebo je nekde chyba v radu a je to treba 500kW?
Taky by me zajimalo, proc se nechladi normalne venkovnim vzduchem? Jako jestli tam bude 23 nebo 33 stupnu je serveru uplne sumak. Pravda, pro obsluhu by jiste nebylo prijemne delat v takovem vedru, protoze v samotne serverovne by jiste bylo diky serverum vic nez venku i kdyby se chladilo fakt poradne, ale to bych nevidel jako primarni problem. Nikdy jsem nerozumel te potrebe mit v serverovne 17 stupnu a do 35ti na CPU v zatezi, kdyz tam klidne muze byt 80 a naprosto nicemu to nebude vadit. Idealne mit pod kazdym rackem ventilator, ktery nasaje vzduch pres filtr primo z venku pod podlahou a nahore ho zas odvede ven na strechu = naprosty ideal. Mit sklenene izolovane racky a v ulickach klidne klasickou klimu, aby obsluha netrpela. Nebo nejaky chlazeny oblek/skafandr:o) Vsude se hraje na nejakou ultra cistotu (ikdyz nevidim duvod, proc by filtry nedokazaly perfektne cistit venkovni vzduch a byl by treba vnitrni nevetrany okruh), pritom naprosta vetsina veci se jednou zapoji a podruhe do toho uz leze jen chlap ve sbernem dvore s rozbrusovackou:o) -
Yenya (neregistrovaný)
Beztak to datacentrum není ještě plné, a předpokládají další rozšíření. Proto asi chtějí stavět trafostanici.
Přímé chlazení venkovním vzduchem má právě problém s prachem. No a prohnat vzduch přes pylový filtr už v podstatě znamená ten vzduch stlačit, tedy zahřát. Taky průřezy trubek by byly úplně jinde: 1 m3 vzduchu má zhruba stejnou tepelnou kapacitu jako 280 ml vody, čili při stejné rychlosti proudění odvede roura vzduchu o průřezu 1 m2 totéž teplo jako trubka s vodou o průřezu 2.8 cm2.
V momentě kdy děláte datacentrum pro housing, nemáte pod kontrolou tepelné požadavky instalovaných serverů. Dneska u nového HW se pohybují okolo vstupní teploty 30 °C, nicméně u staršího HW to může být méně. Takže s mírnou rezervou a se zohledněním hotspotů potřebujete teplotu vstupního vzduchu někde kolem 26 °C. A každá další výměna nebo i filtrace vám sebere dalších pár stupňů. My máme se systémem vzduch-voda-vzduch a při současné zátěži hranici opuštění freecoolingu někde kolem 20 °C venkovní teploty.
Skleněné izolované racky jsou problém proto, že většina HW je stavěná na předozadní proudění vzduchu. Proto je lepší uzavřená ulička (v našem případě zavíráme teplou stranu).
Tož tak.
-Yenya
-
j (neregistrovaný)
Jasne ... on motor prece taky zvladne 200, 300 .. nebo i 500 stupnu, taky nechapu proc se chladi na 100 ...
Teplotni spad je pro tebe zjevne sprosty slovo ... stabilita pak zjevne taky ... ono totiz elektronice dela ze vseho nejlip to, kdyz na ni jeden den foukas -20 ... a druhej +50 .... to bude vazne drzak, takovej srv vubec nechcipne za 1/2 roku ...
-
j (neregistrovaný)
CPu snese 80, ale uvnitr (ono snese i vic, bezne chipy zvladaj do +- 120), coz ma v pripade, ze ma chladic tak 30-40max, a aby mel chladic tech max 40, tak na nej musi foukat odpovidajicim proudem vzduch odpovidajici teploty, a cim teplejsi vzduch, tim vetsi proud, takze kdyz na to bude nekdo v lete foukat 40tkou ... tak se to sice mozna pri maximalnich otackach vetraku nejakou dobu uchladi, ale ty vetraky se zadrou. Nemluve o tom, ze prave kvuli takovym frikulinum ma vetsina elektroniky nejakou ochranu, ktera postupne snizuje frekvenci/vklada nop/... proste proto, aby se to neupeklo, a to jiste potesi uzivatele, kdyz se z jejich 4GHz CPU stane kvuli uspore na chlazeni 4MHz.
O dalsich komponentech pak samo ani nemluve, presne jak zminujes disky, a zdaleka neje ty, ono baterkam UPSek dela teplicko taky mooc dobre ...
-
Yenya (neregistrovaný)
Ono asi záleží co si dělat sám a co ne. Já třeba kdybych znovu mluvil do stavby nějakého datacentra, tak bych taky šel cestou vlastní regulace a neinteligentních regulovaných zařízení. Mám z toho totiž přesně stejný dojem - u drahých průmyslových kontrolerů člověk naráží na limity výkonu takové, že R-Pi za zlomek ceny by zvládlo totéž a v interpretovaném otevřeném jazyce. A překvapivě spolehlivost (některých) průmyslových kontrolerů není nijak úžasná.
Kromě toho, sdíli jen Facebook. Google - aspoň co jsem tak sledoval - jen jednou za čas publikuje článek popisující, jak to dělali v předchozí generaci.
-Yenya
-
Yenya (neregistrovaný)
Ale ono to opravdu docela komplikované je: na výběr máte topení vodou nebo vzduchem.
Pokud vodou, tak z datacentra vám leze když dobře voda o teplotě 25 °C. To můžete použít tak leda pro předehřev TUV, do radiátorů to nepustíte. Nebo teda zapnete kompresory (nyní tedy v roli tepelného čerpadla). Přijdete tím o výhodu freecoolingu v zimě, a stejně tím bez dalších úprav nezatopíte: pokud chcete minimalizovat počty výměníků, v podstatě nezbude než chladit něčím, co můžete i v zimě pustit na střechu (nemrznoucí směs s glykolem), což ale zase nemůžete jen tak pustit do radiátorů (tam potřebujete antikoroziva, a pokud možno ne glykolovou směs, která má menší tepelnou kapacitu než voda). Navíc musíte generovat dostatečnou teplotu: pokud s tím nepočítáte od začátku stavby - my jsme DC stavěli při přestavbě části budovy, která ale byla i nadále připojená i ke starším budovám - topný systém standardně vyžaduje spád 55/50 °C, naše chladicí stroje generují 42/46 °C. Změna znamená horší účinnost chlazení. A pořád musíte mít na mysli zásadní věc, že datacentrum je důležitější než zbytek budovy, tedy ať se děje cokoli, musí DC mít kam to teplo dávat.
Pokud chcete topit vzduchem, pak musíte příslušné objemy vzduchu být schopni někudy transportovat. Čím teplejší vzduch máte, tím méně musíte "foukat", a tím lepší komfort to topení poskytuje. Ten teplý vzduch vznikl ohřátím venkovního vzduchu, čili teď v zimě má pro život nepoužitelnou relativní vlhkost (klidně i pod 10 %). Měli byste tedy i dovlhčovat. A pokud chcete z DC odebírat velké objemy teplého vzduchu, musíte tam dostat nějaký jiný vzduch. Přímo venkovní vyžaduje filtraci a předehřev, nemůžete na servery začít foukat třeba dneska vzduch o teplotě -6 °C.
No a základní myšlenka je, že nejvíc chladit potřebujete (a tedy nejvíc odpadního tepla máte) v létě, kdy zase nepotřebujete topit. Realizovatelné topení datacentrem je, ale jen za situace, kdy stavíte s datacentrem kompletně nový barák, a ten barák není navíc příliš velký. Zaplatíte za to velkými komplikacemi při návrhu chladicího systému, složitějším řízením, větším množstvím komponent, které se můžou pokazit.
-Yenya
-
Dovolím se vložit do debaty ohledně chlazení. Problematika je složitá, ale určité zkušenosti s tím máme.
VZDUCH
V našem stávajícím datacentru máme chlazení pomocí přímého free-coolingu. Teplo od serverů využíváme pro vytápění budovy, ale skutečně přímo a bez dalších úprav (nemáme tam žádné čerpadla nebo přídavné ventilátory a tak nás vytápění nestojí ani o korunu navíc). Přebytečné teplo pouštíme ven do okolí.Jak to funguje?
Máme zdvojenou podlahu (cca 45 cm) a mezi racky nainstalovanou studenou uličku. Ve studené uličce udržujeme teplotu okolo 17-18 stupňů. Tedy do okamžiku, než je venku tepleji. Když je venku tepleji, tak teplotu postupně zvedáme až na cca 26-27 stupňů. Potom zapneme klimatizaci. Servery máme certifikované na 33 stupňů, ale při teplotách nad 27 stupňů se výrazně zvyšuje poruchovost komponent (zejména pevných disků). Zároveň nad 25-27 stupňů již servery používají své ventilátory tak intenzivně, že roste spotřeba tak vysoko, že se to nevyplácí (ventilátory v serverech se začnou točit a spotřeba serverů může vyrůst až o 50% původní spotřeby serveru a tak je prakticky lepší zapnout klimatizaci). Za servery je teplota 30-35 stupňů.V datacentru máme 2 silné ventilátory (na 30.000 m3 vzduchu za hodinu). Jeden slouží jako "sací" a nasává chladný vzduch zvenku. Tento vzduch projde několika komorami, kde se profiltruje a následně se smíchá s teplým vzduchem, který odchází ze serverovny. Namíchaný vzduch na přesnou teplotu (sledujeme i vlhkosti) se posílá pod podlahu a jde k serverům. Poměr míchání příchozího a odchozího vzduchu se řídí automaticky uzavíráním 3 různých klapek a řízením otáček motorů. Druhý motor je odtahový a slouží pro odtah teplého vzduchu. Přebytečný teplý vzduch, který není využit pro ohřev posíláme ven pomocí odtahového motoru. Předtím, než teplý vzduch opustí budovu projde přes tlumiče hluku, protože jsme v obytné zástavbě.
V zimě teplý vzduch, který je za servery a má přes 30 stupňů používáme pro vytápění celé budovy (2 x 440 m2), kde byly dříve 3 plynové kotle. Jak vytápíme? Snadno .-) . Ve všech prostorách jsme udělali sádrokartonové podhledy a v nich máme místo kazet mřížky (dají se koupit normálně místo sádrokartonu). A teplý vzduch od serverů jde potrubím do těchto podhledů a tam projde těmito mřížkami do kanceláří. Celé to jede bez jediného přídavného ventilátoru (a tak nás nestojí topení ani korunu navíc). Jede to přetlakem, kdy v serverovně "přivřeme" odtahovou klapku a tím teplý vzduch musí odcházet přes sádrokartony a tam ohřeje kanceláře a přetlakem jde ven okny. Ano, okny. Musíme mít otevřená okna celou zimu. Kde máme zavřená okna, tak je v kancelářích zima. Na bezpečnost to nemá vliv. Na oknech jsou bezpečnostní mříže, všude alarmy a obsluha 24/7. Celé vytápění funguje skvěle a to i včetně příslušných revizí, protože tam jsou protipožární klapky mezi jednotlivými prostorami apod. Na hašení máme připravený plyn FM200, přičemž se uzavřou klapky a pustí klimatizace a následně vypustí plyn. Máme dvojitou detekci požáru a na vše se dělají revize 4x ročně.
Vytápíme tedy takovým "chlazením naruby". Celé je to naruby :-) . V serverovně se snažíme studený vzduch od podlahy dostat nahoru k serverům a v kancelářích chceme naopak teplý dostat ze sádrokartonů dolů. Jde to tím mírným přetlakem.
Celé jsme si to vymysleli a navrhli sami a máme to již 4 roky. Stejně tak celé řízení jede přes EIB/KNX a vše je v PC a řízeno přes opensource nástroje. Vše je automatické a redundantní.
Funguje to v zimě a to i v těch největších mrazech. V létě zapínáme klimatizace při venkovních teplotách nad 27 stupňů, což cca 100-200 hodin ročně (cca 1-2% doby). Aktuálně (a při teplotách do cca 15 stupňů venku) máme spotřebu elektřiny na chlazení okolo 5-7% z celkového příkonu (PUE tedy 1,07) a to tím vytopíme celou budovu. Když se použije klimatizace, tak je spotřeba o téměř 100% vyšší, ale je to jen velmi krátkou dobu a tak naše výsledky jsou až neuvěřitelné...
Funguje to. Kdo nevěří, tak může přijet.
KAPALINA
V našem druhém datacentru (http://dc.wedos.cz/), které nyní stavíme to bude jinak. Tam plánujeme, že všechny servery nebudou chlazené vzduchem, ale budou chlazené kapalinou. Nebude to nějaké komerční kapalinové chlazení, ale všechny servery budou plavat v olejové lázni ( https://www.root.cz/clanky/utopte-servery-v-oleji-usetrite-a-vyhrejete-mestsky-bazen/ ).
Všechny servery budou ponořeny ve vanách s olejem (https://www.youtube.com/watch?v=VCQP1pX3FHI) , přičemž olej bude mít cca 43-45 stupňů. Máme otestovány mnohem vyšší teploty a serverům nevadí.
Olej budeme chladit vodou, přes tepelný výměník a odpadní teplo chceme využít nejen k vytápění budovy (případně budou sousedících), ale především k ohřevu městského koupaliště. Vytápění budovy bude řešené přes podlahové a stěnové topení, přičemž je zajištěn dostatečný teplotní spád. Odběr však je jen malou část roku. Ohřev městského bazénu bude přes výměník. Bazén je otevřený a celoročně napuštěný a tak je to odběr tepla na celý rok.Pomocí kapalinového chlazení chceme chladit například i motorgenerátory apod.
V novém datacentru bude snížená hladina kyslíku v technologických prostorách, což bude prevence vzniku požáru. Na samotné hašení bude instalován hasící systém.
Věříme, že to bude fungovat taky :-) .
Spotřeba serverů a technologií klesá a výkon roste, ale na druhou stranu serverů (a úložišť) je stále více a více.
-
Yenya (neregistrovaný)
Pěkný popis, díky. I jsem chtěl kdysi přijet na váš den otevřených dveří, ale pak mi to nějak nevyšlo. Dotazy:
- máte dovlhčování?
- o kolik se reálně ohřeje vzduch průchodem ventilátoru a všemi stupni filtrace?
- řešíte nějak tlakové poměry na teplé a studené straně? Jakože aby systém chlazení netočil přetlakem na studené straně sám ventilátory v serverech (které pak fungují jako "větrné elektrárny" a generují proud tam kde to základní deska neočekává), ale naopak aby ventilátory serverů nemusely (příliš) tlačit do přetlaku v teplé uličce?
- jeden ventilátor na vsutpu a jeden na odtahu - to není příliš redundantní, ne? A zvlášť při výpadku může být problém s přetlakem tam kde nemá být,. vizte výše.
- s odpadním teplem ze strojního chlazení děláte něco užitečného?
Díky,
-Y.
-
Na jaře budou Dny otevřených dveří lepší, protože bude i druhé datacentrum a tam naše servery plavající v oleji :-)
- máte dovlhčování?
= Nemáme, ale jde dodělat "lousknutím prstu", ale nebylo doposud nikdy potřeba (vlhkost měříme na několika místech). Suchý vzduch je primárně v zimě, když jsou velké mrazy. A to je pár dní v roce a v tu dobu se vzduch hodně cirkuluje uvnitř, protože mrazivý vzduch zvenku je potřebný jen v malém množství. Naopak se tak 1-2x ročně setkáme s tím, že je potřeba odvlhčovat. To je když je tepleji, ale je hustá mlha a tak nasáváme vysokou vlhkost. V takovém případě systém přejde automaticky chvilku na klimatizaci, která to srovná.- o kolik se reálně ohřeje vzduch průchodem ventilátoru a všemi stupni filtrace?
= Minimálně, to nejsou ani desetiny stupně, protože vzduch má poměrně velkou rychlost a teplota okolí je také vychlazena nebo ohřáta na podobnou teplotu. Ty změny jsou tam minimální.- řešíte nějak tlakové poměry na teplé a studené straně? Jakože aby systém chlazení netočil přetlakem na studené straně sám ventilátory v serverech (které pak fungují jako "větrné elektrárny" a generují proud tam kde to základní deska neočekává), ale naopak aby ventilátory serverů nemusely (příliš) tlačit do přetlaku v teplé uličce?
= Chtěli jsme dát měření tlaku na několik míst v serverovně, ale ekonomicky to nedávalo smysl. Tak jsme od toho upustily. To bylo však zamýšleno pro lepší souhru ventilátorů. Tlakové poměry v teplé a studené části jsou stejné, protože ten vzduch projde servery bez omezení. To se tlakově chová stejně. Jen teploty jsou rozdílné. Tlak je podstatný kvůli řízení otáček a zavírání klapek, aby nedošlo k nějakému stavu co nechceme. Za běžného provozu ventilátory v serverech jedou na minimum, protože vše řeší ten velký centrální. Je to úspornější.- jeden ventilátor na vsutpu a jeden na odtahu - to není příliš redundantní, ne? A zvlášť při výpadku může být problém s přetlakem tam kde nemá být,. vizte výše.
= Odtahový motor z hlediska redundance vliv nemá. Bylo by jen tepleji za servery a vznikl by nám silný přetlak v serverovně. Podstatnější je přívodní motor, ale tam je redundance řešena tak, že se automaticky zapne (bez lidského zásahu) klimatizace. A klimatizace jsou řešeny v soustavě N+1. Takže je tam ještě redundance i u klimatizací.- s odpadním teplem ze strojního chlazení děláte něco užitečného?
= Co konkrétně myslíte? Celý oběh vzduchu u free-coolingu je samostatná soustava a vzduch se používá i po chlazení ventilátorů. U klimatizací se odpadní teplo pouští pomocí jednotek (na střeše budovy) a teplo jde ven. Je to jen v létě v největších vedrech (nad 27 ve stínu) a to o teplo nikdo nestojí :-) -
Yenya (neregistrovaný)
OK, díky za upřesnění. Jen jednu poznámku:
> Tlakové poměry v teplé a studené části jsou stejné, protože ten vzduch projde servery bez omezení.
> To se tlakově chová stejně. Jen teploty jsou rozdílné.Tohle není tak úplně pravda. Běžnými větráky mezirackových chladicích jednotek uděláte rozdíl i 10 Pa na běžné uzavřené uličce, nijak extra utěsněné. A přitom pouhý 1 Pa (což je běžnými diferenčními tlakoměry téměř neměřitelné) udělá přisávání vzduchu (nebo vyfukování, podle znaménka rozdílu) o rychlosti cca 1 m/s. Rozdíl 10 Pa už solidně točí některými větráky v serverech.
-Yenya
-
Ano, určitý minimální rozdíl v tlacích vždy existuje, ale je to prakticky zanedbatelné. Na druhou stranu tu rychlost přisávání vzduchu takhle nespočítáte, protože tam je potřeba vzít v potaz více veličin. V každém případě se tady bavíme o minimech, které pro servery nejsou podstatné a to ani teoreticky (nefungovala by žádná studená a teplá ulička a další řešení) a ani prakticky (vyzkoušeno 4 roky u nás a bez jediného problému). Vycházíme z praktických zkušeností a několika let praxe se stovkami serverů, kterých se to týká.
-
- SAP BI Consultant
- Projektový/á manažer/ka Trdlokafe
- ELEKTRONIKU, SPOJ SE S NÁMI!
- SW Systémový inženýr/ka vlakových zabezpečovačů
- Projekt "Mladí - Mladým" Specialista prodeje služeb T-Mobile
- Správce infrastruktury - pracoviště kybernetické bezpečnosti
-
- Strategie získání TOP kandidáta
- Zkrácená historie etikety a proč se jí zabývat
- Umění žít aneb tvůrce vlastního života
- Profíkem na videohovory: praktický průvodce online komunikací
- Textové funkce v Excelu
- Vzdělávání jako součást života
-
- SAP BI Consultant
- Junior IT administrátor, pracovník helpdesku
- Projekt "Mladí - Mladým" Specialista prodeje služeb T-Mobile
- ELEKTRONIKU, SPOJ SE S NÁMI!
- Fullstack Developer
- Reporting specialista se zaměřením na Power BI
-
- Strategie získání TOP kandidáta
- Vizuální myšlení
- Zkrácená historie etikety a proč se jí zabývat
- Umění žít aneb tvůrce vlastního života
- Textové funkce v Excelu
- Knihovny na SharePointu 4: nastavení oprávnění a sdílení
ČLÁNKY DO MAILU