Vlákno názorů k článku Utopte servery v oleji, ušetříte a vyhřejete městský bazén od Vladimír Kozák - Podle té fotky s nerezovou vanou soudím, že...

Saaaakrááá... už to zase trochu s tím trollením přeháníš ;) Je zajímavý, že si u nich nikdo za tři roky nevšiml, že jim to nefunguje a musel jsi jim to říct až ty :) Jedinej tvůj opravdu relevantní argument je s tou podporou, opravdu si nedokážu představit technika HP, jak ho někdo dovede k vaně plné oleje a oznámí mu, že nefunguje ten třetí server zleva, ať se snaží. Co se týče cirkulace oleje, myslím, že rozdílné teploty u různých komponent budou dostatečné pro velmi pozvolnou cirkulaci, která by tomu měla stačit. Zahřeje-li se něco výrazně víc, zrychlí se tím i ta samovolná cirkulace. A co udělá olej na pánvi nad hořákem? Záleží na typu, ale kolem teplot do 100C bych byl klidnej, se správným typem můžeme jít i násobně výše. Co se týče kontaktu v konektorech, taky bych se asi nebál, bude dost záležet na viskozitě toho oleje, pokud to netestují s 10let ježděným vyjeťákem a nemaj konektory vyklechtaný jak lehká děva svůj pracovní nástroj, nevidím důvod, proč by to mělo nefungovat a naopak to velmi dobře konektory chrání před korozí a prachem. Co se týče nějakého hnití oleje, syntetika je zajisté velmi chutnou stravou pro hnilobné mikroorganismy a pokud bude prostředí relativně čisté, nebál bych se ani o kvalitu oleje z dlouhodobějšího hlediska. V nejhorším na to můžou dát pokličky kdykoliv.

My klimatizaci mít vůbec nebudeme. Vše se bude odehrávat v oleji a vodě. Servery nemůžete potopit do vody, protože by jakékoliv smítko znamenalo zkrat a konec.

Tento typ oleje je trvanlivý a v provozu ho budeme zavírat (nyní máme zavírání také, ale nepoužíváme ho). Olej nemusí cirkulovat. Není k tomu důvod. Odvod tepla olejem je 1200x lepší, než vzduchem. Z toho pohledu nedojde k lokálnímu přehřátí žádné komponenty.

Když už o tom víte tolik, tak jistě víte, že máme vyřešené i záruky a support. Někteří výrobci už dali dříve "dobrozdání" a uznávají záruky a s dalšími jednáme a testujeme společně. Takže se to skutečně vyplatí. A nebojím se pod svůj názor podepsat, protože to již dlouho testujeme.

To si zvyknete. J nemá názor. J si nemyslí. J prostě ví. A navíc cokoliv, z jakéhokoliv oboru a se vším má i vlastní zkušenost.

Jinak držím palce, je to hodně odvážné a rozhodně velmi přínosné. Pro zajímavost, jestli jsem správně odhadl všechny vstupní parametry, ušetří to při plném datacentru tak 3mil ročně jen na energiích? A další peníze na větší spolehlivosti, levnějším HW, údržba čerpadel bude asi taky levnější, než údržba klimatizace a ještě budou mít všichni krásný ruce :D Ale opravdu by mě zajímalo, jak se vám podařil domluvit support na utopené servery :) Chudáci technici v sáčku a kravatě :D

Podstatné je to, že by se člověk neměl za své názory stydět. Pokud máte osobní zkušenosti a vše si vyzkoušíte na vlastní kůži, tak věřte tomu, že potom není problém si takové názory obhajovat. Jedna věc je, že jsme hodně věcí řešili teoreticky a potom jsme to dlouhé roky potápěli a řešili prakticky. Takové zkušenosti moc lidí nemá.

Ano, počítáme s vyšší spolehlivostí. Levnější HW také bude (o jednotky procent). A určitě nemusíme řešit problémy s klimatizací.

Věřte tomu, že i záruky a podpora od výrobců se řeší a úspěšně.

No děláš ze sebe čím dál většího troubu :) Tvoje pokusy o urážky nemůžou na průměrně inteligentního člověka fungovat. Takový kecy mají jedinci s lehce opožděným vývojem naposledy kolem 18 roku života. Osobně ti doporučuji spolupráci s Wedosem, Myslím, že s tvými vědomostmi a praktickými zkušenostmi nebudou na konzultacích s tebou vůbec šetřit. A těch kontaktů na tisíce lidí potápějících servery, samozřejmě to všichni zkoušeli několik let a i přes svoje akademické tituly se marně pokoušeli vymyslet tebou popsané (z velké části neexistující) problémy.

Co se týče voda vs olej, nepodařilo se mi najít žádný druh oleje, který by měl lepší tepelnou vodivost, než voda, což ještě neznamená, že neexistuje, ale pokud je to opravdu tak, tak voda je jako primární chladivo vhodnější. S vodou je samozřejmě problém kvůli vhodnosti pro mikroorganismy, rychlosti odpařování, korozi, rychlé změně vodivosti při znečištění a navíc se blbě pije.

Voda v autě má takovou teplotu, na jakou je spočítaná a to především s ohledem na požadovanou provozní teplotu motoru, na kterou je motor s ohledem na teplotní roztažnosti a různé další fyzikální vlastnosti materiálů konstruován. Velikost chladiče je potom samozřejmě navržena tak, aby to prostě dobře vycházelo a stihlo se to uchladit.

Do dnes přemýšlím nad tím, jak měli kdysi na Invexu udělané, že jim tam i ryby plavaly. Voda to být musela, logicky. Musela být destilovaná, také logicky. Jenže tu živí tvorové moc rádi nemají ...

Vyzkoušeli jsme 9 různých laků a máme jeden vybraný. Nemá vliv na konektory a jejich vlastnosti, ale je to čistě látka, která celý server naimpregnuje a odpuzuje kapaliny (na server nepřilne olej). Následně se to díky tomu dá dobře odmastit (postříkáte látkou, která je doplňkem k té impregnační).
U těchto speciálních látek (v cenách několik tisíc korun za litr) se bavíme mikronových vrstvách (a spotřebě v řádu stokorun na jeden server). Konektory s tím nemají problém. Osobně vyzkoušeno.
Pokud použijete nějaký ochranný lak, který se nanáší v milimetrové vrstvě, tak tam je to něco jiného, ale to není náš případ.

Ty seš tak chytrej :-O nepřemýšlel si někdy o tom že je tě tady škoda? Co takhle jít rozdávat svoje moudra na univerzitu? Nebo do parlamentu.

Takhle se olej nechová. Všechny kovové konektory normálně fungují a můžete je vyndavat a zapojovat kolikrát chcete. Je to "kov na kov" a tam olej nic nezmůže a ničemu nepřekáží.

Jenže to mazání konektorů se nedělá kvůli té vodivosti, ale právě kvůli opotřebení a snížení tření a tím třeba rizika jiskření (a vypalování = fyzického poškození nebo rizika požáru).
V principu všechny kovové konektory jsou "kov na kov". Nikde se nepřenáší ethernet v UTP konektorech přes nějakou vzduchovou mezeru, ale přenáší se elektrický signál. A ten se nepřenese přes mezeru. Stejné je u dalších komponent.
Olejů jsou různé druhy a některé jsou agresivní a mohou konektory třeba poškodit, protože reagují s určitými kovy... Proto se dělají různé konektory s různou ochranou.
Ale to už se opakujeme. Vy máte odlišný názor, který si nechcete nechat vysvětlit. Můžete se přijet podívat a uvidíte, že i ten izolující olej přenáší vše v UTP konektoru nebo 230V v napájecím nebo můžeme vyndat RAM nebo disky a vše funguje. A není to žádné překvapení, ale naopak jen zkušenost a zároveň i podstata těch konektorů-

Lžeš J, nikdy si neměl server a olej si viděl tak maximálně ve friťáku v KFC.

Ano, podobné technologie jsou, ale nezapomínejte na to, že tím primárně teplo neodvedete, ale dokážete uchladit lokální zdroj tepla a tak zabránit přehřívání. Nevychladíte tím celý server nebo celou serverovnu.

Navíc tento postup je mnohem komplikovanější, rizikovější a dražší, než prosté ponoření do oleje.

Osobně se domnívám, že pohyb oleje způsobený rozdílnými teplotami bude spíš vířivý, než stálý.

To teplo se šíří všemi směry, nejen nahoru, ale i do stran a dolů. V tom je ta vodivost toho oleje. Samozřejmě, že teplý olej potom stoupá nahoru a tím je to výše teplejší, ale to nevadí.

Vrstva oleje bude jen cca 25 cm a tak počítáme s tím, že nebude potřeba žádný oběh a přenos tepla bude pasivně díky dobré tepelné vodivosti oleje).
Chladící voda bude i na bocích.
Počítáme s rozdílem teplot v jedné vaně do 5 stupňů.

Ten nerezový vlnovec nebude nijak namáhán. Je tam jen místo výměníku. A je to tak, jak píšete - běžně používané řešení v mnohem náročnějších nasazeních.

Ano, my veškerou elektroinstalaci budeme mít řízenou přes PC a systém KNX. Tam budeme sledovat provozní hodnoty celého systému. Včetně teplot a tlaků.
Okruhy vody a oleje budou oddělené.

I to se může stát, ale ani potom nemusí být katastrofa. Olej se s vodou "nemá rád" a tak se obě substance oddělí a vznikne zkrat a okamžitě bude po problému. Samozřejmě, že to je nyní teorie. Uvidíme až to nastane.
Obecně vzato ten zvlněnec je docela pevný a nemanipuluje se s ním. Riziko poškození je minimální. Když jsme měli verzi 2, tak jsme měli oběh oleje do deskového výměnu. Tam je riziko podobné.

Olejů je strašně moc druhů a některé izolují lépe. Jiné hůře. Některý se mísí s vodou a jiný ne.

Možnost úniku vody tam je, ale je tak minimální, že to riziko za to stojí. Pokud se olej s vodou nemísí, tak okamžitě dojde k odpojení napájení a potom je to jedno. Server by se neměl poškodit, ale určitě na to uděláme nějaký test. V serverovně bude rozvod vody pod podlahou, olejové vany nad podlahou a elektřina pod stropem.
Vana bude zavřená. Máme normálně k dispozici víka, ale nezavíráme to, protože tím testujeme další vlastnosti (stálost oleje, odolnost proti prachu, vzlínání, odpařování...).
Chumel drátů je tam jen v jedné pracovní verzi a to jsou různé pomocné dráty. Pokud se podíváte přesně, tak tam vidíte průchodky a tam jsou reálné a skutečně používané dráty (napájení, konektivita apod.). I v nerezové vaně máme profesionální průchodky.
Přístup zezadu nepotřebujeme, protože finální servery budou mít všechny konektory z přístupné strany a nic nebude ze zadní strany. Na obrázcích jsou testovací stroje - je to vývojová řada.
Proudové chrániče a uzemnění tam budou.

V současné serverovně máme na všech okruzích speciálně proudové chrániče a nikdy nebyl za 5,5 roku provozu problém. Možná je to tím, že v serverovně máme pořádek, jen naše servery, jen jednu modelovou řadu serverů, vyváženou zátěž, obsluhu dělají lidi s pověřením, elektroinstalaci dělají lidí se zkušenostmi... a tak by šlo pokračovat.
Všechny servery mají duální napájení - každé z nezávislé větvě. Moonshoty dokonce 3 větvě.

To se skutečně stalo před více než 2 lety, ale nesouviselo to se zapojením nebo proudovými chrániči, ale došlo k selhání několika věcí směrem od nás ven a následně potom k selhání motorgenerátoru. Proto v novém datacentru budou motorgenerátory 2 (každý zvládne nezávisle 100% zátěže), Stejný krok nyní připravujeme v současném datacentru, kde už jsme udělali stavební úpravy a nyní se čeká na výstavbu trafostanice.

Viděl bych to spíš kvůli tomu vodnímu okruhu, než kvůli oleji. Ale větší riziko tam je určitě, dobrovolně by si do serverovny nikdo proudovou ochranu nedal :D

My máme chrániče na každém okruhu. Každý rack má cca 4 napájení z jedné větvě a 4 z druhé větvě. Každé napájení má svůj proudový chránič a vše jede 5,5 roku v pořádku. Olejové chlazení máme s proudovým chráničem také a nikdy nebyl problém.

V posledním prototypu máme oběh vody. Takže bez problémů.

Z hlediska oběhu bude vše redundantní (trasy, čerpadla, výměníky). Máme tedy možnost provést výměnu a údržbu jakékoliv komponenty bez potřeby vypnutí. Chceme TIER IV certifikaci :-)

Navíc u oleje je to tak, že má velkou tepelnou setrvačnost a zvládne provozně i vysoké teploty (a komponentám to nevadí). Když by v naší současné serverovně selhalo chlazení, tak do 10 minut je v serverovně hodně přes 40 stupňů a vše je "uvařené" a vypnuté.
U oleje ten náběh je výrazně pozvolnější. Mnohonásobně pomalejší... A máme otestováno i to, že serverům nevadí vysoké teploty. Testovali jsme i 56 stupňů a vše jelo. Při 58 se nám "rozsypal" výstup z grafické karty a na monitoru byly rozházené kostičky. Vše fungovalo a jelo. Po ochlazení se grafika napravila.

Děkuji za detailní rozbor. Opakuji to, že se k nám můžete přijet podívat.

Olej vede teplo dobře. Tady se bavíme o tom, že potřebujete uchladit pomocí 200 litrů oleje cca 1-4 kilowatty tepla. A to je pro olej nic! V průmyslu se tím chladí násobky.
V tom je ten rozdíl a žádný výrobce tedy není "kretén", jak píšete... Jsou to rozdílné aplikace.

Bazén - je to otevřené koupaliště - má v nejteplejších dnech cca 24-25 stupňů. Teplotní spád není problém. Kdybyste četl příspěvky a článek, tak byste věděl, že jsme testovali i vysoké teploty. Při teplotě oleje cca 56 stupňů vše fungovalo a žádný server se nemusel vypnout.
Teplotní spád tak máme dostatečný. Při běžných instalacích se počítá s teplotním spádem 5 stupňů. Když je menší nebo větší, tak se zvětší nebo naopak zmenší průtok v primárním a v sekundárním okruhu. Pokud tohle není možné, tak se musí dát výkonnější výměník. Mimochodem výměníky používané v průmyslu jsou malé, levné, osvědčené, spolehlivé a výkonné.

Oběhová čerpadla budeme řídit - otáčky přes KNX. Spotřeba oběhových čerpadel je zlomek ve srovnání s klimatizací. Jen jednoduchý laický výpočet. Pro uchlazení 100 kilowatt tepla v serverovně musíte mít klimatizací, která bude spotřebovávat řádově 40-60 kWh energie. Něco vezme oběh vzduchu pomocí ventilátorů v serverech, něco v klimatizaci a zbytek jsou kompresory v klimatizaci. Oběhové čerpadlo na olej bude brát maximálně 1-3 kWh. Na vytápění domu stačí malinké oběhové čerpadlo... Tohle je podobný princip.

Pokud jde o HDD, tak Vám opět unikl další podstatný detail a to je to, že píšeme, že používáme HDD s heliovou atmosférou.

Ale takhle je to pořád. Všechny příspěvky jsou kritické, ale žádná fakta. Pod svůj názor se neumíte ani podepsat a nereagujete na pozvání na návštěvu, abyste si vše vyzkoušel a osahal...
My to testujeme od března 2013! Přes 3 roky a tak používáme fakta a na základě výsledků jsme se rozhodli pro stavbu druhého datacentra, kde bude pouze a pouze olejové chlazení. Vaše antinázory bez faktů nás v tom rozhodnutí neovlivní :-)

Chtělo by se to skutečně přijet podívat. To bude nejlepší. Někdy už je zbytečné se opakovat a něco vysvětlovat. Vše podkládáme zkušenostmi a fakty.

Pokud jde o vedení tepla, tak i na první pohled "nehybná" kapalina teplo vede. Teplo se převádí na sousední molekuly... Říká se tomu přenos (sdílení) tepla vedením.
Potom jsou přenosy tepla prouděním apod., což je druhá situace. To, že se dělá v rozvodech pohyb je kvůli tomu, že tam potřebujete docílit větších kapacit a větších výkonů.
Jistě víte, že když si napustíte vanu ledovou vodou a potom na jednom konci nelijete vařící, tak ta vařící nezůstane jen v tom jednom místě, ale postupně se teploty srovnají. A nemusíte to míchat. Pokud to zamícháte, tak to bude rychleji...
V případě, že olej vede teplo dostatečně, tak nám při 200 litrech oleje v nádobě nebude dělat problém to, abychom uchladili 1-4 kW tepla sdílením. Ano, počítáme s tím, že dole bude mít olej o několik (cca 5) stupňů méně, než nahoře, ale to ničemu nevadí. Na funkčnost to nebude mít vliv. Vrstva oleje bude cca 25 centimetrů.

Co se týká chlazená aut, tak tam jde jak o provozní teplotu, tak i o dostupnost kapaliny a další vlivy. Olej naopak na tohle není ideální a nikdo tady netvrdí, že olej je "všelék" na chlazení. To jste se jen zasekl Vy a zatím jste nepřipustil žádnou z výhod olejového chlazení. Vše kritizujete a přitom se bojíte pod své závěry podepsat a nepřipouštíte možnost, že by druhá strana mohla mít pravdu. Opakuji znovu nabídku na návštěvu, abyste si mohl všechny své teorie u nás vyvrátit. Testujeme to přes 3 roky a tak určitě víme o čem je řeč.

V tom našem pojetí, kdy chceme nulový oběh (pohyb) oleje je potřeba pasivní chladič stále mít. Je nutné tam mít dostatečnou plochu pro odvod tepla. Jen tam nejde použít teplovodivou pastu, ale musejí se používat teplovodivé samolepky.
V případě, že by olej proudil, tak by při běžném provozu chladič být nemusel. My navíc počítáme s přetaktováním CPU a tak potřebujeme dostatečnou plochu pro odvod tepla. Chladič tedy zachováme. Bude jen pasivní. Ventilátor tam být nemůže, přímo nesmí. Nedokázal by se točit v oleji a hlásil by do systému chybu (a navíc by to byla zbytečná energie).

Všechno co povídáte zní rozhodně dobře. Chtělo by to nějaké detailnější shrnutí k tomu výběru oleje podle určitých důležitých aspektů a příklady, které určitě nepoužít. Myslím, že pokud něco otestujete a následně otevřete, můžete z toho těžit třeba už jen proto, že když podobné řešení nasadí ostatní datacentra, tak se olej může zlevnit kvůli většímu trhu a záruka na takové nasazení automatická. Proto bych silně doporučoval otevřít řešení nebo dokonce založit sdružení pro servery v oleji :-)
Nakonec by mohli výrobci mít třeba server, který bude mít šasí jako vanu. Konektory by se nemusely ponořovat a zapojení by asi bylo o něco rychlejší. HDD by se daly možná měnit nějak elegantněji třeba kvůli nějakým 20 cm v délce navíc. Oleje by nebylo potřeba tolik, hustota van/ šasí by byla vyšší a při standardizovaném připojení na vodní okruh a určité optimalizaci komponent na provoz v oleji při vyšší teplotě by se třeba dosáhlo na výstupu chladícího okruhu i na 60+ °C, což je teplota použitelná pro ohřev vody pro domácí a průmyslové použití. Mohli byste dokonce teplo prodávat podobně jako firma Cloud&Heat z Drážďan. Ti chladí ale komplet vodou ve vodních chladičích kryjících několik komponent, používají spotřebitelské procesory a pompy řídí Arduinem a funguje to taky. Řešení s olejem se ale zdá být lepší.

Jen je tedy otázka, proč HPC clustery nechladí olejem. Už jsem ve dvou aktuálních superpočítačích s vodním chlazením byl a zdálo se, že to funguje slušně. Možná by IBM a Bull a podobní měli o další vývoj technologie společnosti Wedos zájem. Nakonec chladit několik Megawatt ze superpočítače není legrace.

Musíte připustit, že mírně nekonzistentními pojmy okolo vysoké tepelné kapacity vody (isobaric mass heat capacity) https://en.wikipedia.org/wiki/Heat_capacity#Table_of_specific_heat_capacities voda je jediná praktická látka s opravdu vysokou tepelnou kapacitou vztaženou na váhu i objem. Jinak dobrá alternativa pro přenos tepla by mohl být např. parafinový vosk. Ten taje při teplotách nad 37 °C, tak by za určitých předpokladů mohl taky sloužit. Výhoda by byla, že při průsaku do vany s olejem z jakéhokoliv důvodu by to asi nebyla tragédie. Na druhou stranu ve svíčce hoří dobře... voda je pořád asi nejlepší médiu pro přenos hodně tepla pomocí malého objemu/ váhy média.

Tepelná vodivost je ale něco úplně jiného. To je vlastně rychlost přenosu tepla. Olej tedy má vysokou tepelnou vodivost, ale rozhodně ne vyšší tepelnou kapacitu (na jednotku váhy nebo objemu) než voda. Nejlepším vodičem tepla v realitě je stříbro a blízko potom měď. Do jisté míry to asi v pevných homogeních látkách souvisí s vodivostí elektrickou? Z akademického hlediska taky uhlíkové nanotrubice, grafen, diamant apod. Často v praxi vysoká tepelná vodivost značí menší tepelnou kapacitu. Třeba hliník se na chladiče používá proto, protože je poměrně levný, dobře se tvaruje, výrazně nekoroduje, ale hlavně má na jednotku váhy skoro dvakrát větší tepelnou kapacitu než měď při ještě výborné tepelné vodivosti.
Příklad z praxe: Hliníková lžička skoro vždy v ruce pálí, pokud jím něco horkého. Je ale lehoučká a rychle se zase ochladí. Ocelová lžíce je obyčejně masivnější, tak rychle se neprohřeje. Když si myslím, že už je studená, tak si ještě o polévku spálím jazyk - dlouho to trvá, než se ochladí, protože má poměrně vysokou tepelnou kapacitu.

j je sice nejspíš nějaký troll, ale Vy byste mohl být jako expert v používání pojmů výrazně konzistentnější. A pokud chcete, aby Vám a Wedosu lidi věřili bez dalších diskuzí, musíte publikovat daleko serióznější objektivní data.
Můžete o tom napsat nějaký poměrně akademický článek, až budete mít konkrétní data a reprodukovatelné podmínky. Můžete popsat použité látky, vybavení, workload, průběhy teplot atd. Jsou lidé, např. Bryan Cantrill ve velkých cloudových providerech jako Joyent (teď Samsung), kteří volají po větším zapojení praktiků do publikací: http://www.slideshare.net/bcantrill/a-wardrobe-for-the-emperor-stitching-practical-bias-into-systems-software-research

Rozdíly teplot tam budou. Počítáme s tím, že oleje bude vrstva cca 25 centimetrů. A bude tam rozdíl cca 5 stupňů. Technologii to nevadí.
Při vyšší vrstvě oleje by byl nutný už oběh, což je náš prototyp číslo 2, kde je cca metr oleje a tam dole přivádíme studený a nahoře odvádíme teplý olej pryč.