Názory k článku Utopte servery v oleji, ušetříte a vyhřejete městský bazén
-
crow (neregistrovaný)
Wow, myslel jsem, ze tohle je spis jenom tak na pokusy na skolach :)
- Jak resite vymenu odchazejicich disku a dalsich komponent? Bylo tam par slov o nejake impregnaci, ale neni mi uplne jasne jestli to realne pouzivate nebo ne. Nebo to fakt nechate proste jenom "okapat"? :D
- Resite nejak cisteni oleje? Prece jenom to porad neni 100% sterilni prostredi.
- Co problemy s olejem v rozhranich?
- To s tim chlazenim pomoci bazenu je vyborne - trochu si ale rikam aby vam ho na zimu nevypustili :DZa me palec nahoru a urcite by bylo fajn mit to otevrene ;)
Ps: Urcite bych si rad precetl followup s technickymi detaily :)
-
Hrajeme si s tím již přes 3 roky a nové datacentrum, které chceme letos spustit už s ničím jiným neplánujeme.
Poškozené komponenty necháme okapat, ale řešíme (a stále testujeme) různé impregnace a odmašťovací prostředky, abychom mohli díly posílat na reklamace.
Olej zatím nečistíme. Do budoucna by neměl být problém jej odčerpat a přefiltrovat. I za běhu. Z hlediska elektrické vodivosti není tak náchylný jako voda na to, že začne vodit. Takže naši testovací vanu ani nezavíráme, máme v ní rozpuštěné všechny možné testovací látky a bez problémů. Do budoucna vany budou zavřené a tak by se tam měl dostat prach jen při manipulaci.
Rozhraní - bez problémů. Bez jakéhokoliv problému.
Bazén - překvapivě musí být na zimu napuštěný, protože by mráz roztrhal stěny a obklady. Navíc máme připravená 2 náhradní řešení pro podobné situace. Počítáme s tím, že by mohlo dojít někdy k odstávce apod.
-
Ano, poslední plánovaná vana bude mít cca 25 centimetrů oleje. Rozdíly budou minimální. Přenos tepla je i bez proudění dostačující.
My jsme v naší testovací vaně (700 litrů oleje a cca vrstva metr) měli olej téměř bez pohybu a tak jsme pro návštěvy museli zapínat akvaristické vzduchovací čerpadlo, aby se hladina trochu "hýbala" a nevypadalo to tak "mrtvě". -
Olej je v našem posledním prototypu zcela bez oběhu a pohybu. Oběh bude pouze u vody.
V předchozí verzi jsme měli oběh oleje, ale je to zbytečný okruh, který má jen další spotřebu a přináší i komplikace (třeba prostup oleje těsněním na čerpadlech).
Míchat to není potřeba. Olej bude mít maximálně vrstvu 25 centimetrů a to je nic. Má tak velkou tepelnou vodivost, že to přenese bez problémů.Obsluha bude používat rukavice, ale nyní si s tím hrajeme bez nich. Je to olej, který není toxický a dobře se vstřebává. Takže po práci máte "hebké ruce". Jak říkáme "ruce jako dětská prdelka".
-
K> (neregistrovaný)
Narocnost vyroby neni treba uvazovat, protoze to je zapocitane v cene oleje. V clanku bylo uvedeno, ze ocekavaji splatnost do 3 let, vcetne nakladu na vyvoj (pokud je to pravda, tak to je investorsky sen).
Narocnost likvidace - jo, tohle je relevantni, ale bez informace co je to za typ oleje se to nedovime. Ale treba v distribucnich transformatorech se meni olej jednou za 50 let.
Je treba si uvedomit, ze velke olejove chladici systemy se pouzivaji v prumyslu uz dlouhou dobu. Jsou to dnes a denne pouzivane (tedy pomerne levne) technologie.
-
Náročnost likvidace nás také zajímala. A máme zjištěno, že nyní se cena pohybuje v cenové relaci 1-3 koruny za litr podle množství. Reálně je to zanedbatelná částka (vzhledem k investici a úsporám).
Reálně návratnost tak vychází. Jinak bychom nešli stavět druhou budovu, protože v té první máme ještě dost prostor pro růst.
Životnost počítáme na 15 let, ale výrobce tvrdí, že bude mnohem delší. Je to tak, jak píšete o transformátorech. Tam se mění olej, který se většinou ještě "oživí" a použije znovu.
Všechno jsou to technologie, které se používají v těžkém průmyslu a již desítky let. Je to levné, vyzkoušené a zcela dostupné. V tom máte naprostou pravdu.
-
Reply (neregistrovaný)
Takové spalování oleje "jenom tak v kotli" asi tak jednoduché nebude. Při hoředí složitějších látek nevzniká jen CO2 a voda, ale i (někdy nebezpečné) složitější látky. Takže by možná byl problém s regulacemi. Tohle ale samozřejmě záleží na konkrétním typu oleje. A samotné zajištění spálení by taky něco stálo, takže jiná likvidace (zvlášť když je tak levná) asi bude výhodnější.
-
Konektory neovlivňují nic. Když zasunete konektor, tak je to "kov na kov". Tam je přímo vodivost. I bez toho oleje to není jinak. Jinak by to jiskřilo a vypalovalo by se to.
Máme v oleji utopené jak switche a UTP kabely a konektory, tak i napájení 230V a není nikde problém. V serverch můžete odpojovat disky a měnit RAM a nikde není problém.
Jediný problém je u optických konektorů, ale i tam máme řešení. -
Lama (neregistrovaný)
Tak jako pokud ty konektory zasunete ještě zasucha, tak budiž. Ale když je mám umaštěný, tak se mi nechce věřit, že by se tim zasunutím vytěsnila veškerá mastnota z těch styčných ploch. Zas tak velkou silou na to nepůsobíte. Vemte si olej v motoru. V motoru působí mnohem větší síly a tlaky na styčné plochy než při zasouvání konektorů a přesto mezi těmi plochami musí zůstat mikroskopická vrstvička oleje, jinak by se to pochopitelně zadřelo, že.
Nebo ne? -
vend123 (neregistrovaný)
Zdravím!
Ve skutečnosti je přechodový odpor u namazaných kontaktů lepší (až několikanásobně), než u suchých. Je to proto, že materiál kontaktů neoxiduje. Věř mi, tohle mě živilo.
Např. u stříbra na vzduchu dochází během pár minut ke vzniku AuS (síran stříbra), který je nevodivý. Ta vrstvička je velmi tenká a při napětí vyšším než asi 5V se elektricky prorazí, ale u signálových napětí to může být problém. Proto se kontakty takových spojů zlatí, nebo jsou provedeny tak, aby se po sobě během dotyku posunuly (izolační vrstvička je velmi křehká a tak se rozruší a styk je zase Au-Au).
Snad si to pamatuju dobře. Když tak mě opravte :-) -
Karel (neregistrovaný)
Název "olej" je pro laika dost zavádějící. Je to velká skupina látek s hodně různými vlastnostmi. Některé jsou hodně mastné, jiné nikoliv. Některé mají velké povrchové pnutí, jiné malé. Některé jsou lehčí než voda, jiné těžší. Jsou oleje smáčivé i nesmáčivé. Hydrofobní i hydrofilní. Máte oleje na bázi uhlovodíků, ale i oleje na bázi křemíku.
Na chlazení transformátorů se používají oleje, které jsou nesmáčivé. Do mikrotrhlin nevnikají a nevyplňují je. Když takový olej nalejete do auta, tak ten motor zadřete.
-
j (neregistrovaný)
Kapalinovy chlazeni se bezne pouziva, prodava se na to primo konstruhovany zelezo - vzadu to krome konektoru ma fitinky na pripojeni hadic. Tzn neni to potopeny, ale chladi se vse, co chladit treba. V serverovne je pak treba sice stejne klima, ale radove min vykonu. Misto pidivetracku v kazdym 1U to pak ma jeden vetrak per rack, kterej tam je proto, aby vzduch lehce kolotal kolem ty drobotiny, ktera neni chlazena primo kapalinove.
Kapalina pak klido muze byt voda (s nejakym fridexem).
Ad konektory - vyzkouseno je, ze kdyz se zelezo posklada a pak zaleje, funguje to vsechno do ty doby, nez se stim zacne hejbat. Pokud pak chce nekdo treba pridat kartu do slotu, tak ma problem.
-
Jak jsem odpovídal před chvilkou v jiném příspěvku.
V jednom serveru dnes snadno dáte 20 disků a každý vygeneruje i přes 5 Wattů tepla. To je 100 Wattů na server. Pokud dáte do racku 20 a víc serverů, tak máte jen z disků přes 2 kW tepla každou hodinu. Hodně dalšího tepla udělají RAM a další teplo máte z dalších komponent a potom ze zdrojů (pokud je nebude chladit vodou). Nezdá se to, ale to potom neuchladíte jen tak malým větráčkem... A v serverovně to udělá desítky nebo stovky kilowatt tepla a to už musíte stejně řešit klimatizací....Fridex snižuje vedení tepla o několik procent. To jen poznámka.
Konektory v oleji nejsou problém. Fyzicky je můžete zapojit kdykoliv. Olej se otře, protože konektory fungují "tělo na tělo" a je tam přímý fyzický kontakt.
-
j (neregistrovaný)
Aha, tak to bych si tam radsi nedal ani sohoserver ... nikoli, ty zaolejovany konektory maji kontat pekne nahovno a prevazne to nefunguje jak ma. Testovano na par desitkach ruznych stroju ruzne provenience ... a to uz pred drahne lety.
Jinak koukam ze diskovy pole je pro nekoho sprosty slovo, disky se totiz davno nedavaji do serveru, coz ukazuje na poradny patlala matlala paprtala ...
-
Rádi získáme Vaše zkušenosti. My jsme to testovali přes 3 roky a ani jednou nebyl problém. A to vyndaváme disky, RAMky, odpojujeme napájení nebo konektivitu apod.. Prostě vše.
Pokud jde o disková pole, tak uváděné příklady byly vztaženy k počtu disků a tím vygenerovanému teplu. V článku bylo napsáno, že potápíme a budeme potápět i pevné disky. Nemáme s tím problém a tak snadno potopíme diskové pole, které bude mít odpovídající disky.
-
Ano, ale izoluje jen pokud je mezi 2 částmi nějaká vrstva oleje a ta vrstva musí být dostatečná.
Vy jste viděl nějaký napájecí konektor nebo UTP nebo nějaký jiný, kde by byla mezi kontakty mezera? Pokud ano, tak je to špatně, protože třeba u napájení by to způsobilo jiskření a vypalování kontaktů. Takže by se nejen poškodily, ale také hrozí riziko požáru apod.
Tohle u oleje není. Jednak tam nehrozí požár, protože k hoření potřebujete kyslík a ten uvnitř oleje není. Jednak ty kontakty jsou "tělo na tělo" = "kov na kov" a žádný vrstva oleje (a tudíž izolace) tam není.
Všechny konektory v serverech (u disků, napájecí, UTP, na desce, RAM...) jsou bez jakýchkoliv mezer. To je základ a dál nemá smysl tady žádnou antiolejovou teorii vytvářet. Přijeďte se podívat a zkontrolovat si to.
Jediný konektor, který není "tělo na tělo" je optický a tam máme jiné řešení problému. -
Pet (neregistrovaný)
Ad "disky se totiz davno nedavaji do serveru"
A viete, ze sa niekedy davaju? Poznate napr. HP LeftHand (co su v podstate diskami osadene servery, ktore funguju ako jeden logicky iSCSI disk, aj ked fyzicky mozu byt distribuovane) alebo jeho virtualizovana alternativa HP VSA?
http://www8.hp.com/us/en/products/disk-storage/product-detail.html?oid=4118659
http://www8.hp.com/us/en/products/storage-software/product-detail.html?oid=5306917 -
Není to zase tak jednoduché a proto s tím děláme malinko tajnosti, ale zřejmě to zveřejníme. Hledání správného oleje není zrovna bezvýznamná záležitost, ale spíše jedna z těch nejdůležitějších. Je to podstatné jak z hlediska finančního, tak i provozního.
Ceny olejů se liší i šedestátinásobně!
Provozně se liší vodivostí tepla, vodivostí elektřiny, životností, některé jsou agresivní, jiné toxické, jiné hořlavé apod.. -
j (neregistrovaný)
jo, jasne, delate tajnosti s tim, co se delalo uz pred 20lety ... a neosvedcilo se to. Oleje se zkousely ruzny a naprosto nejzasadnejsi problem bylo prave to, ze ten nevodivej olej docela dost vadi prave ruznym slotum a konektorum a to az tak, ze to nefunguje. Protoze on kupodivu izolujici olej pomerne dobre izoluje ... jak prekvapive.
Proto se pouzivaj uzavreny okruhy, a primo se chladi jen to, co hodne hreje. Zbytek da klima.
Mimochodem, stroju potopenych do oleje je na netu k nalezeni tisice...
-
Neděláme žádné tajnosti. Naopak od počátku ukazujeme vývoj. A ani neříkáme, že jsme to vymysleli a ani neříkáme, že neexistují alternativy. Dnes je již několik komerčních firem, které se tím zabývají. My jdeme vlastní cestou a unikátnost je v mnoha věcech a největší je v tom, že celá serverovna bude chlazena kapalinou.
Výběr oleje zabral nějaký čas. A vše co píšete jsme testovali. Takže nemusíte mít obavy, že by konektory nefungovaly. Fungují všechny. Od napájecích, přes UTP až třeba při výměně disku nebo RAM. Všechny tyhle konektory jsou "kov na kov" a nemůže tam být mezera, protože by na vzduchu jiskřily. Naopak jsou na těsno a tak olej vytlačí a ten neizoluje.
Uzavřený okruh je vhodný pro situaci, kdy máte v klasické serverovně nějaký silnější stroj a ten potřebujete uchladit.
-
jinej muf (neregistrovaný)
Díky za zajímavý článek i vaše mnohé reakce v diskusi. A myslím, že nemá smysl na nick "j" ani reagovat. Kdo tu technologii a vaše zkušenosti pochopit chtěl, ten měl dost příležitostí. Takový anonym, co řve "ono to nejde, to nemůže fungovat" pod článkem, kde je zjevně ukázáno, že to jde a funguje, je prostě jen malé dítě, které na sebe potřebuje upozorňovat. Již Bible říká, že "člověk nemá házet perly sviním"...
Každopádně si velice vážím vaší otevřenosti už od doby, kdy jsem se zaujetím sledoval výstavbu vašeho prvního datacentra!
-
Pokud chcete vědět kolik jsme v tom "utopili" peněz, tak se bavíme o stovkách tisíc korun, které nás stál dosavadní vývoj. Není to zase tolik (vzhledem k úsporám). Asi mnohem více je cennější ten čas, který jsme tomu věnovali. To jsou tisíce a tisíce a tisíce hodin. Na druhou stranu nás to baví a je to i zábava a takové zpestření pro všechny, kteří se toho zúčastní.
Jinak v tom máme utopeno zatím asi 11 serverů (včetně HDD a SSD), switche, napájecí lišty (inteligentní s měřením spotřeby). Co se týká serverů, tak jsme do toho utopili i zcela nový server s 2 CPU (každý 20 vláken) a 384 GB RAM a SSD disky... (takže serve v ceně několika nových aut :-). V nejbližších dnech chceme potápět HP Moonshot s integrovaným switchem apod. a to je server v ceně slušného bytu nebo nového domu.
Napouštění vrtačkou je jedno z těch vlastních řešení - levné, rychlé a spolehlivé.
-
lazywriter (neregistrovaný)
Tak buď máte drahé HW dodavatele nebo levná auta :) Takový server jde dneska dodat do 400 tisíc (pokud se jedná o 2x20 fyzických jader, při počítání s HT jsme na sotva 300 - tj. tak jedno auto a ne několik). A i ten Moonshot stojí spíš jak garsonka (možná pražská) než dům (a to předpokládám, že umíte ještě dojednat příslušné slevy).
-
Moonshot umí v jednom boxu 45 žiletek a každá z nich má 128 GB RAM, 2 TB úložiště (NVMe SSD) a může mít 16 jader CPU. K tomu všemu 2 desetigigové switche (kvůli redundanci) a z každého switche jde 2x 10 Gbps do každé žiletky a za kžadého switche 40 Gbps uplinky ven.
Pokud umíte 5760 GB RAM, 90 TB úložiště na SSD, 720 jader CPU a to celé s 40 Gbp uplinky dodat za cenu garsonky, tak sem s tím a bereme toho kamion... :-) -
Vladimír Kozák (neregistrovaný)
Podle té fotky s nerezovou vanou soudím, že olej je pouze v té vaně, a chladit se bude vodou, která prochází tím nerezovým vlnovcem na dně. Sice pak nechápu cirkulaci, ale nějak to asi funguje. Na oběh chladící vody je pak možné použít normální čerpadlo pro topení, ale že by bylo levné, nebo mělo nějak extra dlouhou životnost? Olej ve vaně předpokládám čistý silikonový - nehořlavý, izolační vlastnost a životnost...
-
Vladimír Kozák (neregistrovaný)
Mohl by tam být olej, a čerpadlům by se to nejspíš líbilo. Ale nezdá se mi to moc ekonomické používat olej, když mohu použít vodu. Nakonec tím přece chtějí ohřívat bazén, který je "blízko"? Do potrubí a výměníku v bazénu by tedy museli nalít další tisíce litrů oleje. A taky se mi nezdá, že by vedli potrubí s olejem do bazénu - kdyby to náhodou prasklo, tak by lidi plavali v oleji jak sardinky? Další možností by bylo udělat výměník olej/voda v datacentru. Ale nejjednodušší a nejlevnější by bylo použít vodu už jako chladící medium ve vanách, a hnát ji až do výměníku v bazénu (představuji si ho jako takové podlahové vytápění).
-
No to je prave skoda, ze lidi odmitaji plavat v oleji. Mohli tam mit bazen oleje a z nej to honit rovnou do okruhu. Akorat by bylo nutno zajistit dodatecne chlazeni pomoci jineho zarizeni, protoze v kombinaci vysoke zateze datacentra a horkeho pocasi by z bazenu byl fritovaci hrnec a lidi by z nej vyndavali smazene.
-
j (neregistrovaný)
Klimu potrebujes tak jako tak a to zcela vzdy. Usetris na vykonu ty klimy.
Naklady na olej v tomhle provedeni = ses 100% bez supportu. A to se vyplati. Jak sem psal, ta voda je standardne koupitelny reseni (v principu samo muze byt chladivem i olej, ale neni k tomu duvod). Fridex se do toho dava predevsim proto, aby to chranilo rozvod pred korozi a vodu pred hnitim, coz zjevne tvurce tohodle kravinia nechape ... protoze on hnije i ten olej. Specielne pokud okruh neni uzavrenej. To vsechno je davno vyzkouseny, ale nektery frikulini to porad nechapou. Stejne tak rozhodne nestaci vana s olejem ... protoze ten olej musi cirkulovat (a to jeste ne jen tak ledajak, rozhodne nestaci, vymenovat olej v ty vane, protoze nad procakem a jinde bude vyrazne teplejsi => je treba ho vymenovat prave tam), to je taky vsechno davno vyzkouseny ... co asi tak udela olej na panvi nad horakem? Jo, jasne, dneska CPU nevyhori ... jen zacne throtlovat.
-
Saaaakrááá... už to zase trochu s tím trollením přeháníš ;) Je zajímavý, že si u nich nikdo za tři roky nevšiml, že jim to nefunguje a musel jsi jim to říct až ty :) Jedinej tvůj opravdu relevantní argument je s tou podporou, opravdu si nedokážu představit technika HP, jak ho někdo dovede k vaně plné oleje a oznámí mu, že nefunguje ten třetí server zleva, ať se snaží. Co se týče cirkulace oleje, myslím, že rozdílné teploty u různých komponent budou dostatečné pro velmi pozvolnou cirkulaci, která by tomu měla stačit. Zahřeje-li se něco výrazně víc, zrychlí se tím i ta samovolná cirkulace. A co udělá olej na pánvi nad hořákem? Záleží na typu, ale kolem teplot do 100C bych byl klidnej, se správným typem můžeme jít i násobně výše. Co se týče kontaktu v konektorech, taky bych se asi nebál, bude dost záležet na viskozitě toho oleje, pokud to netestují s 10let ježděným vyjeťákem a nemaj konektory vyklechtaný jak lehká děva svůj pracovní nástroj, nevidím důvod, proč by to mělo nefungovat a naopak to velmi dobře konektory chrání před korozí a prachem. Co se týče nějakého hnití oleje, syntetika je zajisté velmi chutnou stravou pro hnilobné mikroorganismy a pokud bude prostředí relativně čisté, nebál bych se ani o kvalitu oleje z dlouhodobějšího hlediska. V nejhorším na to můžou dát pokličky kdykoliv.
-
My klimatizaci mít vůbec nebudeme. Vše se bude odehrávat v oleji a vodě. Servery nemůžete potopit do vody, protože by jakékoliv smítko znamenalo zkrat a konec.
Tento typ oleje je trvanlivý a v provozu ho budeme zavírat (nyní máme zavírání také, ale nepoužíváme ho). Olej nemusí cirkulovat. Není k tomu důvod. Odvod tepla olejem je 1200x lepší, než vzduchem. Z toho pohledu nedojde k lokálnímu přehřátí žádné komponenty.
Když už o tom víte tolik, tak jistě víte, že máme vyřešené i záruky a support. Někteří výrobci už dali dříve "dobrozdání" a uznávají záruky a s dalšími jednáme a testujeme společně. Takže se to skutečně vyplatí. A nebojím se pod svůj názor podepsat, protože to již dlouho testujeme.
-
To si zvyknete. J nemá názor. J si nemyslí. J prostě ví. A navíc cokoliv, z jakéhokoliv oboru a se vším má i vlastní zkušenost.
Jinak držím palce, je to hodně odvážné a rozhodně velmi přínosné. Pro zajímavost, jestli jsem správně odhadl všechny vstupní parametry, ušetří to při plném datacentru tak 3mil ročně jen na energiích? A další peníze na větší spolehlivosti, levnějším HW, údržba čerpadel bude asi taky levnější, než údržba klimatizace a ještě budou mít všichni krásný ruce :D Ale opravdu by mě zajímalo, jak se vám podařil domluvit support na utopené servery :) Chudáci technici v sáčku a kravatě :D
-
Podstatné je to, že by se člověk neměl za své názory stydět. Pokud máte osobní zkušenosti a vše si vyzkoušíte na vlastní kůži, tak věřte tomu, že potom není problém si takové názory obhajovat. Jedna věc je, že jsme hodně věcí řešili teoreticky a potom jsme to dlouhé roky potápěli a řešili prakticky. Takové zkušenosti moc lidí nemá.
Ano, počítáme s vyšší spolehlivostí. Levnější HW také bude (o jednotky procent). A určitě nemusíme řešit problémy s klimatizací.
Věřte tomu, že i záruky a podpora od výrobců se řeší a úspěšně.
-
j (neregistrovaný)
2Tuxik: Jo, jen ty to mas vymleto, vis hosiku, ja delal tyhle hokuspokusy v dobe, kdy na tebe jeste mama s tatou nezadelali. A tech procaku a dalsiho zeleza co pri tom vyhorelo rozhodne malo nebylo. A podobnych lidi znam par desitek osobne a po netu par tisicovek. Kupodivu prakticky vsichni z tehle picovin davno vyrostli.
2bez přezdívky: Jak by, normalni podvod ... ze to spousta lidi sezrala? V tom pripade diky ... jo, puvodne ten stroj vazne ve vode bezel, jenze jaksi voda moc dlouho cista nevydrzi ... a tak to samo po par minutach chciplo, takze se vymyslela pekna habadura. Delalo to tenkrat vic firem, ale podvod to byl vsude ...
2Sten: Procak ma kolem 120+ stupnu na povrchu bez chladice, kdyz zacne throtlovat. Pokud to nijak (= cirkulaci) neodvedes, tak tam tech 120 bude proste porad.
Olej je sice o fous lepsi nez voda, ale zadnej zasadni rozdil v tom neni. Ten olej na plotne ti bude prskat tam, kde hori ohen, a tam kde je studenej plech si do nej klidne sahnes. Samo pokud bude rozmer dostatecne rozumnej => rekneme 1:1000 a vic. CPu ma rekneme 10x10. Ta vana tak 600x1200.
Mimochodem, proc myslis, ze se v aute voda ohriva na 100 stupnu? Nj, aby to melo dostatecnej tepelnej spad a chlazeni bylo dostatecne uciny. Protoze pri nizsi teplote by byl treba vyrazne vetsi chladic.
-
No děláš ze sebe čím dál většího troubu :) Tvoje pokusy o urážky nemůžou na průměrně inteligentního člověka fungovat. Takový kecy mají jedinci s lehce opožděným vývojem naposledy kolem 18 roku života. Osobně ti doporučuji spolupráci s Wedosem, Myslím, že s tvými vědomostmi a praktickými zkušenostmi nebudou na konzultacích s tebou vůbec šetřit. A těch kontaktů na tisíce lidí potápějících servery, samozřejmě to všichni zkoušeli několik let a i přes svoje akademické tituly se marně pokoušeli vymyslet tebou popsané (z velké části neexistující) problémy.
Co se týče voda vs olej, nepodařilo se mi najít žádný druh oleje, který by měl lepší tepelnou vodivost, než voda, což ještě neznamená, že neexistuje, ale pokud je to opravdu tak, tak voda je jako primární chladivo vhodnější. S vodou je samozřejmě problém kvůli vhodnosti pro mikroorganismy, rychlosti odpařování, korozi, rychlé změně vodivosti při znečištění a navíc se blbě pije.
Voda v autě má takovou teplotu, na jakou je spočítaná a to především s ohledem na požadovanou provozní teplotu motoru, na kterou je motor s ohledem na teplotní roztažnosti a různé další fyzikální vlastnosti materiálů konstruován. Velikost chladiče je potom samozřejmě navržena tak, aby to prostě dobře vycházelo a stihlo se to uchladit.
-
Jenda74 (neregistrovaný)
1. Mají to vyzkoušené a funguje jim to minimálně rok - není co řešit a už vůbec ne jen proto, že Vám to vyhořelo
2. dle fotek tam chladiče zůstávají, jen bez větráků - tj. styčná plocha chlazení CPU a spol. je spolu s chladičem, takže velká + ta násobná tepelná vodivost oleje.
3. tepelná vodivost oleje je násobně lepší než u vody, takže nikoliv o fous. A i kdyby, pořád násobně lepší než vzduch.
4. olej a kontakty - jsou i oleje na kontakty, nastříkáte, spojíte a ono to funguje, protože je k tomu účelu určeno. I to je olej, který má taktéž jistě dobrou tepelnou vodivost a tím to máte vyřešeno.Tepelný spád jak jej popisujete je nesmysl, jednak je 100 st. (v případě auta) teplota varu, takže jste to právě uvařil a význam tepelného spádu je právě opačný- čím je vetší, tím je chlazení/topení účinnější, neboli médium převzalo/předalo více energie.
Snad jen nevím proč je teplo odváděno pryč ze skříně odspodu, když teplý olej půjde nahoru, ...ale funguje jim to.
-
Vyzkoušeli jsme 9 různých laků a máme jeden vybraný. Nemá vliv na konektory a jejich vlastnosti, ale je to čistě látka, která celý server naimpregnuje a odpuzuje kapaliny (na server nepřilne olej). Následně se to díky tomu dá dobře odmastit (postříkáte látkou, která je doplňkem k té impregnační).
U těchto speciálních látek (v cenách několik tisíc korun za litr) se bavíme mikronových vrstvách (a spotřebě v řádu stokorun na jeden server). Konektory s tím nemají problém. Osobně vyzkoušeno.
Pokud použijete nějaký ochranný lak, který se nanáší v milimetrové vrstvě, tak tam je to něco jiného, ale to není náš případ. -
Sten (neregistrovaný)
Olej ve vodním chlazení být nemůže, protože má výrazně menší viskozitu a ty konektory na to nejsou dělané (zkus se někdy podívat, jak ty rychlospojky vypadají a na jakém principu funguje to, že to při odpojení nevyteče). Hlavní výhoda vodního chlazení je, že ho můžeš nasadit v existující serverovně a že ho můžeš nasazovat postupně. Olejové chlazení znamená všechno překopat.
Cirkulovat nic nemusí. Voda má velmi špatnou tepelnou vodivost, proto musí cirkulovat. Ale opět, tohle platí jen pro vodu. U oleje to neplatí. Můžeš si to nad tím hořákem zkusit, olej začne vařit na celé ploše.
-
S tímhle nejde úplně souhlasit. Důvodů je několik...:
- nechladíte celý server, ale jen vybrané zdroje tepla (CPU, grafiky, výjimečně RAM) a přitom třeba paměti nebo disky generují docela dost tepla, což je podstatné. Například SSD disky generují téměř 5 Wattů na kus. Jen u nás v serverovně je to dost kilowattů tepla každou hodinu...,
- u takového serveru neodstraníte část spotřeby a tou jsou ventilátory a klimatizace, protože je mít musíte,
- voda je elektricky vodivá (tedy pokud není dokonale čistá) a pokud by se cokoliv stalo...
- přivádět vodu do serverů, kde je elektřina je tudíž velmi riskantní (a to i přes trend, že se tím dnes zabývají desítky výrobců na světě)
I touhle vývojovou cestou jsme se zabývali, ale tak zásadní úspory tam nejsou. Je tam spíše rozdíl v tom, že dokážete lokálně uchladit silnější zdroj tepla (silný CPU nebo silnou grafiku), ale když tam budete mít třeba 20 disků (což není nic neobvyklého), tak máte stovky wattů tepla, které musíte stejně dostat ze serveru ventilátorem (a jeho provoz není zdarma) a následně chladit klimatizací (jejíž cena také není zdarma).
Pokud server plave v oleji celý, tak to má další výhody:
- dokonalé odchlazení všech komponent
- nejsou tam žádné lokální místa, která by se přehřívala
- server nemá vibrace
- server je absolutně tichý
- server je bez prachu
- server snadno přetaktujete
A to vůbec neřeším pořizovací (a provozní) náklady... -
j (neregistrovaný)
Fyzika, zakladni skola ... ale to nic ... ony se prece bezne konektory mazou olejem, treba proto, aby se mene opotrebovaly ...a predevsim proto, ze to pak lepe vede. Ti co si je nechavaji delat pozlacene jsou bridilove, ktery tomu nerozumej. Natoz ti, co konstruujou prumyslovy konektory, ktery sou nejen VODOtesne, ale i OLEJOtesne (coz je vzhledem k velikosti molekul celkem podstatny rozdil). Vlastne to delaj naprosto zbytecne, protoze ten olej by to zlepsil.
-
Jenže to mazání konektorů se nedělá kvůli té vodivosti, ale právě kvůli opotřebení a snížení tření a tím třeba rizika jiskření (a vypalování = fyzického poškození nebo rizika požáru).
V principu všechny kovové konektory jsou "kov na kov". Nikde se nepřenáší ethernet v UTP konektorech přes nějakou vzduchovou mezeru, ale přenáší se elektrický signál. A ten se nepřenese přes mezeru. Stejné je u dalších komponent.
Olejů jsou různé druhy a některé jsou agresivní a mohou konektory třeba poškodit, protože reagují s určitými kovy... Proto se dělají různé konektory s různou ochranou.
Ale to už se opakujeme. Vy máte odlišný názor, který si nechcete nechat vysvětlit. Můžete se přijet podívat a uvidíte, že i ten izolující olej přenáší vše v UTP konektoru nebo 230V v napájecím nebo můžeme vyndat RAM nebo disky a vše funguje. A není to žádné překvapení, ale naopak jen zkušenost a zároveň i podstata těch konektorů- -
Ano, podobné technologie jsou, ale nezapomínejte na to, že tím primárně teplo neodvedete, ale dokážete uchladit lokální zdroj tepla a tak zabránit přehřívání. Nevychladíte tím celý server nebo celou serverovnu.
Navíc tento postup je mnohem komplikovanější, rizikovější a dražší, než prosté ponoření do oleje.
-
Eda (neregistrovaný)
"nejsou tam žádné lokální místa, která by se přehřívala"
Úplně homogenní to podle mě nebude, může se podle mě stát že nad komponentou která výrazněji generuje teplo bude další taková komponenta a ta už bude chlazena jen ohřátým stoupající sloupcem oleje. Pokud by se teoreticky vyskytlo takových komponent několik nad sebou, tak už ta nejvrchnější může mít problém, ale možná kecám, je to jen názor laika. -
Ano, náš poslední prototyp je přesně tak, jak píšete. V podstatě bude oběh vody a v olejových vanách bude výměník (podobný princip podlahovému topení). Všude mimo vany tedy bude voda a do bazénu bude oběh vody. Tam bude výměník voda-voda, který se běžně používá v průmyslu pro obrovská chlazení (je spolehlivý a osvědčený a levný).
Použití vody je levnější, bezpečnější, úspornější (lépe vede teplo), -
Vladimír Kozák (neregistrovaný)
Tak je to v podstatě jediné logické řešení, takže by mne spíš překvapilo něco jiného. Jenom přemýšlím, jak je řešená cirkulace oleje ve vaně. Hadice s chladící vodou je na nejnižším místě vany, tedy na nejchladnějším místě. Míchá tedy něco olejem, využívá se "komínového" efektu, nebo se teplo přenáší jen vedením?
-
JBMelectric (neregistrovaný)
Takže jestli jsem to dobře pochopil, ponoříte ve třetí verzi chlazení servery přímo do vany, kterou probíhá potrubí s chladící vodou a ve stěnách bude také chladící voda?
Jestli je tomu tak, tak to bych z tohoto řešení vůbec nespal. Jak píšete, že cena serveru se pohybuje v řádech nového domu a spoléhat na těsnost všech komponentů, to se mi moc nezdá. Stát se může cokoliv, malá prasklinka vzniklá únavou materiálu a čerpadla do vany se serverem napumpují spoustu vody.
Já bych to viděl spíše na oddělení vany se serverem a výměníku tepla olej/voda. ještě mezi vymyslet nějakou detekci vody, kdyby se objevila v oleji, aby to hned odřízlo vadný chladící okruh a zapojilo záložní. -
Vladimír Kozák (neregistrovaný)
Na únavu materiálu musí být nějaké jeho namáhání (mechanické, tepelné). V tomto případě nic takového nehrozí. Nerezové vlnovce se používají i pro pohyblivé přívody kapalin pod tlakem, a tady nebude ani pohyb ani tlak, ani agresívní prostředí - životnost odhaduji na několik tisíc let :-)
-
Kekou (neregistrovaný)
Lze sledovat "spotřebu" vody pro dálkový okruh a úniky včas odhalit.
(U nás v kancelářské budově se to nesleduje - pro běžné otopné radiátory - takže když několik týdnů unikala voda do dvojité podlahy, tak na to nikdo nepřišel; řádově tisíce litrů, než to začalo prosákovat litým betonem k sousedům a vzlínat po zdech).
-
I to se může stát, ale ani potom nemusí být katastrofa. Olej se s vodou "nemá rád" a tak se obě substance oddělí a vznikne zkrat a okamžitě bude po problému. Samozřejmě, že to je nyní teorie. Uvidíme až to nastane.
Obecně vzato ten zvlněnec je docela pevný a nemanipuluje se s ním. Riziko poškození je minimální. Když jsme měli verzi 2, tak jsme měli oběh oleje do deskového výměnu. Tam je riziko podobné. -
Vladimír Kozák (neregistrovaný)
Když už jste "nakousl" tu elektriku - předpokládám, že v takovém prostředí bude použita IT (izolovaná soustava), nebo se mýlím? To by ale znamenalo docela dost vysoké náklady? Samozřejmě, pokud by se servery napájely 48V, tak není skoro co řešit (i když spotřeba mědi a cena by byla stejná, možná vyšší než na ty izolační trafa)?
-
Petr M (neregistrovaný)
Z pohledu bezpečnosti to vypadá stejně, TN obstojí. Pokud IT, tak jenom kvůli spolehlivosti (jeden průraz na zem nesestřelí napájení).
Podívej se na rozvodny VN/VVN od ABB, živý kovový části v kovových trubkách, naplněno olejem a světe div se, ty vnější trubky vychází menší, než by byl prostor kolem živých částí ve vzduchu. Proto se to ostatně prodává, je to dražší než vzduchová izolace, ale pokud je stísněný prostor,... (a v odpínačích atd. to líp zháší oblouky).
-
Vladimír Kozák (neregistrovaný)
Já nemyslím, že by olej nebyl dobrý izolant, to samozřejmě je. Ale jsem trochu nedůvěřivý, co se týče možné poruchy, a následné bezpečnosti. Přece jenom tím olejem protéká voda, nějaké to potrubí bude i kolem, a možnost úniku je vždycky (díky vadnému těsnění voda nastříká do vany klidně i z prostorů mimo vany, stát se může cokoli, zvlášť, když bude vana odkrytá). Dále, nevím, jestli i v tom produkčním provedení zůstane ten chumel drátů (včetně napájení). Zdá se mi to trochu nepřehledné, nemůže se někde skřípnout? Tím, že není přístup "zezadu" racku, mi to přijde náchylnější na poškození. Vany budou samozřejmě pospojované a uzemněné, nicméně předpokládám, že tam nebude ani proudová ochrana (kvůli spolehlivosti), takže osobně bych se s tím pracovat docela bál. Ale on už se někdo najde, stejně jako se určitě najde nějaký projektant, který si to vezme na svědomí :-)
-
Olejů je strašně moc druhů a některé izolují lépe. Jiné hůře. Některý se mísí s vodou a jiný ne.
Možnost úniku vody tam je, ale je tak minimální, že to riziko za to stojí. Pokud se olej s vodou nemísí, tak okamžitě dojde k odpojení napájení a potom je to jedno. Server by se neměl poškodit, ale určitě na to uděláme nějaký test. V serverovně bude rozvod vody pod podlahou, olejové vany nad podlahou a elektřina pod stropem.
Vana bude zavřená. Máme normálně k dispozici víka, ale nezavíráme to, protože tím testujeme další vlastnosti (stálost oleje, odolnost proti prachu, vzlínání, odpařování...).
Chumel drátů je tam jen v jedné pracovní verzi a to jsou různé pomocné dráty. Pokud se podíváte přesně, tak tam vidíte průchodky a tam jsou reálné a skutečně používané dráty (napájení, konektivita apod.). I v nerezové vaně máme profesionální průchodky.
Přístup zezadu nepotřebujeme, protože finální servery budou mít všechny konektory z přístupné strany a nic nebude ze zadní strany. Na obrázcích jsou testovací stroje - je to vývojová řada.
Proudové chrániče a uzemnění tam budou. -
Vladimír Kozák (neregistrovaný)
Tak to už vypadá mnohem bezpečněji. Ale překvapuje mne ta proudová ochrana. Je to věc docela náchylná na "falešné poplachy", a byl jsem si jistý, že s ní v projektu nepočítáte. Vždyť i budovy se dělají s odděleným zásuvkovým okruhem bez FI pro počítače z tohoto důvodu. Samozřejmě z důvodu bezpečnosti jsem rád, ale...
-
V současné serverovně máme na všech okruzích speciálně proudové chrániče a nikdy nebyl za 5,5 roku provozu problém. Možná je to tím, že v serverovně máme pořádek, jen naše servery, jen jednu modelovou řadu serverů, vyváženou zátěž, obsluhu dělají lidi s pověřením, elektroinstalaci dělají lidí se zkušenostmi... a tak by šlo pokračovat.
Všechny servery mají duální napájení - každé z nezávislé větvě. Moonshoty dokonce 3 větvě. -
To se skutečně stalo před více než 2 lety, ale nesouviselo to se zapojením nebo proudovými chrániči, ale došlo k selhání několika věcí směrem od nás ven a následně potom k selhání motorgenerátoru. Proto v novém datacentru budou motorgenerátory 2 (každý zvládne nezávisle 100% zátěže), Stejný krok nyní připravujeme v současném datacentru, kde už jsme udělali stavební úpravy a nyní se čeká na výstavbu trafostanice.
-
Vladimír Kozák (neregistrovaný)
Základem pro stačí/nestačí by měl být protokol o určení vnějších vlivů. Ale už tu bylo potvrzeno, že proudová ochrana tam bude, z čehož jsem právě trochu překvapený. Já nejsem projektant, ale rizikem bych to olejové chlazení laicky řadil někam jako třeba 3.zónu v koupelně. Tam musí být zemění, pospojování a proudový chránič. Nebo v koupelně (předpokládám) můžete mít místo TN třeba IT, když na to máte. Můj osobní závěr je, že něco z toho by tam být mělo. Ale proudová ochrana je poruchová a IT soustava drahá.
-
Sten (neregistrovaný)
Ten olej není vodivý, takže toho se ochrana netýká. Ale je tam i voda. I když podle popisu ve článku má být v odděleném prostoru, takže by ochranu taky neměla vyžadovat. No, chtělo by to vidět ten protokol.
V té koupelně to lze ještě řešit pomocí SELV, typicky 12 V.
Jinak většinou se tohle řeší tak, že tam je těch chráničů co nejvíc. IT se použije teprve tehdy, když to přes chrániče prostě nejde, což jsou třeba případy strojů s velkými ztrátami (fabriky) nebo když to nesmí vypadnout (nemocnice).
-
Petr M (neregistrovaný)
Chránič v tomto případě nemá problém s falešným spouštěním, ale s něčím trochu jiným - s unikajícím proudem. Filtr na vstupu zdroje má kapacity řádově stovky nF mezi kostrou, fází a nulou a unikající proud tam už pak dělá pěknou neplechu. Pokud by tam měl být chránič na ochranu před nebezpečným dotykem, tak jmenovitý unikající proud je 30mA, tzn. toleranci chrániče 15-30mA, Pokud tam budou tři zdroje s unikajícím proudem 5mA +/-10%, bude veselo.
Takže za sebe, chránič k racku ani omylem. To nemám ani doma a to je tam unikající proud jenom 8mA. Řeším to pomocí CY6 z kostry na HOP a zámkem - není to zásuvka s laickou obsluhou a podle ČSN EN 33 2000 tam v tom případě chránič mít ani nemusím.
-
Ano, podobná oběhová čerpadla se médiem chladí a mažou. Dnes jsou čerpadla v různých cenových relacích a zkoušeli jsme použít i ta nejlevnější (přesně stálo 1.004 Kč) a překvapivě funguje již téměř rok. Věříme, že ještě dlouho vydrží.
Do provozu chceme nasadit čerpadla lepší kategorie (jsou i výrazně úspornější než ta levnější) a chceme u nich řídit otáčky. -
V posledním prototypu máme oběh vody. Takže bez problémů.
Z hlediska oběhu bude vše redundantní (trasy, čerpadla, výměníky). Máme tedy možnost provést výměnu a údržbu jakékoliv komponenty bez potřeby vypnutí. Chceme TIER IV certifikaci :-)
Navíc u oleje je to tak, že má velkou tepelnou setrvačnost a zvládne provozně i vysoké teploty (a komponentám to nevadí). Když by v naší současné serverovně selhalo chlazení, tak do 10 minut je v serverovně hodně přes 40 stupňů a vše je "uvařené" a vypnuté.
U oleje ten náběh je výrazně pozvolnější. Mnohonásobně pomalejší... A máme otestováno i to, že serverům nevadí vysoké teploty. Testovali jsme i 56 stupňů a vše jelo. Při 58 se nám "rozsypal" výstup z grafické karty a na monitoru byly rozházené kostičky. Vše fungovalo a jelo. Po ochlazení se grafika napravila. -
Karel (neregistrovaný)
Ale tak to funguje. Když se vám vaří voda v hrnci, tak v celém. Nestane se vám, že na dně by se to vařilo a na hladině to mrzlo. V oleji ani ve vodě prostě nijak zvlášť velký rozdíl teplot nedosáhnete. A už vůbec ne na dlouho, během několika málo desítek sekund se vám teplota opět víceméně vyrovná.
Ověřeno bezmála stoletím používání. Když se vám začne vařit olej v transformátoru, tak se vám začne vařit všechen najednou. Což je blbé zaprvé proto, že je to hodně vroucího oleje najednou, a zadruhé proto, že k tomu nedojde ihned při závadě, ale klidně až po hodinách provozu, kdy vám ta teplota postupně roste jak se olej ohřívá. A to trafo pak několik hodin nebo i dní musí chladnout.
-
Sten (neregistrovaný)
Právě že s vodou to tak funguje, jen pokud jde teplo zespodu, ale celkem snadno se může stát, že bude vřít na hladině a na dně bude mrznout (ostatně je to jeden z běžných fyzikálních pokusů na střední škole). Proto u vodního chlazení potřebujete čerpadlo. Olej ale vede teplo, takže tam se to nestává a opravdu bude vařit celý.
-
j (neregistrovaný)
Jasne ... olej vede teplo fakt uzasne ... vyrobci chladicu sou kreteni ... misto kg medi by prece stacilo udelat skorapku a napustit ji olejem.
Mimochodem, ad bazen .. (kravinium samo o sobe) ... bazen se bezne vyhriva na 28 stupnu. Opet, aby to funfovalo, je treba teplotni spad. Rekneme 40 stupnu na vstupu kdyz malo. Tudiz v te olejove serverovne po par hodinach provozu bude prave 40 stupnu ... a to minimalne (pri tyhle teplote se v normalni serverovne uz zacnou servery vypinat).
Samo, maly rozdil v teplote se da resit ... stejne fungujou tepelny cerpadla ... ovsem to vyzaduje ... voiala ... ENERGII. A rozhodne to neni nijak zazracne ucinny.
Dal, zdejsim silencem vytahovane HDD ... rozhodne nejsou ani vzduchotesne, natoz vodo/olejotesne. Takze je potopit do toho oleje rozhodne nemuze (teda, ono to par hodin fungovat bude, nez ten olej natece dovnitr). Naopak vsechny disky maji defakto jen prachovy uzaver, ktery je pohyblivy aby disk mohl "dychat" pri zmenach teplot/tlaku.
-
Děkuji za detailní rozbor. Opakuji to, že se k nám můžete přijet podívat.
Olej vede teplo dobře. Tady se bavíme o tom, že potřebujete uchladit pomocí 200 litrů oleje cca 1-4 kilowatty tepla. A to je pro olej nic! V průmyslu se tím chladí násobky.
V tom je ten rozdíl a žádný výrobce tedy není "kretén", jak píšete... Jsou to rozdílné aplikace.Bazén - je to otevřené koupaliště - má v nejteplejších dnech cca 24-25 stupňů. Teplotní spád není problém. Kdybyste četl příspěvky a článek, tak byste věděl, že jsme testovali i vysoké teploty. Při teplotě oleje cca 56 stupňů vše fungovalo a žádný server se nemusel vypnout.
Teplotní spád tak máme dostatečný. Při běžných instalacích se počítá s teplotním spádem 5 stupňů. Když je menší nebo větší, tak se zvětší nebo naopak zmenší průtok v primárním a v sekundárním okruhu. Pokud tohle není možné, tak se musí dát výkonnější výměník. Mimochodem výměníky používané v průmyslu jsou malé, levné, osvědčené, spolehlivé a výkonné.Oběhová čerpadla budeme řídit - otáčky přes KNX. Spotřeba oběhových čerpadel je zlomek ve srovnání s klimatizací. Jen jednoduchý laický výpočet. Pro uchlazení 100 kilowatt tepla v serverovně musíte mít klimatizací, která bude spotřebovávat řádově 40-60 kWh energie. Něco vezme oběh vzduchu pomocí ventilátorů v serverech, něco v klimatizaci a zbytek jsou kompresory v klimatizaci. Oběhové čerpadlo na olej bude brát maximálně 1-3 kWh. Na vytápění domu stačí malinké oběhové čerpadlo... Tohle je podobný princip.
Pokud jde o HDD, tak Vám opět unikl další podstatný detail a to je to, že píšeme, že používáme HDD s heliovou atmosférou.
Ale takhle je to pořád. Všechny příspěvky jsou kritické, ale žádná fakta. Pod svůj názor se neumíte ani podepsat a nereagujete na pozvání na návštěvu, abyste si vše vyzkoušel a osahal...
My to testujeme od března 2013! Přes 3 roky a tak používáme fakta a na základě výsledků jsme se rozhodli pro stavbu druhého datacentra, kde bude pouze a pouze olejové chlazení. Vaše antinázory bez faktů nás v tom rozhodnutí neovlivní :-) -
Sten (neregistrovaný)
To, že olej vede teplo, neznamená, že to teplo zmizí, jen že nepotřebuješ cirkulaci média. Ale stále potřebuješ to teplo někam odvést a na to potřebuješ výměník. A pokud to teplo nepotřebuješ dopravit někam jinam, třeba do bazénu, ale budeš to teplo vypouštět do vzduchu, je mezistupeň s olejem k ničemu, protože tam stejně budeš mít obrovský chladič, úplně stejně velký jako bez oleje, jelikož potřebuješ přenášet stejné množství tepla. Zkus použít to, co máš na krku, a zamyslet se nad tím, proč ústřední topení není jen kus mědi a v čem je tedy přenášení tepla kapalinou v tomto případě výhodnější.
Tepelná čerpadla (a klimatizace) slouží k něčemu jinému, využívají změny kompresního poměru ke změnám tepelného rozdílu. To tady není potřeba, voda má obrovskou tepelnou kapacitu ve srovnání se vzduchem, takže stačí mnohem menší rozdíl při stejné ploše a průtoku. Energii stojí ta změna kompresního poměru, nikoliv přenos tepla, ten funguje automaticky podle termodynamických zákonů.
-
j (neregistrovaný)
Nevsim sem si, ze by v topeni voda stala a "vedla" teplo ... nehlede na to, ze existujou rozvody olejove nebo treba parni. Ve vsech priapdech medium cirkuluje ... protoze jinak to jaksi nefunguje.
Tepelny cerpadlo je pro tvoji informaci zcela reverzibilni proces = umi topit i chladit, zalezi jen na tom, jak se otoci. A ten kompresor se pouziva prave proto, ze ten teplotni spad neni dostatecnej k tomu, aby se tim dalo topit/chladit jen tak. Uplne stejne se da vytapet barak vodou o teplote treba 5 stupnu. A zvladne ho to vytopit na trebas 20.
A jak sem uz psal, konstrukteri aut sou taky kreteni, sak by na chlazeni stacilo tu vodu do toho proste nalejt (nebo ji vymenit za olej, to by bylo prece jeste lepsi) ... a muzem zrusit cerpadlo i chladic, uchladi se to samo. Kua ... proc je vlastne v aute voda, kdyz olej je prece daleko lepsi? A navic to nebude rezivet ... uz sis to patentoval?
-
Chtělo by se to skutečně přijet podívat. To bude nejlepší. Někdy už je zbytečné se opakovat a něco vysvětlovat. Vše podkládáme zkušenostmi a fakty.
Pokud jde o vedení tepla, tak i na první pohled "nehybná" kapalina teplo vede. Teplo se převádí na sousední molekuly... Říká se tomu přenos (sdílení) tepla vedením.
Potom jsou přenosy tepla prouděním apod., což je druhá situace. To, že se dělá v rozvodech pohyb je kvůli tomu, že tam potřebujete docílit větších kapacit a větších výkonů.
Jistě víte, že když si napustíte vanu ledovou vodou a potom na jednom konci nelijete vařící, tak ta vařící nezůstane jen v tom jednom místě, ale postupně se teploty srovnají. A nemusíte to míchat. Pokud to zamícháte, tak to bude rychleji...
V případě, že olej vede teplo dostatečně, tak nám při 200 litrech oleje v nádobě nebude dělat problém to, abychom uchladili 1-4 kW tepla sdílením. Ano, počítáme s tím, že dole bude mít olej o několik (cca 5) stupňů méně, než nahoře, ale to ničemu nevadí. Na funkčnost to nebude mít vliv. Vrstva oleje bude cca 25 centimetrů.Co se týká chlazená aut, tak tam jde jak o provozní teplotu, tak i o dostupnost kapaliny a další vlivy. Olej naopak na tohle není ideální a nikdo tady netvrdí, že olej je "všelék" na chlazení. To jste se jen zasekl Vy a zatím jste nepřipustil žádnou z výhod olejového chlazení. Vše kritizujete a přitom se bojíte pod své závěry podepsat a nepřipouštíte možnost, že by druhá strana mohla mít pravdu. Opakuji znovu nabídku na návštěvu, abyste si mohl všechny své teorie u nás vyvrátit. Testujeme to přes 3 roky a tak určitě víme o čem je řeč.
-
V tom našem pojetí, kdy chceme nulový oběh (pohyb) oleje je potřeba pasivní chladič stále mít. Je nutné tam mít dostatečnou plochu pro odvod tepla. Jen tam nejde použít teplovodivou pastu, ale musejí se používat teplovodivé samolepky.
V případě, že by olej proudil, tak by při běžném provozu chladič být nemusel. My navíc počítáme s přetaktováním CPU a tak potřebujeme dostatečnou plochu pro odvod tepla. Chladič tedy zachováme. Bude jen pasivní. Ventilátor tam být nemůže, přímo nesmí. Nedokázal by se točit v oleji a hlásil by do systému chybu (a navíc by to byla zbytečná energie). -
Adam KaliszStříbrný podporovatelVšechno co povídáte zní rozhodně dobře. Chtělo by to nějaké detailnější shrnutí k tomu výběru oleje podle určitých důležitých aspektů a příklady, které určitě nepoužít. Myslím, že pokud něco otestujete a následně otevřete, můžete z toho těžit třeba už jen proto, že když podobné řešení nasadí ostatní datacentra, tak se olej může zlevnit kvůli většímu trhu a záruka na takové nasazení automatická. Proto bych silně doporučoval otevřít řešení nebo dokonce založit sdružení pro servery v oleji :-)
Nakonec by mohli výrobci mít třeba server, který bude mít šasí jako vanu. Konektory by se nemusely ponořovat a zapojení by asi bylo o něco rychlejší. HDD by se daly možná měnit nějak elegantněji třeba kvůli nějakým 20 cm v délce navíc. Oleje by nebylo potřeba tolik, hustota van/ šasí by byla vyšší a při standardizovaném připojení na vodní okruh a určité optimalizaci komponent na provoz v oleji při vyšší teplotě by se třeba dosáhlo na výstupu chladícího okruhu i na 60+ °C, což je teplota použitelná pro ohřev vody pro domácí a průmyslové použití. Mohli byste dokonce teplo prodávat podobně jako firma Cloud&Heat z Drážďan. Ti chladí ale komplet vodou ve vodních chladičích kryjících několik komponent, používají spotřebitelské procesory a pompy řídí Arduinem a funguje to taky. Řešení s olejem se ale zdá být lepší.Jen je tedy otázka, proč HPC clustery nechladí olejem. Už jsem ve dvou aktuálních superpočítačích s vodním chlazením byl a zdálo se, že to funguje slušně. Možná by IBM a Bull a podobní měli o další vývoj technologie společnosti Wedos zájem. Nakonec chladit několik Megawatt ze superpočítače není legrace.
-
Adam KaliszStříbrný podporovatel
Musíte připustit, že mírně nekonzistentními pojmy okolo vysoké tepelné kapacity vody (isobaric mass heat capacity) https://en.wikipedia.org/wiki/Heat_capacity#Table_of_specific_heat_capacities voda je jediná praktická látka s opravdu vysokou tepelnou kapacitou vztaženou na váhu i objem. Jinak dobrá alternativa pro přenos tepla by mohl být např. parafinový vosk. Ten taje při teplotách nad 37 °C, tak by za určitých předpokladů mohl taky sloužit. Výhoda by byla, že při průsaku do vany s olejem z jakéhokoliv důvodu by to asi nebyla tragédie. Na druhou stranu ve svíčce hoří dobře... voda je pořád asi nejlepší médiu pro přenos hodně tepla pomocí malého objemu/ váhy média.
Tepelná vodivost je ale něco úplně jiného. To je vlastně rychlost přenosu tepla. Olej tedy má vysokou tepelnou vodivost, ale rozhodně ne vyšší tepelnou kapacitu (na jednotku váhy nebo objemu) než voda. Nejlepším vodičem tepla v realitě je stříbro a blízko potom měď. Do jisté míry to asi v pevných homogeních látkách souvisí s vodivostí elektrickou? Z akademického hlediska taky uhlíkové nanotrubice, grafen, diamant apod. Často v praxi vysoká tepelná vodivost značí menší tepelnou kapacitu. Třeba hliník se na chladiče používá proto, protože je poměrně levný, dobře se tvaruje, výrazně nekoroduje, ale hlavně má na jednotku váhy skoro dvakrát větší tepelnou kapacitu než měď při ještě výborné tepelné vodivosti.
Příklad z praxe: Hliníková lžička skoro vždy v ruce pálí, pokud jím něco horkého. Je ale lehoučká a rychle se zase ochladí. Ocelová lžíce je obyčejně masivnější, tak rychle se neprohřeje. Když si myslím, že už je studená, tak si ještě o polévku spálím jazyk - dlouho to trvá, než se ochladí, protože má poměrně vysokou tepelnou kapacitu.j je sice nejspíš nějaký troll, ale Vy byste mohl být jako expert v používání pojmů výrazně konzistentnější. A pokud chcete, aby Vám a Wedosu lidi věřili bez dalších diskuzí, musíte publikovat daleko serióznější objektivní data.
Můžete o tom napsat nějaký poměrně akademický článek, až budete mít konkrétní data a reprodukovatelné podmínky. Můžete popsat použité látky, vybavení, workload, průběhy teplot atd. Jsou lidé, např. Bryan Cantrill ve velkých cloudových providerech jako Joyent (teď Samsung), kteří volají po větším zapojení praktiků do publikací: http://www.slideshare.net/bcantrill/a-wardrobe-for-the-emperor-stitching-practical-bias-into-systems-software-research -
Lama (neregistrovaný)
" a muzem zrusit cerpadlo i chladic, uchladi se to samo" - budeš se divit, ale existují systémy chlazení i u motorů bez čerpadla. Alespoň nám o tom říkali ve škole, na vlastní oči jsem to neviděl. Akorát co si pamatuju to má nevýhodu, že trvá zpočátku, než se nastartuje přirozená cirkulace kapaliny podobně jako u topení v baráku když nemáte oběhové čerpadlo v topném okruhu.
-
Petr M (neregistrovaný)
Ne výrobci chladičů, ale ty.
Víš o tom, že chladit znamená odvádět teplo? Díky zákonu zachování energie teplo nezmizí (dokonce ani na chadiči), musíš mu jenom udělat cestičku někam, kde nevadí (kde ho využiješ nebo kde se může rozptýlit do prostředí).
Ohledně teplotního spádu, neexistuje prahová hodnota, kdy to přestane vyrovnávat teplotu, jenom ta rychlost je exponenciálně závislá na gradientu teploty. Pokud chceš chladit 24/7, není podstatná rychlost ochlazování, ale výkon, který (trvale) absorbuješ. Když topíš 1kW a bazén je schopný trvale absorbovat trvale 1kW, tak ti ho absorbuje bez ohledu na rozdíl teplot a ty máš (teoreticky) nekonečný čas na vyrovnávání teplot.
A co se týká energie, na starým baráku jsem měl kdysi samotížku. Teplá voda stoupala do radiátoru a studená klesala do kotle bez jakýhokoliv čerpadla. Jenom na základě tepelné energie - změna hustoty. A odváděné energie je přece dost.
A co se HDD týká, tak ty servery mají SSD přímo na desce! SSD je normální, zapouzdřený čip jako každý jiný, bez mechanických součástí. Co na tom chceš utěsňovat?
-
Jiří Dvořák (neregistrovaný)
Já mám doma olejový radiátor na elektriku, takový ten na chatu. Ve spodní části uvnitř je elektrický ohřívač. Největší teplo je dole veprostřed, pak to jde nahoru, ale po stranách, asi jak tam jsou ty žebřiny trvá dlouho než se to ohřeje, a když je to na malý výkon, po stranách směrem dolů to je ale vždy menší, až skorem studený. Já tomu teda vůbec nerozumím, jen přemýšlím, myslím, že kdybyste toho oleje měli hodně do výšky, tak by tam asi byly větší rozdíly teplot, asi taky záleží na oleji a jeho hustotě a tak aby se teplo nehromadilo nahoře jako voda.
-
Máme všechna potřebná povolení (jak od životního prostředí, tak od hasičů a hygieny). Olej navíc bude jen ve vybraných vanách a pokud některé vany budou mít dvojité stěny. Manipulace s olejem bude minimální a jen
Celé datacentrum bude sloužit jako záchytná nádrž. Takže je tam několikanásobné jištění proti úniku. -
Hexer (neregistrovaný)
Gratuluju :) kdysi na stredni skole kamarad prisel s chlazenim PC olejem (kvuli taktovani) a me to nedavalo tehdy smysl (par procent vykonu navic za tolik komplikaci). Cas plyne jako voda a kdyz jsem pak videl "normalni" vyuziti chlazeni olejem tak jsem zamackl nostalgickou slzicku :)
Bravo moc pekna prace :)
Goldn ček hende ;)
https://youtu.be/vxJ_ao5OWqw?t=1m31s -
Ba právě naopak, je tam ukrutný vedro, nicméně velmi řídké plynné prostředí blízké vakuu. S tím samozřejmě souvisí problém s odvodem tepla. Teplo sice ve vakuu vyzařuje do okolí, nicméně to není ideální a pravděpodobně bez nějakého sofistikovaného chlazení dojde k přehřátí rychleji, než na zemi. Takže vystřelit do vesmíru klidně, ale nejlépe ponořené do olejové vany a s obrovským radiátorem.
-
Ale není vesmír, jako vesmír. Aby se dalo mluvit o teplotě, je třeba mít k tomu nějakou látku. Pokud se bavíme například o oběžné dráze země, koukneme se na kamaráda Měsíčka. Teplota na odvrácené straně cca -170C, na přivrácené +135C. Sluníčko topí, co? A co že je to vlastně v tom téměř vakuu? No nic moc, hlavně částice slunečního větru - Pohyb částic slunečního větru je ovlivňován meziplanetárním magnetickým polem, zejména otevřenými slunečními silokřivkami. V blízkosti Země dosahuje typická koncentrace několika částic v metru krychlovém. Jejich teplota je kolem 3 eV (přibližně 30 000 K) a rychlost 400 až 500 km/s. Brrrr to je mi ale zima :)
-
Petr M (neregistrovaný)
Trolle, záleží u toho snad na teplotě vesmíru?
Podmínkou stabilní teploty je odvod přesně 100% ztrátovýho tepla, jinak teplota roste nebo klesá. Pokud bude mít zdroj 100W tepla, musí vyzářit 100W. Když vyzáří míň, teplota roste, když víc, teplota se snižuje.
Ve vesmíru odpadne přenos tepla výměnou a prouděním (v podstatě nejsou částice, co by si tepelnou energii předávaly), zbývá jenom IR záření. No a tam jde o to, že tepelná energie musí excitovat elektrony a ty při relaxaci vyzáří energii v podobě IR záření. Jenomže v tom hrají roli tři faktory, materiál (uspořádání valenčních elektronů), teplota (energie pro excitaci elektronů) a povrch (počet elektronů, který můžu emitovat záření). Na stabilní teplotu se tak můžu dostat až třeba při 600-800K a to už se procesoru moc líbit nebude...
(ovšem troll, co má uvnitř lebky stejný počet hmotných částic jako ve stejným objemu meziplanetárního prostoru, tohle stejně nemůže pochopit a bude dál argumentovat teplotou 3K)
-
Karel (neregistrovaný)
Teplota vesmíru to nezachrání. Důležitá je teplota toho serveru, co tam bude. Jak na to posvítí sluníčko, tak může jít teplota do stovek stupňů Celsia. Takže se vyplatí tam mít tepelný štít, i kdyby to měla být jen hodně lesklá destička. A druhá věc je, že to teplo nikam neodchází. Ono vakuum je dobrý tepelný izolant a jediný způsob, jak se teplo přenáší, je sáláním. Pokud tedy máte něco, co opravdu hodně topí, tak to musíte aktivně chladit. Kupříkladu kapalným heliem. Samo od sebe to nevystydne. Najděte si někdy něco třebas o skafandru pro výstup do vesmíru. Je v tom chladící okruh, nikoliv topení. Navzdory tomu, co čtete ve sci-fi románech, ve vesmíru nemrzne.
-
J řekl že mrzne, tak prostě mrzne. Ono teda mimochodem stačí zalézt do stínu za nějakou planetu, nebo měsíc a už to opravdu netopí. Podobná situace bude někde v mezigalaktickém prostoru, ale jinak ano... sice tam poletuje sem tam nějaká částice s teplotou blízkou absolutní nule, ale jak bylo řečeno - pokud něco aktivně topí, není tam nic, co by to teplo dokázalo odvádět a pouze radiací do okolí se to uchladí na rozumnou teplotu možná v řádech mW.
-
Obávám se, že samotný olej neodvede teplo dostatečně rychle.
Tepelné vodivosti (při 25C)
měď: 386
voda: 0,6062
vzduch: 0,0262
S olejem je to složitější, je tak někde od 0,1 až nevím kam, dle konkrétního typu.Teď si jenom uvědomuji, že v článku údaj o 1200x lepší tepelné vodivosti než vzduch, to mi přijde mimo, nikde jsem hodnotu blížící se 30 nepotkal.
Každopádně si myslím, že ten chladič minimálně na CPU být musí, aby bylo možné do oleje to teplo řádně rozdistribuovat, protože při malé kontaktní ploše by se to asi nestihlo. Ale možná kecám.
-
Petr M (neregistrovaný)
"mozno by stacili 100 x mensie chladice co uz mozno nema daleko k tomu aby tam neboli ziadne."
A co si to spočítat? Je to jednoduchý, funguje to jako elektrika nebo magnety:
- Rozdíl teploty (prostředí - čip) -> napětí
- Procházející teplo -> proud
- Tepelný odpor -> odporStačí na to fakt sčítání, odčítání, násobení a dělení.
-
Podobne to delal uz Seymour Cray na svem Cray II. Byla tam takova obrovska spousta soucastek, ze to neslo uchladit jinak nez cele ponorit do kapaliny. Netusim jake, mozna to byl velmi ridky olej, ale v kazdem pripade mu to fungovalo. Dnes ma kazdy druhy clovek computer srovnatelny s Cray II v kapse a ani o tom nevi :-).
-
To rozhodne nebyl, obavam se, ze pri te teplote by uz vetsina soucastek nefungovala. Byl to Fluorinert.
-
Alois Vitásek (neregistrovaný)
Takhle si nějak představuji co znamená slovo inovace.
Pospojovat nápady odjinud, nevynalézat zbytečně kolo, přidat něco svého a uvést to do praxe. A to za své peníze a na své riziko. Respekt a klobouk dolů. Navíc jsem si nevšiml že by v tom byli nějaké vládní či EU fondy (body navíc).
Gratuluji a přeji ať to funguje s co nejméně zádrhely.
-
Děkujeme.
Je to přesně tak. Spojili jsme nápady ze světa a z hobby prostředí. Přidali jsme k tomu chlazení, které se používá v průmyslu a ve výsledku chceme hodně moc ušetřit. Stavíme druhé datacentrum a to bez úvěrů, leasingů a dotací. Takže hledáme cestu jak ho udělat špičkově a přitom levně. A zároveň to celé musí být levně provozovatelné = nízké provozní náklady. A tohle řešení je zatím to nejlepší na co jsme přišli :-) -
None (neregistrovaný)
Dobry den,
mel bych par napadu/dotazu k Vasemu reseni, mozna jste je uz sami promysleli:
* olej casem vstrebava vzdusnou vlhkost, jak prubezne "vysusite" olej
* ruzne teply olej ve vane ma ruznou hmotnost, nestalo by za zvazeni dat chadic jinam a vyuzit gravitaci k promichani oleje "zadarmo"
* jako zalohu chlazeni si muzete rozsirit okruh o vymenik voda/vzduch, nestoji to tolik penez
* pevne disky bez pretlaku nemusite ponorit cele, muzete je nechat na hladine jen zcasti potopene
* dodatecne mohutne kovove prepazky ve vane by take dobre vedli teplo a svym objemem by usetrili napln oleje
* coz treba prostorove usporadani popsane shora: nahore disky na hladine, nepropadnou, protoze by lezely na plose vymeniku, uprostred chlazene stroje a dole jen dno vanyKazdopadne Vam fandim, je to velice zajimave reseni. Preji at se dari.
R.
-
Dobrý den,
odpovědi jsou zde:
* olej casem vstrebava vzdusnou vlhkost, jak prubezne "vysusite" olej
= olej se s vodní vlhkostí nesnáší, tj. tento druh oleje neabsorbuje vzdušnou vlhkost. Testujeme to i tím, že schválně nezavíráme vany (ačkoliv víka máme - ale tím testujeme i odolnost proti prachu a vzlínání a odpar* ruzne teply olej ve vane ma ruznou hmotnost, nestalo by za zvazeni dat chadic jinam a vyuzit gravitaci k promichani oleje "zadarmo"
= tohle nás taky napadlo, ale problém je jak to uspořádat. Tam se nabízí jen udělat velký (nebo výkonný) výměník nahoru pod hladinu oleje. A to buď jen po okrajích nádoby, kde je dost prostoru nebo přes celou hladinu, ale tam potom musíte řešit přístup k serverům. Takže by tam musela být nějaká konstrukce a pohyblivé částí (a tím riziko). My jsme schopni ten nerezový zvlněnec dát i více nahoru a na boky. Podle potřeby výkonu.* jako zalohu chlazeni si muzete rozsirit okruh o vymenik voda/vzduch, nestoji to tolik penez
= my budeme mít 2 záložní okruhy, respektive 3. Jedna jsou zásobní nádrže, druhá je odběr vody z řeky na základě povolení Povodí Vltavy a třetí (a provozně nejdražší) by šlo použít vodovod :-).
U výměníku voda/vzduch máte problém s tím, že tam bude malý tepelný spád v případě, že venku bude 36 a víc stupňů. Bylo by to energeticky náročnější a hlučné. Zároveň dražší na pořízení, protože takhle nás to nestojí téměř nic (jen přepínací ventily v systému)* pevne disky bez pretlaku nemusite ponorit cele, muzete je nechat na hladine jen zcasti potopene
= tam je riziko, že když vy hladina narostla ďíky dalším serverům) nebo by tam vznikla "vlna" při manipulaci. Je tam řešením to, že se podobné disky utopí ve speciálním obalu. Héliové disky jsou ideální a navíc jsou určené pro servery a provoz 24/7.* dodatecne mohutne kovove prepazky ve vane by take dobre vedli teplo a svym objemem by usetrili napln oleje
= to by určitě stálo za zvážení.* coz treba prostorove usporadani popsane shora: nahore disky na hladine, nepropadnou, protoze by lezely na plose vymeniku, uprostred chlazene stroje a dole jen dno vany
= jak jsem uvedl. U těch disků na hladině je malinko problém.Kazdopadne Vam fandim, je to velice zajimave reseni. Preji at se dari.
= Děkujeme -
A já to vím, já to vím... je to na 99% silikonový olej, polydimetylsiloxan, s viskozitou cca kolem 50 mPa.s (při 25C). Tepelná vodivost je někde kolem 0.16, dielektrická pevnost kolem 15kV/mm, odpuzuje vodu, teplotně stálý do 180C.... co víc si přát? :) Jen tou viskozitou si nejsem úplně jistej, může to být v různém provedení od 10 až do nějakých 500, možná i víc. Ale kolem těch 50 sem to tak nějak tipnul :)
-
Prostě na to nemůžu přestat myslet, jak se mi to líbí... Měl bych nějaké zlepšovací návrhy :)
Vrchem, i když to bude zakryté, stejně bude unikat teplo do okolí. Proč nezavěsit pod víko další vlnovec, který by byl po montáži potopen v horní části vany? Měl by vývody vrchem, poté by byl ohnutý dolů a napojený v úrovni spodní části vany. Před a za napojením samozřejmě ventil. Při manipulaci z něj sice vyteče voda, ale mimo vanu jako takovou a ve snadno zachytitelném množství. Pokud by byla celá vana chlazena ze všech stran, pomůže to udržet prostředí serverovny o trochu chladnější a tím se samozřejmě zvýší celková účinnost systému. S tím souvisí i další trochu větší, ale ne zase tak náročná a nákladná úprava. Celá serverovna je zakopaná v zemi, kolem je spousta chladného materiálu (hlína, skála) s celkem stabilní a nízkou teplotou. Jenomže je tam beton, který je relativně dobrý tepelný izolant. Nestálo by za to tam záměrně udělat nějaké tepelné mosty? Něco jako kovové (ideálně měděné, ale to bylo drahé) tyče, které by byly skrz zdi zapíchnuty do okolních hornin a vevnitř na povrchu zdi alespoň nějaká kovová deska jako jednoduchý výměník? Já vím, možná se bavíme celkem o stupni o dvou, ale pořád to může znamenat pár MHz přetaktování k dobru a v tomto množství serverů už může každých pár MHz znamenat v součtu výkon dalšího racku, přeneseně řečeno úsporu jednoho domku... -
Je fajn, že Vás to zaujalo a že Vás to baví.
Určitě se lze zabývat každým nápadem. Tam jde hlavně o rizika s tou vodou. Určitě existují nějaké ventily, které by šlo napojit přímo a bez nějakého kápnutí. Zajímavá myšlenka.Serverovna toho tepla moc nepojme. Časem se ohřeje. A vzhledem k tomu, že bude zasypaná, tak bude i zaizolovaná. V okolí by muselo být několik kilometrů trubek, aby to mělo nějaký význam. Potom je otázka ekonomické návratnosti. Snazší, levnější a provozně za cca 1-2% energie to dopravit do bazénu. A tam ochladit.
Pokud jde o vytápění budovy, tak s tím počítáme. V budově bude pouze podlahové a stěnové topení. Bez jediného radiátoru a vše se bude vytápět odpadním teplem. Přímo. Bez nějakých dalších mezičlánků.
Stejně tak máme nyní řešené vytápění prvního datacentra, kde máme oběh vzduchu. Plyn už jsme před lety odhlásili a topíme jen servery. A stejně v okolí taje sníh... -
No pořád mám pocit, že 120 kubíků oleje při nějakých 60C, asi tam bude hodně teplíčko... S tím tepelným mostem to je spíš otázka na odborníky, jestli by to mělo význam, ale minimálně pasivní vzduchotecnika by udělat šla, komíny, některé ve stropě, některé na bocích u země, teplý vzduch by měl stoupat vzhůru, spodem to nasaje studenější... ale s tím se předpokládám taky počítá, asi nevymyslím za jeden večer něco, co už nenapadlo někoho, kdo se tím zabývá :D
A co se týče toho chlazení ve víku, myslel jsem to tak, že by bylo napojeno venku pod úrovní víka, takže případná ukáplá voda by vytekla na zem (do kbelíku) a ne do vany. Minimálně by šlo udělat na každém konci ventily 2 a spoj mezi nimi, tím by se ukápnutí minimalizovalo pouze na malý obsah trubky mezi spojem a ventilem. -
mngnt (neregistrovaný)
No toto ma celkom zaujalo. V clanku spominate teplotu oleja 56 stupnov ako extrem, dajme tomu, ze olej bude mat 40 stupnov v normalnej prevadzke. Fakt to nechcete klimatizovat? Ak by som bol servisak od HP, ktory vam ide menit zelezo alebo updatovat nejaky FW, nebol by som spokojny. Vasi technici asi tiez nebudu prave najstastnejsi, ked tam budu robit zasahy.
-
Klimatizace by byla ekonomicky špatné řešení. Máme to vymyšlené jinak. V sále bude skutečně teplo. Počítáme někde přes 30 stupňů, protože chladící voda bude o něco chladnější a odváděná bude zase naopak teplejší (než těch 30). Ve vaně budeme držet maximálně 43 stupňů, aby byla rezerva pro nějaké nepředpokládané události (například výpadky - přestože vše bude redundantní).
Pokud se bude dělat servis, tak se díl vezme do sousední místnosti, kde bude příznivější klima. Pokud by se mělo pracovat v sále delší dobu, tak se normálně vyvětrá a vychladí vzduchem zvenku. Ale to bude výjimečné, protože v sále bude snížená hladina kyslíku, které bude sloužit jako prevence vzniku požáru. -
Počítáme s tím, že vše bude sledováno a monitorováno přes 2 nezávislé detekce (každá na jiném principu a od jiného dodavatele).
Vyvětrání nikdy nebude náhlé, protože je tam přes 1500 m3 prostoru a bude tam potřeba dostat přes 120 m3 kyslíku (takže přes 550 m3 vzduchu), aby se to srovnalo na běžnou úroveň. To vše potrvá a bude se dělat výjimečně, protože je to i neekonomické. -
xmikus01 (neregistrovaný)
Zvažovali jste také dvoufázové ponorné chlazení (two-phase immersion cooling) serverů pomocí kapalin 3M Novec (např. Novec 7000, Novec 7100, Novec 649, Novec 1230 - používá se též jako inertní hasivo)?
Velikou výhodou je, že díky varu kapaliny s velkým měrným skupenským teplem za poměrně nízké teploty není potřeba řešit promíchání kapaliny a že servery zůstávají po vytažení čisté (kapaliny 3M Novec se používají i na odpařovací čištění elektroniky a optiky). Velkou nevýhodou je cena kapaliny a nutnost mít servery v hermeticky uzavřeném boxu (není nezbytné, jelikož kapaliny 3M Novec jsou poměrně neškodné k životnímu prostředí, ale vzhledem k ceně kapaliny hlavně ekonomicky nutné), což komplikuje případný servis komponent.
U tuto technologii se zajímám spíše teoreticky a nemám s ní žádné praktické zkušenosti a přiznám se, že ani neznám alespoň orientační ceny kapaliny (podle diskuzí na internetu je ale cena hodně vysoká). Zkušenosti firem jako Allied Control na poměrně velkých projektech ukazují, že to taky jeden z možných způsobů chlazení serverů, který umožňuje dosáhnout velice nízké PUE při velké energetické a výkonnostní hustotě.
Zajímal by mne váš názor na tuto technologii a případné srovnání s přístupem firmy WEDOS.
-
Tuto technologii známe. Chcete slyšet pravdu nebo PR povídání? :-)
Princip je podobný jako u oleje a našeho prototypu verze 3. Ano, jen s tím rozdílem, že kapalina 3M má nízký bod varu a tak se vaří, vypaří a pára stoupá vzhůru a tam "narazí" na výměník a ochladí se (předá teplo výměníku) a opět se zkapalní a sražená tekutina "spadne dolů" do nádrže.
V principu se to tedy strašně podobá našemu řešení ve verzi 3. Tedy jeden okruh (sekundární) poháněný čerpadlem a jinak oběh kapaliny v primárním okruhu samovolně. Pokud bychom dali výměník nahoru a byl by potopený v oleji, tak se oba systémy velmi podobají a výsledkem bude to, že v naší vaně bude teplota podobná. Bohužel zatím nemáme nahoře vyřešené pohyblivé připojení našeho výměníku.
Tím, že my máme výměník dole a na bocích, tak máme mírně horší chlazení (uprostřed nahoře bude tepleji). Třeba přijdeme na nějaký pohyblivý "kloub" a výměníkem budeme moci pohybovat a bude moci být i nahoře. Vzhledem k tomu, že máme hloubku vany jen cca 25 cm, tak rozdíly v teplotách nebudou tak zásadní.Principy tedy stejné a výsledky u nás stejné jak u Allied Control.
"Krásná" kapalina. Čirá, s nižší viskozitou, bez zápachu, bez mastnoty, ale...
Ale jsou podstatná:
- Cena
Celkově je to neekonomické. Kapalina je cca 60x (a více) krát dražší, než námi zvolený olej. My napustíme vanu s 1 Moonshotem za cca 7.000 korun. 3M bude stát téměř 500.000. Pokud vezmete v úvahu, že plánujeme až 560 takových van, tak máte rozdíl (3-4 miliony korun versus 200-300M). Ceny už jsou po nějakých množstevních slevách...- Těkavost
Mimořádně těkavá kapalina a pokud máte jakoukoliv netěsnost, tak se vana vyprázdní (a doslova vypaří) a můžete koupit kapalinu znovu... -
xmikus01 (neregistrovaný)
Navrhuji uspořádat zde v diskuzi tipovačku, jaký olej WEDOS používá. Výherce sice zřejmě nic nedostane a možná se ani nedozvíme správný výsledek, ale zajímá mne, co tipují ostatní :-)
Co jsem si pročítal diskuzi, tak vidím tip od uživatele Tuxík, že se jedná o silikonový olej. Podle indicií v článku a diskuzi s ním souhlasím a dovolím si upřesnit tento tip, že by se mohlo jednat o LUKOSIOL M 100 (případně jiný olej z této řady s jinou viskozitou, ale já bych volil právě tento). Lučební závody a.s. Kolín jsou totiž jedním (možná i jediným) tuzemským výrobcem chemických výrobků na bázi silikonu (takže dobrá skladová dostupnost) a podle technického listu požadavky uvedené v článku na chladící olej myslím splňuje.
-
JA (neregistrovaný)
Grill bude grilovat servery v oleji:o)
Osobne bych se bal, ze olej bude natahovat vzdusnou vlhkost. Ale zas na druhou stranu, jak jim to jede 3 roky, tak je to asi ok. V nejhorsim ho vymeni a taky ty servery nemaji moralni zivotnost neomezenou, takze kdyz se podelaji za 5 let, tak chuj s nima. Jeste to muzou rozprodat za par supu lidem do starych ropaku:) Znam lidi, co jezdi normalne na tesco olej, kdyz je v akci (vubec jsem neveril, ze by to mohlo jit).
Urcite to neni spatny napad a urcite to neni zadna novinka .... si pamatuju prvni pocitac ponoreny v oleji na svem prvnim invexu a to uz bude dobrych 20 let:)
Typ oleje bych jiste netutlal, je to zbytecne a nevim proc? Mozna pred lety to bylo zajimave badani, ale dnes je uz dost mozne, ze podobne oleje jsou specialne na to. A to nehledim na fakt, ze kdybych chtel vzit 20 cisteren oleje, asi by mi ve velke renomovane firme s laboratori dokazali poradit jaky typ vybrat. A to samozrejme nemluvim o tom, ze kdyz prijede 20 cisteten, ze asi nebude zrovna snadne utajit vyrobce nebo aspon dodejce:o) Ktery by jiste posleze, pokud bych chtel dalsich 20 pro sve datacentrum, rad sdelil o jaky presne olej slo:o) Asi to budou mit i hasici nekde v dokumentaci a pozarni zprave .... myslim, ze polemizovat nad tim, zda si tohle jakoze nechat pro sebe a tajit neco tak velkeho, co se da zjistit z hromady zdroju nebo to normalne rict a byt jeste za "dobraka", je celkem jednoznacne .... -
Dobrý den,
pokud jde o prohlídky, tak po předchozí dohodě s naším obchodním oddělením je možné si prohlédnout současné řešení (tedy první datacentrum a v něm testovací řešení oleje). Druhé datacentrum stavíme a jakmile bude hotové, tak budeme dělat nějaké prohlídky a Dny otevřených dveří a následně i školení v sousední administrativní budově. Takže problém s prohlídkou neděláme.
-
A jak je to s tím olejem? Už to můžete říct? Díval jsem se k vám na stránky, a nějak jsem ani neměl chuť tam něco hledat. Nechci přímo říkat, že se mi z nich udělalo špatně, ale vypadá to... no nemá to úroveň. Celý nějaký moc naplácaný na sobě, barevný jak stránky školky a vrcholem jsou ty žlutě podbarvené/zvýrazněné texty (někde i červeně). Opravdu bych doporučoval se nad tím zamyslet.
-
Dobrý den,
olej zveřejníme spolu s dalšími informacemi (zatím není určeno kdy přesně).Pokud jde o stránky, tak víme, že to jsou "omalovánky", ale my nejsme grafické studio, ale hosting. Principem stránek má být podaní informací a prodej služeb. To funguje. přes naše stránky prodáme každý měsíc víc hostingů a domén, než ostatní na trhu (jež mají krásné weby).
Zkoušeli jsme jednou stránky odbarvit a použít jiné. A výsledek? Prodeje mínus 40%. Takže jsme se rychle vrátili zpět. Připravujeme nějaké úpravy, ale není to tak aktuální.
To jen na vysvětlenou. -
Mě by zajímalo, co na to celé řekne revizní technik když uvidií "dráty vedoucí do nádob s kapalinou neznámých vlastností", drtivou většinu spotřebičů použitou v rozporu s návodem výrobce...
Pak by mě ještě zajímala teplota v samotné serverovně - pokud v místnosti v moderní (slušně izolované) stavbě bude několi desítek nerezových van s olejem o teplotě 50+°C a nebude tam žádná klima tak si myslím, že i v té místnosti bude +/- 50°C. Pro techniky nic moc ;-)
-
Je to boží (neregistrovaný)
Je to úžasnej nápad.
Mám ale dvě poznámky, první pro pana Grilla:
Sto disků po pěti wattech nevyrobí 0,5 kW každou hodinu, ono vyrábí půl kilowattu tepla furt. Za hodinu vyrobí 0,5 kWh, tedy půl kilowatthodiny, jinak půl kilowatty, lidově řečeno.Von si to stejně málokdo představí, kolik to půlkilowatty tepla je.Druhá:
Tepelná vodivost vody (0,6 W/K/m) je mnohem větší, než oleje (skoro všechny běžné kapaliny včetně kapalného dusíku mají 0,1 až 0,2; výjimky jsou čpavek, glykol a rtuť :--).Pro chlazení ve vaně jsou ale důležité jiné dvě věci: tepelná kapacita (4,2 kJ/kg/K voda; 1,8 olej)
a tepelná roztažnost (olej 8e-4 /K, voda 2e-4/K).
Olej odvádí teplo tím, že ohřátý=roztažený=lehčí stoupá vzhůru.Tím se "nasáté" teplo odvádí pryč a olej ve vaně se zvolna promíchává.Na kakési přednášce o testování trafoolejů (hoši byli z baňské) se blýskli historkou, "V tesku ve slevě měli slunečnicovy olej za patnast korun, tak zme ho kupili a byl druhy najlepši."
-
Zaujímala by ma možnosť použiť tento spôsob teplotného manažmentu pre chladenie Li-ion článkov.
Články, kabeláž aj s BMS by boli ponorené v oleji v hermeticky uzatvorenom module. Z modulu by trčali konektory na prepojenie kabeláže modulov a koncovky na prepojenie oleja. Vďaka dobrej tepelnej vodivosti by stačil jeden centrálny ohrev/chladenie pre viacero prepojených modulov.
Myslíte si že by bola táto konštrukcia reálna? -
Dream (neregistrovaný)
Stejné chlazení už používají i těžaři kryptoměn viz.: https://kryptomagazin.cz/prichazi-novy-trend-tezby-bitcoinu/
