Návrh efektívnych systémov chladenia kvapalinou pre dátové centrá

 

I Komponenty chladiaceho systému dátového centra

 

Väčšina elektrickej energie spotrebovanej IT zariadeniami sa premieňa na odpadové teplo. Aby sa zaistilo, že IT vybavenie bude fungovať vo vhodnom teplotnom rozsahu, dátové centrá sú vybavené systémami chladenia a odvodu tepla, vrátane chladičov, chladiacich veží a presných klimatizačných jednotiek, ktoré odvádzajú odpadové teplo z dátového centra. Proces prenosu tepla je znázornený na obrázku 1. Medzi kľúčové body spotreby energie patria chladiče, chladiace veže, čerpadlá a presné klimatizačné jednotky.

 

▲ Obrázok 1: Prenos tepla v dátových centrách

 

V súčasnosti sú primárne teplonosné médiá v dátových centrách vzduch alebo voda. Voda so špecifickou tepelnou kapacitou pri konštantnom tlaku 1,004 kJ/(KgK) a mernou tepelnou kapacitou 4200 kJ/(KgK) má kapacitu prenosu tepla približne 1,000-krát väčšiu ako vzduch. Preto je použitie vody ako chladiaceho média účinným spôsobom šetrenia energie pri navrhovaní chladiacich systémov. Na zlepšenie energetickej účinnosti chladiacich systémov sa na zachytávanie a prenos tepla používajú opatrenia, ako sú vysokoúčinné radiátory a presná dodávka vzduchu.

 

V presnej klimatizácii sa chladenie vyvinulo z úrovne miestnosti na modulárne dátové miestnosti a chladenie na úrovni racku, čím sa posunulo bližšie k zdroju tepla a znížilo spotrebu energie pri preprave chladiacej kvapaliny. Generovanie zdrojov chladenia pokročilo od chladenia vzduchom k chladeniu vodou a prirodzenému chladeniu, čím sa zvyšuje účinnosť externého prenosu tepla.

 

 

Tradičné chladiace systémy sú vybavené nezávislými riadiacimi systémami a prevádzkovými stratégiami pre presnú klimatizáciu, chladiče a chladiace veže, čím sa lokálne optimalizuje účinnosť. Celková účinnosť chladenia si však stále vyžaduje zlepšenie.

 

Systematické zlepšenia možno dosiahnuť komplexným riadením a precíznou kontrolou zberu tepla, prípravy zdroja chladenia a externého prenosu tepla, čím sa zníži spotreba energie chladiaceho systému.

 

 

II Konštrukcia systému chladenia kvapalín typu End-to-End

 

1. Dizajn kvapalinového chladenia na úrovni dosky

S exponenciálnym rastom dopytu po výpočtovom výkone sa výrazne zvýšila integrácia a spotreba energie CPU a GPU, pričom spotreba energie jedného čipu dosahuje 300 W. Tradičné chladiče čipov a riešenia vzduchového chladenia narážali na problémy s chladením. Keďže čip je zdrojom tepla, primárnou výzvou pre chladiaci systém dátového centra je efektívne odstraňovať teplo z čipu.

 

Z hľadiska odvodu tepla sa teplo generované čipom musí najskôr preniesť do chladiča na úrovni dosky. Efektívnejšie riešenia chladičov uľahčia lepší zber tepla.

 

Pre jednotlivé čipy so spotrebou energie pod 200 W a IT zariadenia so spotrebou energie pod 20 kW na rack môže byť ako teplonosné médium naďalej použitý vzduch. Chladiče tepelných trubíc a chladiče parnej komory (VC) v kombinácii s materiálmi TIM s vysokou tepelnou vodivosťou (ako sú grafitové dosky/grafén) účinne znižujú tepelný odpor medzi čipom a základňou chladiča, čím zlepšujú účinnosť chladiča.

 

Pre jednotlivé čipy so spotrebou vyššou ako 200W a IT zariadenia so spotrebou vyššou ako 20kW na rack už vzduch ako teplonosné médium nestačí a na chladenie je potrebné použiť chladiacu kvapalinu. Kvapalinou chladená technológia studenej dosky je v súčasnosti vyspelým riešením pre chladenie čipov na úrovni dosky. Kvapalinou chladená studená doska pozostáva zo vstupných a výstupných konektorov, horného krytu a základnej dosky, ktoré sú spojené vákuovým spájkovaním, aby vytvorili utesnenú kvapalinovú teplovýmennú komoru. Komora obsahuje distribučné komory a rôzne široké prietokové kanály, ktoré riadia tok tekutiny a zvyšujú turbulenciu, čím zlepšujú lokálne chladiace schopnosti a eliminujú horúce miesta spôsobené vysokovýkonnými čipmi. Vnútorná štruktúra je znázornená na obrázku 2.

 

▲ Obrázok 2: Prierez kvapalinou chladenou studenou doskou

 

Rôzne typy dosiek v rámci toho istého stojana majú rôzne úrovne výkonu a horúce miesta, ale napájací tlak na vstupnom konektore prívodného potrubia kvapaliny je vo všeobecnosti rovnaký, čo si vyžaduje, aby distribučná komora studenej dosky ovládala škrtenie. Pri doskách s nižšou spotrebou čipu škrtenie znižuje prietok chladiacej kvapaliny. V praxi kvapalinou chladené chladiace platne pokrývajú CPU, pamäť a ďalšie vysokovýkonné komponenty, ale komponenty ako odpory a kondenzátory, ktoré nie sú pokryté, vytvárajú zvyškové teplo, ktoré vyžaduje chladenie ventilátorom. Výsledkom je kombinácia chladenia kvapalinou a vzduchom v rámci systému, čo ponecháva priestor na zlepšenie účinnosti chladenia.

 

Použitím materiálov TIM na pokrytie všetkých komponentov počas konštrukcie studenej dosky je možné technicky dosiahnuť 100% chladenie kvapalinou, čo však zvyšuje náklady a zložitosť studenej dosky. Pri presadzovaní efektívneho chladenia je potrebné zvážiť aj počiatočné náklady. Ak sú typy uzlových dosiek jednotné, možno uvažovať o plne pokrytej doske s počiatočnými nákladmi kompenzovanými škálovaním výroby, čím sa dosiahne rovnováha medzi úsporami energie a investíciami.

 

 

Deionizovaná voda sa zvyčajne používa ako chladivo pri chladení kvapalín kvôli jej vysokej špecifickej tepelnej kapacite, ktorá umožňuje rýchlu absorpciu tepla, pričom je nekorozívna, čím neovplyvňuje spoľahlivosť potrubia. Chladenie chladiacou doskou je nepriame, pričom čip nie je v priamom kontakte s chladiacou kvapalinou, výsledkom čoho je vysoká spoľahlivosť a vyspelá technológia.

 

Medzi čipom a chladiacou kvapalinou však existuje tepelný odpor, čo vedie niektorých výrobcov k podpore riešení ponorného chladenia. Pri ponornom chladení sú IT zariadenia ponorené do cirkulujúcej kvapaliny, pričom čip je v priamom kontakte s chladiacou kvapalinou, čím sa znižuje tepelný odpor, pričom sa využíva zmena fázy na odstránenie väčšieho množstva tepla, čím sa stáva novým hotspotom v kvapalinovom chladení. Fluórované kvapaliny sa bežne používajú ako chladivá pri ponornom chladení, ale ich vysoká cena je prekážkou pre komerčné použitie vo veľkom meradle.

 

2. Chladenie kvapalinou na úrovni stojana

V dátových centrách sú IT zariadenia usporiadané do stojanov, v ktorých sú umiestnené informačné zariadenia dátových centier, ako sú servery, úložné zariadenia a sieťové prepínače. Zatiaľ čo chladenie na úrovni dosky odoberá teplo z jednotlivých IT zariadení, chladenie na úrovni racku zhromažďuje a prenáša teplo von. Medzi kľúčové komponenty kvapalinového chladenia na úrovni stojana patria vstupné a výstupné potrubia, monitorovacie jednotky, snímače teploty, solenoidové ventily a spätné ventily, ako je znázornené na obrázku 3.

 

▲ Obrázok 3: Konfigurácia chladenia kvapalinou na úrovni stojana

 

Rozdeľovač sa externe pripája k distribučnej jednotke chladenia kvapalinou na úrovni miestnosti a zvnútra pomocou rýchlych konektorov k vstupným a výstupným konektorom kvapalinou chladenej studenej dosky, čím sa uľahčuje prenos systémového tepla do vonkajšej časti stojana.

Hlavnými funkciami solenoidového ventilu a spätného ventilu je regulovať prietok kvapaliny a obmedziť rozsah zlyhania na jeden stojan v prípade úniku.

 

Primárnou úlohou snímača teploty je nepretržité monitorovanie teploty vstupnej a výstupnej vody. Využitím teplotného rozdielu medzi vstupnou a výstupnou vodou riadi otváranie solenoidového ventilu, čím riadi prietok vody a zabezpečuje, že teplo a prietok sú zosúladené.

Kvapalinový chladiaci systém používa ako pracovnú kvapalinu deionizovanú vodu, ktorá teoreticky nespôsobí skrat.

 

Dosky plošných spojov alebo elektronické komponenty však často obsahujú prachové častice a keď sa deionizovaná voda dostane do kontaktu s doskou plošných spojov, môže spôsobiť skrat. Toto je jedna z hlavných prekážok a obáv pri implementácii kvapalinového chladenia. Na riešenie problému netesnosti studenej dosky sa používajú opatrenia ako kontrola kvality, monitorovanie mikroúnikov a prevencia náhlych veľkých únikov.

 

Kontrola kvality je rozdelená na výrobné a inštalačné aplikačné fázy. Vo výrobnej fáze je zabezpečená spoľahlivosť procesu, 100% studených platní prechádza tlakovou skúškou a ultrazvuk sa používa na náhodný odber vzoriek a detekciu defektov. Rýchlospojovacie armatúry musia byť overené pre efektívne zasunutie a dlhodobú spoľahlivosť. Vo fáze aplikácie inštalácie musí byť sekundárne potrubie pred inštaláciou prepláchnuté, aby sa zabránilo nečistotám spôsobujúcim upchatie rýchlospojkových armatúr, zaseknutie pružiny alebo zlyhanie gumových krúžkov, čím sa zabráni netesnostiam počas prevádzky. Vyššie uvedené opatrenia majú za cieľ v maximálnej možnej miere zabrániť úniku.

 

 

Ak dôjde k mikroúniku chladiacej platne, musí sa dať zistiť a spustiť alarm, ktorý prinúti personál údržby, aby ju urýchlene opravili. Existujú dva spôsoby detekcie: jeden využíva snímač ponorenia do vody, ktorý je inštalovaný na odkvapkávacej miske. Hlavnou funkciou odkvapkávacej misky je uľahčiť detekciu netesností a zabrániť úniku kvapaliny mimo stojana, čím sa zníži šírenie porúch.

 

Zatiaľ čo detekcia ponorenia do vody je vyspelá a spoľahlivá, vyžaduje, aby sa unikajúca tekutina nahromadila v odkvapkávacej miske potom, čo pretekala pozdĺž hardvérovej dosky a armatúr stojana, pričom v tomto čase môže byť celkové množstvo uniknutej tekutiny značné a môže už poškodiť dosku. a komponenty počas toku.

 

Ďalšou metódou je monitorovanie v reálnom čase. Do pracovnej tekutiny sa primieša stopovacia látka s nízkym bodom varu a v prípade úniku ju zaznamená senzor plynu zabudovaný v doske. Náhle úniky veľkého rozsahu sú zriedkavé, ale majú veľký vplyv. Aby sa predišlo takýmto incidentom, sú na vstupe a výstupe rozdeľovača na stojane nainštalované spätné ventily. Tieto spätné ventily sa automaticky zatvoria, keď sa zistí významný tlakový rozdiel.

 

3. Dizajn kvapalinového chladenia na úrovni miestnosti

Chladenie na úrovni miestnosti je navrhnuté tak, aby prenášalo teplo extrahované zo stojanov von. Riešenie kvapalinového chladenia na úrovni miestnosti zahŕňa kvapalinou chladenú modulárnu dátovú miestnosť, chladiče, vodné čerpadlá, chladiace veže, potrubia a ďalšie, ako je znázornené na obrázku 4.

 

▲ Obrázok 4: Konfigurácia chladenia kvapalinou na úrovni miestnosti

 

Kvapalinou chladená modulárna dátová miestnosť zvyčajne obsahuje dve záložné jednotky na distribúciu chladenia kvapalinou (CDU), 10-20 IT stojany, 1-2 radové klimatizácie a napájacie zariadenie, ako je znázornené na obrázku 4.

 

Distribučná jednotka chladenia kvapalinou (CDU) je zodpovedná za distribúciu pracovnej tekutiny medzi IT kvapalinou chladenými stojanmi, pričom zabezpečuje distribúciu prietoku na sekundárnej strane, riadenie tlaku, fyzickú izoláciu a funkcie proti kondenzácii. Počas skutočnej prevádzky dodáva CDU určitý prietok a teplotu chladiacej vody do IT stojanov chladených kvapalinou, ktorá cez rozdeľovač vstupuje do kvapalinou chladených chladiacich platní, odvádza teplo generované procesormi a kľúčovými komponentmi a vracia ohriate chladenie. vody do medziľahlej teplovýmennej jednotky CDU. Teplo sa potom uvoľňuje do vonkajšieho potrubia vratnej vody a táto časť tepla sa odvádza do vonkajšieho prostredia cez chladiče alebo suché chladiče, čím sa dokončí proces riadenia tepla pre servery chladené kvapalinou.

 

CDU reguluje teplotu a prietok chladiacej kvapaliny vstupujúcej do kvapalinou chladených chladiacich platní, čím zabezpečuje chladenie IT stojanov a distribuuje chladiaci výkon. Interná teplovýmenná jednotka tiež zohráva úlohu pri izolácii okruhu prívodu kvapaliny medzi modulárnou dátovou miestnosťou a vonkajším prostredím. Kvôli svojej kritickej úlohe CDU zvyčajne využíva konfiguráciu redundancie 1+1. CDU riadi prietok chladiacej kvapaliny zisťovaním teploty vstupnej a výstupnej vody a tlaku na prívode a úpravou rýchlosti čerpadla prívodnej vody.

 

 

V súčasnosti väčšina riadiacich systémov CDU nie je prepojená s teplotnými snímačmi v stojanoch, čo vedie k relatívne hrubému riadeniu. Na vyriešenie tohto problému niektoré aplikácie nahradili centralizované jednotky CDU distribuovanými jednotkami CDU, ktoré sú integrované do stojanov. Týmto spôsobom sú úpravy toku CDU úplne založené na prevádzkovom stave a kolísaní spotreby energie stojana. Centralizované jednotky CDU sú vhodné pre scenáre s veľkým počtom stojanov chladených kvapalinou, ktoré možno zlúčiť do modulárnej dátovej miestnosti, zatiaľ čo distribuované jednotky CDU sú vhodnejšie pre situácie s iba 2-3 stojanmi chladenými kvapalinou, čo uľahčuje nasadenie.

 

 

III Záver

 

Pod vedením dvojuhlíkových cieľov nesú dátové centrá dvojité poslanie: na jednej strane prostredníctvom intenzívnych a škálovaných operácií poskytujú dostatočný výpočtový výkon pre digitálnu ekonomiku. Rozšírené používanie stojanov s vysokou hustotou a vysokovýkonných čipov, poháňaných efektívnosťou výpočtového výkonu dátových centier, spôsobilo, že tradičné chladenie vzduchom narážalo na úzke miesta. Na druhej strane, využitím vysokoúčinných výmenníkov tepla, kvapalinového chladenia a prirodzeného chladenia zo suchých chladičov môžu dátové centrá znížiť vlastnú spotrebu energie.

 

Po zavedení chladenia kvapalinou sa účinnosť chladenia výrazne zlepšila, pričom spotreba energie chladiacich systémov sa znížila z 37 % na približne 10 %, čo vedie k významným úsporám energie a zníženiu emisií uhlíka. Ak 50 % novovybudovaných dátových centier na celoštátnej úrovni zavedie kvapalinové chladenie, môže sa ročne ušetriť 45 miliárd kWh elektrickej energie a 3 milióny ton CO₂ emisie môžu byť znížené.