Plne kvapalinou chladený server na chladenie

 

S cieľom ďalej napredovať vo vývoji technológie chladenia kvapalinou a vylepšiť ekosystém sa spoločnosť Inspur Information v spolupráci so spoločnosťou Intel zamerala na optimalizáciu návrhov chladenia kvapalinou pre univerzálne servery s vysokou hustotou.

 

Okrem rozšíreného priemyselného prijatia kvapalinového chladenia CPU a GPU sa uskutočnil hĺbkový prieskum a výskum kvapalinového chladenia pre vysokovýkonné pamäte, SSD, sieťové karty OCP, PSU, PCIe karty a optické moduly.

 

Výsledkom tohto úsilia je dosiahnutie najvyššieho pokrytia kvapalinovým chladením v odvetví, splnenie rôznych požiadaviek na nasadenie pre rôzne úrovne pokrytia kvapalinovým chladením a poskytovanie všeobecných možností infraštruktúry a rozmanitej technickej podpory pre zákazníkov v odvetviach, ako je internet a telekomunikácie.

 

Tento vývoj plne chladeného systému chladených dosiek je založený na 2U štvoruzlovom výpočtovom serveri s vysokou hustotou i24 spoločnosti Inspur Information. Každý kvapalinou chladený uzol podporuje dva škálovateľné procesory Intel 5. generácie Xeon, spárované so 16 pamäťovými modulmi DDR5, jednou rozširujúcou kartou PCIe a jednou sieťovou kartou OCP 3.{10}} Celý systém môže podporovať až osem SSD, čím spĺňa požiadavky zákazníkov na úložisko a zároveň dosahuje výpočtový výkon s vysokou hustotou.Medzi hlavné komponenty servera, ktoré generujú teplo, patrí CPU, pamäť, I/O karty, lokálne pevné disky a napájanie šasi.

 

Roztok chladenia kvapalinou umožňuje, aby bolo približne 95 % tepla systému priamo odvádzaných kvapalinou prostredníctvom kontaktu studenej dosky so zdrojom tepla. Zvyšných 5% tepla je odvádzaných chladiacou vodou vo výmenníku tepla vzduch-kvapalina umiestnenom za PSU, čím sa dosahuje takmer 100% zachytenie kvapalného tepla na úrovni systému.

 

 

I Zloženie systému a rozloženie potrubia

 

1. Prehľad plne kvapalinou chladeného serverového systému

2U štvoruzlový plne kvapalinou chladený serverový systém pozostáva z uzlov, šasi, strednej roviny a modulov SSD. Spojenie medzi uzlami a komponentmi podvozku je realizované prostredníctvom slepých spojení pre vodu, napájanie a signály cez rýchle konektory, napájacie a signálne konektory.

 

▲ Obrázok 1. 2U štvoruzlový server chladený plnou vlnou

 

2. Prehľad jediného uzla servera plne chladeného kvapalinou

Plne kvapalinou chladený serverový uzol pozostáva z plášťa uzla, základnej dosky, čipov CPU, pamäťových modulov, studenej platne pamäte, studenej platne CPU, I/O studenej platne, napájacieho zdroja a zadného výmenníka tepla pre napájanie.

 

▲ Obrázok 2. Plne kvapalinou chladený serverový uzol

 

 

II Výber vzoru prietoku a výpočet prietoku

 

Aby sa zjednodušila zložitosť návrhu prietokovej cesty, tento plne kvapalinou chladený server používa sériový dizajn prietokovej cesty pre chladiacu kvapalinu. Chladivo prúdi z komponentov s nízkym výkonom do komponentov s vysokým výkonom, aby sa odvádzalo teplo. Podrobný smer prúdenia je znázornený na obrázku a tabuľke nižšie.

 

▲ Prietok série 2U štvoruzlového servera plne chladeného kvapalinou

 

▲ Tabuľka 3. Postupnosť prietoku chladiaceho média

 

Prietok plne liquid-cooviedolserver mmusí spĺňať požiadavky na chladenie systému:

• Aby sa zabezpečila dlhodobá spoľahlivosť materiálu potrubia na sekundárnej strane, teplota vratnej vody na sekundárnej strane by nemala presiahnuť 65 stupňov.
• Aby sa zabezpečilo, že všetky komponenty plne kvapalinou chladeného servera spĺňajú požiadavky na chladenie v rámci definovaných okrajových podmienok, na analýzu návrhu prietoku sa vyberie medená studená platňa a PG25.

 

Aby sa splnila požiadavka, aby teplota vratnej vody na sekundárnej strane nepresiahla 65 stupňov, minimálny prietok PG25 na uzol, Qmin, sa vypočíta podľa nasledujúceho vzorca:

 

Qmin=Psys / (ρ * C * ∆T) ≈ 1,3 LPM

 

 

III Dizajn kľúčového komponentu plne kvapalinou chladenej serverovej studenej dosky

 

1. Dizajn studenej dosky CPU

Modul studenej dosky CPU je referenčný dizajn optimalizovaný na základe požiadaviek na dizajn studenej dosky 5. generácie Xeon škálovateľného procesora Intel. Zohľadňuje faktory, ako je chladenie, konštrukčný výkon, výnos, náklady a kompatibilita s rôznymi materiálmi. Chladiaca platňa CPU sa primárne skladá z hliníkovej konzoly studenej platne CPU, chladiacej platne CPU a konektorov chladiacej platne.

 

▲ Obrázok 4. Modul chladiacej dosky CPU

 

2. Dizajn chladenia pamäťovou kvapalinou

Konštrukcia pamäťového kvapalinového chladenia využíva inovatívne riešenie kvapalinového chladenia spacieho chladiča, pomenované podľa pamäťových modulov, ktoré sú usporiadané ako podvaly na železničnej trati. Toto riešenie kombinuje tradičné chladenie vzduchom a chladenie studenými platňami. Chladič, ktorý má zabudované tepelné trubice (alebo čisté hliníkové/medené platne, Vapor Chamber atď.), prenáša teplo z pamäťových modulov na oba konce. Teplo sa potom prenáša na chladiacu platňu cez vybrané tepelné podložky a nakoniec chladiaca kvapalina v chladiacej platni odvádza teplo preč, čím sa dosiahne chladenie pamäte.

 

Pamäť a chladič možno zostaviť do najmenšej jednotky údržby mimo systému (ďalej len pamäťový modul). Chladiaca platňa pamäte obsahuje upevňovaciu štruktúru pamäťového modulu, ktorá zabezpečuje dobrý kontakt medzi chladičom a platňou pamäte. Táto upevňovacia konštrukcia môže byť podľa potreby zaistená skrutkami alebo udržiavaná bez náradia. Horná časť chladiacej platne pamäte ochladzuje pamäť, zatiaľ čo spodná časť môže chladiť iné komponenty generujúce teplo na základnej doske, ako sú VR. Na zjednodušenie konštrukcie studenej platne pamäte je možné medzi pamäť a základnú dosku navrhnúť držiak adaptéra, ktorý spĺňa výškové obmedzenia rôznych základných dosiek.

 

▲ Obrázok 5. Kvapalný chladiaci roztok chladiča spánku

 

V porovnaní s existujúcimi riešeniami kvapalného chladenia s pamäťou hadíc na trhu má riešenie kvapalinového chladenia spacieho chladiča tieto hlavné výhody:

 

Jednoduchá údržba:Údržba pamäte je rovnako jednoduchá ako údržba vzduchom chladeného pamäťového modulu, bez toho, aby ste museli odstraňovať chladič a upevňovacie prvky. To výrazne zlepšuje efektivitu montáže a spoľahlivosť kvapalinou chladenej pamäte, čím sa znižuje potenciálne poškodenie pamäťových čipov a tepelných podložiek počas demontáže a opätovnej montáže v systéme.

 

Dobrá kompatibilita:Výkon odvádzania tepla tohto riešenia nie je ovplyvnený rôznymi hrúbkami pamäťových čipov a rozmiestnením pamäte. Je kompatibilný s minimálnou pamäťou 7,5 mm a viac. Oddelená konštrukcia chladiča a studenej dosky umožňuje opätovné použitie a štandardizáciu chladenia pamäťovou kvapalinou.

 

Vyššia nákladová efektívnosť:Pamäťový chladič je možné vybrať na základe spotreby energie pamäte, s rôznymi procesmi a technológiami chladenia a množstvo je možné nakonfigurovať podľa potreby podľa pamäte. V scenári s rozstupom pamäte 7,5 mm môže uspokojiť potreby chladenia pamäťových modulov presahujúcich 30 W.

 

Jednoduchosť výroby a montáže:Medzi pamäťovými slotmi nie sú žiadne rúrky na chladenie kvapaliny, čím sa eliminuje potreba zložitého zvárania rúr a riadenia procesu. Je možné použiť tradičný vzduchom chladený chladič a všeobecné výrobné procesy chladiacej dosky CPU. Pri montáži chladiča nie je výkon odvodu tepla citlivý na tolerancie medzi chladičom a základnou doskou v smere kolmom na rovinu pamäťového čipu, čím sa zabráni zlému tepelnému kontaktu a uľahčí sa montáž.

 

Dobrá spoľahlivosť:Riešenie spacieho kvapalinového chladenia zabraňuje potenciálnemu poškodeniu pamäťových čipov a tepelných podložiek počas montáže a vydrží viacnásobné vkladanie a vyberanie. Okrem toho bráni riziku zlyhania kontaktov signálu spôsobeného naklonením medzi pamäťou a slotmi po inštalácii pamäťových a hadičiek kvapalinového chladenia, čím sa výrazne zvyšuje spoľahlivosť systému.

 

3. Dizajn kvapalinového chladenia pevného disku

Inovatívne riešenie kvapalného chladenia SSD (solid-state drive) využíva chladič so vstavanými tepelnými trubicami na prenos tepla z oblasti pevného disku na chladiacu platňu mimo oblasti pevného disku prostredníctvom priameho kontaktu s tepelnými podložkami, čím sa dosiahne výmena tepla.

 

Toto riešenie kvapalného chladenia SSD pozostáva hlavne z modulu SSD vybaveného chladičom, studenej platne SSD, uzamykacieho mechanizmu modulu pevného disku a držiaka pevného disku. Uzamykací mechanizmus modulu pevného disku je upevnený na držiaku pevného disku, aby poskytoval primeranú silu predpätia a zaisťoval dlhodobú spoľahlivosť kontaktu medzi modulom SSD a studenou platňou SSD. Na uľahčenie inštalácie slučky studenej dosky pevného disku v obmedzenom priestore je držiak pevného disku navrhnutý spôsobom inštalácie zásuvkového typu v smere hĺbky servera.

 

▲ Obrázok 6. Inovatívne riešenie kvapalinového chladenia polovodičového disku

 

Pokročilé funkcie tohto riešenia v porovnaní s existujúcimi pokusmi o tekuté chladenie pevných diskov v tomto odvetví zahŕňajú:

 

• Podporuje viac ako 30 hot-swapov bez vypnutia systému.
• Žiadne riziko strihového poškodenia materiálov tepelného rozhrania počas inštalácie pevného disku; konštrukcia uzamykacieho mechanizmu zaisťuje dlhodobú spoľahlivosť kontaktu.
• Nízke požiadavky na spracovanie kvapalného chladiaceho roztoku; sú potrebné iba tradičné techniky chladenia vzduchom a procesorového chladenia.
• Žiadny dizajn vody medzi pevnými diskami; viaceré pevné disky môžu zdieľať tú istú studenú platňu, čím sa znižuje počet spojov a znižuje sa riziko netesností.
• Flexibilne sa prispôsobuje systémom s rôznymi hrúbkami a množstvom pevných diskov (SSD).

 

4. Dizajn kvapalinového chladenia karty PCIe/OCP

 

Kvapalné chladiace riešenie PCIe

Riešenie kvapalinového chladenia karty PCIe je založené na existujúcej vzduchom chladenej karte PCIe. Dosahuje chladenie pre optický modul a hlavné čipy na karte PCIe vyvinutím chladiaceho modulu karty PCIe, ktorý môže kontaktovať chladiacu platňu systému. Teplo z optického modulu sa prenáša cez tepelné trubice do hlavného chladiaceho modulu na čipe karty PCIe a chladiaci modul si potom vymieňa teplo s IO studenou doskou cez vhodný materiál tepelného rozhrania.

 

Kvapalinou chladená PCIe karta pozostáva hlavne z QSFP chladiča, chladiaceho modulu PCIe čipu a samotnej PCIe karty. Príchytka chladiča QSFP je navrhnutá s primeranou elasticitou, aby sa zabezpečilo správne plávanie, keď sú chladič QSFP a klietka na chladiacom module PCIe spojené, čo poskytuje dobrý používateľský zážitok, zabraňuje poškodeniu optického modulu a zabezpečuje stabilný kontakt pre efektívne chladenie.

 

▲ Obrázok 7. Modul chladenia kvapaliny karty PCle

 

OCP3.0 Kvapalné chladiace riešenie

Riešenie kvapalinového chladenia karty OCP3.{1}} je podobné karte PCIe, kde sa pre kartu OCP3 používa vlastný kvapalinou chladený chladič.0. Teplo generované čipmi na karte sa prenáša do kvapalinou chladeného chladiča a teplo sa nakoniec odvádza kontaktom medzi chladičom a IO studenou doskou systému.

 

Modul kvapalného chladenia OCP3.{1}} pozostáva hlavne z modulu chladiča, karty OCP3.0 a jej držiaka. Z dôvodu priestorových obmedzení sa ako uzamykací mechanizmus používa pružinová skrutka, ktorá zaisťuje dlhodobú spoľahlivosť kontaktu medzi modulom chladiča a vstupnou doskou po zložení kvapalinou chladenej karty OCP3.0.

 

▲ Obrázok 8. OCp3.0 Modul chladenia kvapaliny

 

Vzhľadom na jednoduchosť budúcej údržby a potrebu viacerých hot-swapov karty OCP3.0 bol dizajn uzamykacieho mechanizmu a výber materiálov tepelného rozhrania optimalizovaný s cieľom zvýšiť celkovú spoľahlivosť a jednoduchosť prevádzky a údržbu.

 

IO Cold Plate Solution

Chladiaca platňa IO je multifunkčná studená platňa, ktorá nielenže odvádza teplo z vykurovacích komponentov v oblasti IO základnej dosky, ale aj chladí kvapalinou chladenú kartu PCIe a kvapalinou chladenú kartu OCP3.0.

 

▲ Obrázok 9. 10 Studená platňa

 

▲ Obrázok 10. Pozícia kvapalinou chladenej PCle karty, kvapalinou chladenej OCP3.0 a IO studenej platne

 

Chladiaca doska IO pozostáva predovšetkým z tela studenej dosky IO a kanálov z medených rúrok. Telo studenej dosky IO je vyrobené z hliníkovej zliatiny, zatiaľ čo medené rúrky sú zodpovedné za kanály chladiacej kvapaliny a zlepšujú odvod tepla. Špecifický dizajn je potrebné optimalizovať na základe rozloženia základnej dosky a požiadaviek na chladenie komponentov. Moduly chladiča na kvapalinou chladenej karte PCIe a kvapalinou chladenej karte OCP3.0 sa dotknite studenej dosky IO v smere šípky. Pri výbere materiálu pre kanály chladiacej kvapaliny je potrebné zvážiť kompatibilitu s chladiacou kvapalinou potrubia systému a zvlhčovacími materiálmi.

 

Toto IO chladiace kvapalinové chladiace riešenie spĺňa požiadavky na viacrozmernú montáž viacerých komponentov. Kombinované použitie medených a hliníkových materiálov rieši problémy s kompatibilitou materiálov, zaisťuje účinnosť chladenia, pomáha znižovať hmotnosť chladiacej platne o 60 % a znižuje náklady.

 

5. Konštrukcia studeného zdroja napájania

Riešenie kvapalného chladenia napájacieho zdroja zahŕňa chladenie odpadového vzduchu ventilátora PSU pripojením externého výmenníka tepla vzduch/kvapalina k existujúcemu vzduchom chladenému napájaciemu zdroju, čím sa znižuje predhrievanie systému externého prostredia dátového centra.

 

Zadný výmenník tepla PSU má viacvrstvovú štruktúru s kanálmi a rebrami naskladanými na sebe. Veľkosť zadného tepelného výmenníka PSU musí byť v rovnováhe s požiadavkami na chladenie, hmotnosťou a nákladmi a zároveň musí zabezpečiť, aby nezasahoval do funkcie vkladania/vyberania napájacieho kábla a spĺňal priestorové obmedzenia systémovej skrine. Zadný výmenník tepla PSU je nezávisle namontovaný na konzole uzla.

 

▲ Obrázok 11. PSU Zadný výmenník tepla

 

Toto inovatívne riešenie kvapalinového chladenia napájacieho zdroja eliminuje potrebu vývoja nových kvapalinou chladených napájacích zdrojov, skracuje vývojový cyklus a znižuje náklady na vývoj. Jeho vynikajúca všestrannosť mu umožňuje flexibilne sa prispôsobiť riešeniam napájacích zdrojov od viacerých predajcov, čím ušetrí viac ako 60 % v porovnaní s prispôsobenými napájacími zdrojmi chladenými kvapalinou.

 

Pre aplikácie zahŕňajúce celé skrine môže napájacie kvapalinové chladenie využívať aj centralizované riešenie výmenníka tepla vzduch-kvapalina. Ide o utesnenie predných a zadných dverí skrine a umiestnenie centralizovaného výmenníka tepla vzduch-kvapalina na spodok skrine, pričom sa štruktúra distribuovaného výmenníka tepla vzduch-kvapalina za PSU nahradí centralizovaným.

 

Centrálny výmenník tepla vzduch-kvapalina pozostáva z hliníkových vlnitých rebier potiahnutých hydrofilnou vrstvou na zlepšenie výmeny tepla v kombinácii s medenými rúrkami s vysokým koeficientom prestupu tepla. Dokáže poskytnúť chladiaci výkon minimálne 8 kW s teplotným rozdielom 10 stupňov. Prietoková dráha výmenníka tepla je optimalizovaná pomocou simulácie, aby zvládla väčší prietok pri nízkom odpore. Vyznačuje sa antikondenzačným dizajnom a komplexnou detekciou netesností na elimináciu bezpečnostných rizík. Špeciálny dizajn závesu spĺňa požiadavky na vysoké zaťaženie a dizajn pripojenia karty a slotu uľahčuje inštaláciu a údržbu.

 

S viac ako 95 % tepla z jedného kvapalinou chladeného servera riadeného studenou platňou, menej ako 5 % tepla musí zvládnuť výmenník tepla vzduch-kvapalina. Každý uzol vyžaduje iba 40-50W výmeny tepla vzduch-kvapalina a jeden centralizovaný výmenník tepla vzduch-kvapalina podporuje kapacitu výmeny tepla 8 kW, pričom dokáže chladiť nie menej ako 150 uzlov, pričom náklady sú oveľa nižšie ako 150 distribuovaných výmenníky tepla vzduch-kvapalina.

 

Toto riešenie umožňuje, aby napájacie zdroje servera zostali nezmenené, pričom generované teplo sa zhromažďuje a rovnomerne vymieňa prostredníctvom centralizovaného výmenníka tepla vzduch-kvapalina v zadnej časti skrine. Teplo vytvára v skrini samostatnú cirkuláciu, ktorá nemá žiadny vplyv na prostredie dátového centra, čím sa skutočne dosahuje „Rack ako počítač“.