Špeciálna správa o kvapalinovom chladení v priemysle dátových centier

 

--Singularita dorazila uprostred vlny umelej inteligencie, domáci a medzinárodní lídri sú pripravení prepuknúť

 

I Rastúca spotreba energie čipu: Chladenie kvapalinou sa stáva nevyhnutným

 

1. Kvapalinové chladenie zabezpečuje normálnu prevádzku vysokovýkonných komponentov

Viac ako polovica porúch elektronických komponentov je spôsobená nadmernými teplotami, pričom teplota predstavuje 55 % porúch. Podľa „10-stupňového pravidla“ každé zvýšenie teploty o 10 stupňov oproti izbovej teplote zdvojnásobuje poruchovosť a znižuje životnosť. Miera zlyhania GPU sa zvyšuje, čo ovplyvňuje životnosť servera. Spotreba energie jednotlivých čipov sa rýchlo zvyšuje, čo vedie k väčšej tvorbe tepla. Bežné procesorové čipy, ako sú CPU, majú menovitý výkon okolo 200 W, pričom najnovšie CPU presahujú 350 W a GPU prekračujú 1 000 W. Chladenie vzduchom už nestačí na chladenie elektronických komponentov s vysokou hustotou tepla, zatiaľ čo chladenie kvapalinou ponúka oveľa vyššiu účinnosť výmeny tepla. Objemová tepelná kapacita kvapalín je 1000-3500-krát väčšia ako u vzduchu a ich tepelná vodivosť je 20-30-krát vyššia, vďaka čomu má kvapalinové chladenie oveľa lepšiu chladiacu schopnosť v rovnakom priestore.

 

Kvapalinové chladenie efektívne absorbuje teplo generované komponentmi, poskytuje presné chladenie pre prvky generujúce teplo a udržuje teploty jadra CPU pod 65 stupňov (asi o 25 stupňov nižšie ako vzduchové chladenie). Zabraňuje tiež výrazným teplotným výkyvom počas náhlych vysokofrekvenčných operácií, čím zaisťuje bezpečnosť a spoľahlivosť systému. Kvapalinové chladenie dokonca umožňuje čipom pretaktovať, čím sa výkon čipu zlepšuje približne o 10 %-30 %.

 

▲ Poruchy elektronických komponentov

 

2. Domáce a medzinárodné technológie chladenia čipov postupne prechádzajú na chladenie kvapalinou

Kvapalinové chladenie môže maximalizovať potenciál čipu. Napríklad v serveroch s rovnakým výkonom kvapalinou chladená verzia prevyšuje vzduchom chladenú verziu približne o 10 %. GB200 využíva novú, efektívnu kvapalinou chladenú architektúru skrine a budúce produkty NVIDIA môžu plne prejsť z chladenia vzduchom na chladenie kvapalinou. Okrem NVIDIA zaznamenali domáce čipy, ako je Huawei Ascend, aj podstatné zvýšenie využitia kvapalného chladenia.

 

NVIDIA GB200 NVL72 je viacuzlový kvapalinou chladený rozširujúci systém na úrovni racku, ktorý kombinuje 36 superčipov Grace Blackwell vrátane 72 GPU Blackwell a 36 CPU Grace pripojených cez NVLink piatej generácie. Technológia chladenia kvapalinou použitá v GB200 NVL72 nielen zlepšuje výpočtovú hustotu a znižuje stopu, ale tiež výrazne znižuje emisie uhlíka a spotrebu energie prostredníctvom komunikácie GPU s vysokou šírkou pásma a nízkou latenciou. V porovnaní s tradičnými vzduchom chladenými infraštruktúrami NVIDIA H100 poskytuje GB200 25-krát vyšší výkon pri rovnakej spotrebe energie a zároveň znižuje spotrebu vody. Podľa TrendForce môže počiatočná architektúra GB200 NVL36 obsahovať riešenia chladenia vzduchom aj kvapalinou, ale kvôli vyšším požiadavkám na chladenie bude NVL72 uprednostňovať chladenie kvapalinou. Dodávateľský reťazec kvapalinového chladenia skriňového systému GB200 je rozdelený do piatich hlavných komponentov: chladiace platne, jednotky na distribúciu chladiacej kvapaliny (CDU), rozdeľovače, rýchle odpojovače (QD) a výmenníky tepla na zadných dverách (RDHx). CDU, kľúčový systém, reguluje prietok chladiacej kvapaliny v celom systéme, aby sa zabezpečilo, že teplota v skrinke bude riadená v rámci prednastaveného rozsahu TDP. Pre riešenia NVIDIA AI je Vertiv hlavným dodávateľom CDU, zatiaľ čo Chicony, Auras, Delta a CoolIT pokračujú vo svojom testovaní a overovaní.

 

▲ Chladenie kvapalinou

 

3. Výrobcovia si konkurujú v kvapalinou chladených serveroch; Objemy zásielok rýchlo rastú

Podľa IDC je čínsky priemysel kvapalného chladenia stále v počiatočnom štádiu, ale krajina už uzavrela technologickú medzeru so zahraničnými partnermi. V skutočnosti má príslušný čínsky priemyselný reťazec vedúcu pozíciu vo veľkých komerčných aplikáciách. V roku 2023 dosiahol čínsky trh so servermi chladenými kvapalinou 1,42 miliardy USD, čo predstavuje medziročný nárast o 48 %, pričom dodávky dosiahli 161,000 jednotiek, čo predstavuje nárast o 57,3 %. IDC predpovedá zložené ročné tempo rastu (CAGR) 45,8 % pre čínsky trh kvapalinou chladených serverov od roku 2023 do roku 2028, pričom sa očakáva, že trh do roku 2028 dosiahne 10,2 miliardy USD.

Mainstreamoví výrobcovia serverov agresívne expandujú na trhu s kvapalinovým chladením. Pokiaľ ide o podiel na trhu, Inspur, HyperFusion a NingChang sa v roku 2023 umiestnili medzi tromi najlepšími dodávateľmi, ktorí spoločne držia viac ako 70 % trhu.

 

Hoci je trh relatívne koncentrovaný, rýchly rast a diverzifikovaný dopyt priemyslu postupne zmenšujú medzery v podieloch na trhu medzi hlavnými dodávateľmi. Inspur pokračuje vo svojej stratégii „All in Liquid Cooling“ s cieľom dosiahnuť cenovú paritu medzi vzduchovým a kvapalinovým chladením. Jeho kvapalinou chladené servery slúžia klientom v odvetviach, ako je internet, financie, služby, výroba a verejné služby. Spoločnosť úspešne nasadila kvapalinou chladené servery vo veľkom meradle v popredných internetových spoločnostiach a vo finančnom, školskom a výskumnom sektore, čím vytvorila nový globálny benchmark s prvým serverom s úplným chladením bez ventilátora.

 

▲ Trhový podiel výrobcov serverov chladených kvapalinou

 

Podľa IDC zostalo internetové odvetvie v roku 2023 najväčším nákupcom kvapalinou chladených serverov v Číne, čo predstavuje 46,3 % trhu, pričom sa očakával pokračujúci silný dopyt. Okrem toho, telekomunikační operátori a vládni používatelia tiež zažívajú rýchly rast dopytu po kvapalinou chladených dátových centrách. Iné odvetvia ako financie, služby, výroba a verejné služby aktívne skúmajú vhodné riešenia chladenia kvapalinou.

 

 

II Kvapalinové chladenie zvyšuje hodnotu regulácie teploty, priemyselný obrat v nedohľadne

 

1. Prienik chladenia kvapalinou sa zvyšuje so zvyšujúcim sa výkonom servera a cieľmi uhlíkovej neutrality

Dátové centrá sú hlavnými spotrebiteľmi elektrickej energie a predstavujú približne 2 %-3 % celoštátnej spotreby elektrickej energie. Politiky sú čoraz prísnejšie na spotrebu energie v dátových centrách. V roku 2021 spotreba elektrickej energie v čínskom dátovom centre dosiahla 216,6 miliardy kWh, čo predstavuje 2,6 % z celkovej národnej spotreby elektrickej energie, s emisiami uhlíka 135 miliónov ton alebo 1,14 % z celkových národných emisií. S cieľmi dvojitého uhlíka čelia dátové centrá bezprecedentným výzvam v oblasti spotreby energie a chladenia. Po výstavbe predstavujú náklady na elektrinu 60 %-70 % celkových nákladov na prevádzku a údržbu tradičných vzduchom chladených dátových centier.

 

PUE (Power Usage Effectiveness) je ukazovateľ používaný na hodnotenie energetickej účinnosti v dátových centrách, čo je pomer celkovej energie spotrebovanej dátovým centrom k energii spotrebovanej jeho IT zariadeniami. Pred rokom 2013 prekročila priemerná hodnota PUE pre veľké dátové centrá v Číne 1,7, ale do konca roka 2019 klesla na 1,46. Cieľom „Trojročného akčného plánu pre rozvoj nových dátových centier (2021-2023)“ je znížiť PUE nových rozsiahlych dátových centier do konca roku 2023 pod 1,3 s cieľmi pod 1,25 pre chladné a ťažké chladné oblasti. Politika „Eastern Data, Western Computing“ nariaďuje, aby uzly vo Vnútornom Mongolsku, Gansu, Ningxia a Guizhou znížili PUE pod 1,2.

 

Spotreba energie klimatizačných systémov v dátových centrách je kľúčom k zníženiu PUE na rozumnú úroveň. Podľa odhadov, keď spotreba energie klimatizačného systému predstavuje 38 %, 26 % a 17,5 % z celkového počtu, zodpovedajúce hodnoty PUE sú 1,92, 1,5 a 1,3.

 

Hustota výkonu inteligentných počítačových serverov sa výrazne zvýšila a dosiahla úrovne, ktoré systémy vzduchového chladenia nedokážu podporovať. Predtým sa systémy chladenia vzduchom prispôsobovali vyšším tepelným hustotám približovaním zdroja chladenia k zdroju tepla alebo utesnením studených a horúcich uličiek, čo fungovalo pre skrine vyžadujúce chladenie pod 12 kW. Keďže však hustota stojana presahuje 20 kW, tieto metódy sú menej účinné. Vertiv je presvedčený, že nasadenie zariadení s ultravysokou hustotou stojanov (30 kW alebo viac) ponecháva len málo možností, ako použiť chladenie kvapalinou. Bez ohľadu na to, ako je systém nakonfigurovaný alebo optimalizovaný, chladenie vzduchom nemôže poskytnúť chladiaci výkon potrebný na udržanie spoľahlivosti IT systémov.

 

Preto, aby sa znížil PUE dátového centra a splnili sa potreby chladenia vysokovýkonných skríň, technológie chladenia pokročili nasledovne:

 

• Fáza 1 (1998-2004):Používajú sa hlavne vzduchom chladené systémy s priamou expanziou, vrátane kompresorov, výparníkov, expanzných ventilov a kondenzátorov, pričom chladivom je zvyčajne freón.
• Fáza 2 (2005-2009):Primárne používané vodou chladené systémy, vrátane chladičov, chladiacich veží, vodných čerpadiel a koncových jednotiek na chladenú vodu.
• 3. fáza (2010-2023):Prijatá technológia chladenia odparovaním, ktorá vytvára chladný vzduch alebo vodu pomocou suchého vzduchu. Táto technológia môže poskytnúť chladiaci vzduch alebo vodu v závislosti od potrieb. Pretože nevyžaduje tradičné kompresory, spotrebuje menej energie a používa sa v dátových centrách vyžadujúcich celoročné chladenie. Nepriame chladenie odparovaním, najefektívnejšie riešenie na využitie prírodných zdrojov chladenia, môže znížiť spotrebu energie na chladenie o 30 % v porovnaní s tradičnými systémami chladenej vody.
• Fáza 4 (2024-súčasnosť):Technológia chladenia kvapalinou zásadne zlepšuje spôsob, akým hlavné zariadenie odvádza teplo. Lepšie spĺňa presné potreby chladenia stojanov a čipov s vysokou hustotou a ponúka výhody, ako je nižšia spotreba energie, vyšší odvod tepla, nižšia hlučnosť a nižšie celkové náklady na vlastníctvo (TCO). Kvapalinové chladenie sa vzťahuje na použitie kvapaliny ako chladiaceho média na výmenu tepla s komponentmi generujúcimi teplo v serveri, čím sa teplo odvádza preč, aby sa zabezpečilo, že server bude fungovať v bezpečnom teplotnom rozsahu. Je vhodný pre scenáre vyžadujúce zvýšený výpočtový výkon, energetickú účinnosť a hustotu nasadenia.

 

2. Chladenie chladiacou doskou je vysoko vyspelé a široko používané

Na základe toho, ako chladiace médium kontaktuje server, možno kvapalinové chladenie rozdeliť na nepriame chladenie a priame chladenie. Nepriame chladenie primárne zahŕňa chladenie chladnými doskami, ktoré sa ďalej delí na jednofázové a dvojfázové chladenie chladením na základe toho, či chladiace médium prechádza fázovou zmenou. Priame chladenie zahŕňa ponorné a sprejové chladenie, kedy kvapalina prichádza do priameho kontaktu s čipom alebo stojanom a delí sa na jednofázové a dvojfázové ponorné chladenie podľa toho, či chladiace médium prechádza fázovou zmenou.

 

Kvapalné chladenie s chladiacou doskou je v súčasnosti najrozšírenejšie v priemysle dátových centier a jeho primárna aplikácia v priemysle chladenia kvapalinou je vo výpočtových scenároch s vysokou hustotou. Chladenie chladiacou doskou kvapalinou sa vzťahuje na inštaláciu studenej dosky priamo na čip na výmenu tepla, pričom kvapalina poháňaná čerpadlom cirkuluje na odvádzanie tepla cez výmenník tepla. Pracovný princíp chladenia chladiacou doskou kvapalinou zahŕňa vloženie mikrokanálových chladičov na hornú časť zdroja tepla, odvádzanie tepla kvapalinou pretekajúcou cez tieto mikrokanály a jeho prenos do výmenníka tepla, ktorý ďalej odvádza teplo do okolia.

 

Kvapalné chladenie s chladiacou doskou so svojou vyspelou technológiou, výhodami v oblasti nákladov a prevádzkovej stability je v súčasnosti hlavným riešením pre vysokovýkonné výpočtové systémy a výpočtovú techniku ​​AI v dátových centrách. Chladenie chladiacou doskou zvyčajne vedie k PUE 1,2 alebo menej, v niektorých prípadoch dokonca až 1,05. Technológie priameho chladenia kvapalinou, ako je ponorné chladenie, vo všeobecnosti poskytujú lepší výkon, ale sú menej používané kvôli vyšším technickým rizikám a nákladom. Chladiaca doska kvapalinou chladenia má niekoľko výhod oproti iným technológiám kvapalinového chladenia, vrátane jednoduchej inštalácie, nízkych nákladov, škálovateľnosti, ľahkej údržby a krátkej doby výstavby. Meixin napríklad navrhuje, že chladenie chladiacou doskou kvapalinou by mohlo znížiť spotrebu energie výpočtovej techniky až o 30 %.

 

V praxi 75 % globálnych systémov chladenia kvapalinou v dátových centrách využíva technológiu chladenia kvapalinou so studenou doskou a chladenie kvapalinou so studenou doskou sa tiež stalo hlavným riešením pre čínske výpočtové centrá AI. Očakáva sa, že chladenie chladiacou kvapalinou bude pokračovať vo svojom vysokom raste. Zložené tempo rastu čínskych serverov chladených kvapalinou presiahne 50 % v nasledujúcich piatich rokoch, pričom na trhu budú dominovať chladiace systémy s chladiacou kvapalinou.

 

3. Kvapalinové chladenie je efektívnejšie a prevádzkovatelia ho vo veľkej miere podporujú

V súčasnosti rýchly nárast hustoty tepla v skriniach v dôsledku výstavby dátových centier pre AI výpočtovú techniku ​​zvýšil dopyt po kvapalinou chladených riešeniach. Trhový podiel kvapalinou chladených serverov neustále rastie, zatiaľ čo podiel tradičných vzduchom chladených serverov rýchlo klesá.

 

▲ Ročný príjem z chladenia kvapalinou v porovnaní s chladením vzduchom

 

V roku 2022 bolo oficiálne implementovaných päť priemyselných štandardov chladenia kvapalín pod vedením Čínskej akadémie informačných a komunikačných technológií. Traja veľkí telekomunikační operátori plánujú v roku 2024 otestovať technológiu chladenia kvapalinou v 10 % nových projektov dátových centier, pričom viac ako 50 % projektov dátových centier bude do roku 2025 využívať technológiu chladenia kvapalinou. China Telecom už naplánoval a postavil klaster inteligentných výpočtových centier v roku 2024. Shanghai, schopný podporovať modelové školenia vo veľkom meradle s biliónmi parametrov. Klaster, poháňaný domácimi výpočtovými schopnosťami, bude mať 10,{7}} kariet v jednom fonde, čo z neho urobí prvý doma vyrábaný rozsiahly kvapalinou chladený výpočtový klaster, ktorý bude podporovať jeden fond 10,{11} } kariet.

 

Tempo operátorov presadzovania kvapalinového chladenia prekračuje očakávania trhu, čo povedie k optimalizácii nákladov a zlepšeniu štandardov. Na zvýšenie konkurencieschopnosti skríň dátových centier a zníženie spotreby energie pri regulácii teploty môžu predajcovia dátových centier tretích strán urýchliť aplikáciu chladenia kvapalinou, čo povedie k širšej regionálnej distribúcii dátových centier chladených kvapalinou v Číne. Ako technológia dátového centra s kvapalinovým chladením dospieva a náklady na nasadenie klesajú, stále viac poskytovateľov služieb IDC (Internet Data Center) skúma možnosť využitia kvapalinového chladenia. Na východe používatelia, ktorí už aplikovali dátové centrá s kvapalinovým chladením, zaznamenávajú zvýšený dopyt po riešeniach chladenia kvapalinou, aby splnili prísnejšie požiadavky na spotrebu energie, čím sa ďalej rozširuje vývoj dátových centier chladených kvapalinou v centrálnych a západných regiónoch.

 

4. Vysokorýchlostný rast na trhu s chladením kvapalín

Priemyselný reťazec kvapalného chladenia zahŕňa dodávateľov produktových komponentov, strednoprúdových poskytovateľov serverov a poskytovateľov infraštruktúry s kvapalinovým chladením a užívateľov počítačového výkonu. Upstream zahŕňa hlavne dodávateľov komponentov produktov a zariadení na chladenie kvapalín, ako sú chladiace platne, jednotky CDU (jednotky na distribúciu chladiacej kvapaliny), rýchloupínače, solenoidové ventily, ponorné nádrže na chladenie kvapalín, rozdeľovače a produkty chladiacej kvapaliny. Stredný prúd zahŕňa výrobcov serverov s kvapalinovým chladením, výrobcov čipov, ako aj integračné zariadenia, moduly a skrinky s kvapalinovým chladením. Downstream zahŕňa telekomunikačných operátorov, internetové spoločnosti a zákazníkov v odvetviach, ako sú telekomunikácie, internet, vláda, financie, doprava a energetika.

 

V protiprúdovej časti priemyselného reťazca je výmena tepla v chladiacich systémoch chladiacej kvapaliny rozdelená na dve časti: primárny systém výmeny tepla a sekundárny systém výmeny tepla. Sekundárny systém získava teplo zo zdrojov tepla, ako sú servery, prostredníctvom priamej/nepriamej výmeny tepla a odovzdáva ho primárnemu systému. Primárny systém výmeny tepla využíva vonkajšie chladiace zariadenie na odvádzanie tepla von, čím sa dokončuje celkový proces chladenia. Tieto dva systémy si vymieňajú teplo prostredníctvom jednotky na distribúciu chladiva (CDU).

 

Špecifické poruchy komponentov: Rýchle odpojenie je komponent typu zástrčka a zásuvka s funkciami odpojenia kvapaliny na zástrčke aj zásuvke, čo umožňuje rýchlu údržbu systémov chladenia kvapalinou typu "plug-and-play". Keď sú zástrčka a zásuvka pripojené, tekutina preteká a dodáva kvapalinu na chladiacu platňu; pri odpojení sa kvapalina zastaví, čím sa zabráni úniku mimo systému. Rozdeľovač je zariadenie, ktoré spája jednotku CDU s chladiacou doskou v serveroch s kvapalinovým chladením, ktoré sú zvyčajne inštalované v skrini. Jeho funkciou je rovnomerne rozdeľovať chladiacu kvapalinu na každú studenú platňu a zhromažďovať ohriatu chladiacu kvapalinu a posielať ju späť do CDU cez pripojené potrubia.

 

Jednotka distribúcie chladiva (CDU) je modul používaný na výmenu tepla medzi vysokoteplotným chladivom v sekundárnom systéme a primárnym zdrojom chladenia. Poskytuje distribúciu chladiacej kvapaliny a riadi monitorovanie teploty, tlaku a prietoku pre kvapalinou chladené IT zariadenia. CDU pozostáva hlavne z výmenníkov tepla/kondenzátorov, obehových čerpadiel, filtrov, zásobníkov chladiva a príslušenstva (ventily, potrubia, konektory, snímače atď.) a má funkcie ako výmena tepla, cirkulácia, čistenie chladiva a skladovanie.

 

V rokoch 2020 až 2022 rýchlo dozrela technológia chladenia kvapalinou a overenie aplikačných modelov dosiahlo významný úspech, čo viedlo k zníženiu nákladov na chladenie energie na jednotku. Podľa údajov CCID Consulting si metóda studenej dosky udržala viac ako 90 % podiel na trhu, zatiaľ čo chladenie ponorením a rozprašovaním spolu predstavovalo približne 10 %. Po váženom priemere troch metód boli náklady na chladenie 1 kW v kvapalinou chladených dátových centrách približne 6 500 RMB v roku 2022 s očakávaným poklesom na 5,{11}} RMB na 1 kW do roku 2023.

 

Generálny riaditeľ spoločnosti Supermicro Charles Liang nedávno predpovedal, že v priebehu nasledujúcich 12 mesiacov bude 15 % nových globálnych nasadení dátových centier využívať jeho technológiu priameho chladenia kvapalinou a tento podiel dosiahne 30 % v nasledujúcom roku, čo je podstatný nárast z 1 % oproti minulému roku. za posledných 30 rokov, čím sa vytvorila ďalšia významná krivka rastu hokejok. V porovnaní s tradičným vzduchovým chladením je priame kvapalinové chladenie ekonomickejšie a ekologickejšie. Za predpokladu, že miera prieniku kvapalinového chladenia do nových dátových centier v Číne dosiahne do roku 2026 22 %, bude trhový priestor pre kvapalinové chladenie 11,1 miliardy RMB.