Специјални извештај о течном хлађењу у индустрији центара података

 

--Сингуларност је стигла усред таласа вештачке интелигенције, домаћи и међународни лидери су спремни да избију

 

И Растућа потрошња енергије чипа: Течно хлађење постаје неопходно

 

1. Течно хлађење обезбеђује нормалан рад компоненти велике снаге

Више од половине кварова електронских компоненти је због превисоких температура, при чему температура чини 55% кварова. Према „10-правилу степена“, сваких 10 степени повећања температуре у односу на собну температуру удвостручује стопу отказа и скраћује животни век. Стопе отказивања ГПУ-а се повећавају, што утиче на животни век сервера. Потрошња енергије појединачних чипова се брзо повећава, што доводи до веће производње топлоте. Главни процесорски чипови попут ЦПУ-а имају снагу од око 200В, са најновијим ЦПУ-има који прелазе 350В, а ГПУ-овима који прелазе 1000В. Ваздушно хлађење више није довољно за хлађење електронских компоненти високе густине топлоте, док течно хлађење нуди много већу ефикасност размене топлоте. Волуметријски топлотни капацитет течности је 1000-3500 пута већи од ваздуха, а њихова топлотна проводљивост је 20-30 пута већа, дајући хлађењу течности далеко бољу способност хлађења у истом простору.

 

Течно хлађење ефикасно апсорбује топлоту коју генеришу компоненте, обезбеђујући прецизно хлађење за елементе који генеришу топлоту и одржавајући температуру језгра ЦПУ-а испод 65 степени (око 25 степени ниже од ваздушног хлађења). Такође спречава значајне температурне флуктуације током изненадних високофреквентних операција, обезбеђујући сигурност и поузданост система. Течно хлађење омогућава чак и оверклок чипова, побољшавајући перформансе чипа за око 10%-30%.

 

▲ Кварови електронских компоненти

 

2. Домаће и међународне технологије хлађења чипова постепено прелазе на течно хлађење

Течно хлађење може максимизирати потенцијал чипа. На пример, у серверима једнаких перформанси, верзија са течним хлађењем је боља од верзије са ваздушним хлађењем за око 10%. ГБ200 усваја нову, ефикасну архитектуру кућишта са течним хлађењем, а будући НВИДИА производи могу у потпуности да пређу са ваздушног хлађења на течно хлађење. Поред НВИДИА-е, домаћи чипови као што је Хуавеи Асценд такође су забележили значајно повећање употребе течног хлађења.

 

НВИДИА ГБ200 НВЛ72 је систем за проширење на нивоу рацк-а са више чворова са течним хлађењем који комбинује 36 Граце Блацквелл суперчипова, укључујући 72 Блацквелл ГПУ-а и 36 Граце ЦПУ-а повезаних преко НВЛинк-а пете генерације. Технологија течног хлађења која се користи у ГБ200 НВЛ72 не само да побољшава густину рачунара и смањује отисак, већ и значајно смањује емисије угљеника и потрошњу енергије путем ГПУ комуникације високог пропусног опсега и ниске латенције. У поређењу са традиционалном НВИДИА Х100 инфраструктуром са ваздушним хлађењем, ГБ200 пружа 25 пута боље перформансе уз исту потрошњу енергије уз смањење потрошње воде. Према ТрендФорце-у, почетна архитектура ГБ200 НВЛ36 може имати решења за ваздушно и течно хлађење, али због већих захтева за хлађењем, НВЛ72 ће дати приоритет течном хлађењу. Ланац снабдевања течним хлађењем система кабинета ГБ200 подељен је на пет главних компоненти: хладне плоче, јединице за дистрибуцију расхладне течности (ЦДУ), разводници, брзи растављачи (КД) и размењивачи топлоте на задњим вратима (РДХк). ЦДУ, кључни систем, регулише проток расхладне течности кроз систем како би се осигурало да се температура у ормару контролише унутар унапред подешеног ТДП опсега. За НВИДИА АИ решења, Вертив је главни добављач ЦДУ, док Цхицони, Аурас, Делта и ЦоолИТ настављају са тестирањем и валидацијом.

 

▲ Течно хлађење

 

3. Произвођачи се такмиче у серверима хлађеним течношћу; Обим испоруке брзо расте

Према ИДЦ-у, кинеска индустрија течног хлађења је још увек у раној фази, али је земља већ затворила технолошки јаз са страним колегама. У ствари, релевантни кинески индустријски ланац држи водећу предност у великим комерцијалним апликацијама. Године 2023. кинеско тржиште сервера са течним хлађењем достигло је 1,42 милијарде долара, што је раст од 48% у односу на претходну годину, са испорукама од 161,000 јединица, што је повећање од 57,3%. ИДЦ предвиђа сложену годишњу стопу раста (ЦАГР) од 45,8% за кинеско тржиште сервера са течним хлађењем од 2023. до 2028. године, а очекује се да ће тржиште достићи 10,2 милијарде долара до 2028.

Главни произвођачи сервера се агресивно шире на тржишту течног хлађења. Што се тиче тржишног удела, Инспур, ХиперФусион и НингЦханг су рангирани као три најбоља добављача у 2023. години, заједно држећи преко 70% тржишта.

 

Иако је тржиште релативно концентрисано, брз раст и разноврсна потражња индустрије постепено смањују јаз у тржишном уделу међу главним добављачима. Инспур наставља да следи своју стратегију „Све у течном хлађењу“, са циљем да постигне паритет цена између ваздушног и течног хлађења. Његови сервери са течним хлађењем служе клијентима у индустријама као што су интернет, финансије, услуге, производња и јавна комунална предузећа. Компанија је успешно применила сервере са течним хлађењем у великим количинама у водећим интернет компанијама и у сектору финансија, образовања и истраживања, успостављајући ново глобално мерило са првим сервером без вентилатора и потпуно хладном плочом.

 

▲ Тржишни удео произвођача сервера са течним хлађењем

 

Према ИДЦ-у, у 2023. години, интернет индустрија је остала највећи купац сервера са течним хлађењем у Кини, чинећи 46,3% тржишта, уз очекивање да ће потражња бити и даље јака. Поред тога, телеком оператери и корисници повезани са владом такође доживљавају брз раст потражње за центрима података хлађеним течношћу. Друге индустрије као што су финансије, услуге, производња и јавна комунална предузећа активно истражују одговарајућа решења за течно хлађење.

 

 

ИИ Течно хлађење повећава вредност контроле температуре, на видику је прекретница у индустрији

 

1. Продор течног хлађења се повећава са повећањем снаге сервера и циљевима неутралности угљеника

Дата центри су главни потрошачи електричне енергије и чине око 2%-3% националне потрошње електричне енергије. Политике су све строже у погледу потрошње енергије у центрима података. У 2021. години, потрошња електричне енергије у податковним центрима у Кини достигла је 216,6 милијарди кВх, што чини 2,6% укупне националне потрошње електричне енергије, уз емисију угљеника од 135 милиона тона, или 1,14% укупне националне емисије. Са двоструким угљеничним циљевима, центри података се суочавају са изазовима потрошње енергије и хлађења без преседана. Након изградње, трошкови електричне енергије чине 60%-70% укупних трошкова рада и одржавања традиционалних центара података са ваздушним хлађењем.

 

ПУЕ (Ефективност употребе енергије) је индикатор који се користи за процену енергетске ефикасности у дата центрима, а то је однос укупне енергије коју троши дата центар и енергије коју троши његова ИТ опрема. Пре 2013, просечна ПУЕ за велике центре података у Кини премашила је 1,7, али је до краја 2019. пала на 1,46. „Трогодишњи акциони план за развој нових центара података (2021-2023)“ има за циљ да смањи ПУЕ нових центара података великих размера на испод 1,3 до краја 2023. године, са циљевима испод 1,25 за хладне и тешке хладних крајева. Политика „Источни подаци, западно рачунарство“ налаже да чворови у Унутрашњој Монголији, Гансуу, Нингксији и Гуиџоуу смање ПУЕ на испод 1,2.

 

Потрошња енергије система за климатизацију у центрима података је кључна за смањење ПУЕ на разумне нивое. Према проценама, када потрошња енергије система за климатизацију износи 38%, 26% и 17,5% укупне вредности, одговарајуће ПУЕ вредности су 1,92, 1,5 и 1,3, респективно.

 

Густина снаге интелигентних рачунарских сервера је значајно порасла, достижући нивое које системи за ваздушно хлађење не могу да подрже. Раније су системи за ваздушно хлађење прилагођавали већим густинама топлоте приближавањем извора хлађења извору топлоте или затварањем хладних и топлих пролаза, што је радило за ормаре који захтевају хлађење испод 12 кВ. Међутим, како густина рацк-а прелази 20 кВ, ове методе постају мање ефикасне. Вертив верује да постављање објеката са рековима ултра високе густине (30 кВ или више) оставља мало избора осим да се користи течно хлађење. Без обзира на то како је систем конфигурисан или оптимизован, ваздушно хлађење не може да обезбеди капацитет хлађења потребан за одржавање поузданости ИТ система.

 

Стога, да би смањили ПУЕ центар података и задовољили потребе за хлађењем ормара велике снаге, технологије хлађења су напредовале на следећи начин:

 

• Фаза 1 (1998-2004):Углавном се користе системи са ваздушним хлађењем са директном експанзијом, укључујући компресоре, испариваче, експанзионе вентиле и кондензаторе, при чему су расхладни флуиди обично фреон.
• 2. фаза (2005-2009):Примарно коришћени системи за хлађење водом, укључујући расхладне уређаје, расхладне торњеве, пумпе за воду и терминалне јединице за расхлађену воду.
• Фаза 3 (2010-2023):Усвојена технологија хлађења испаравањем, која производи хладан ваздух или воду користећи сув ваздух. Ова технологија може да обезбеди хлађење ваздуха или воде у зависности од потреба. Пошто не захтева традиционалне компресоре, троши мање енергије и користи се у центрима података којима је потребно хлађење током целе године. Индиректно хлађење испаравањем, најефикасније решење за коришћење природних извора хлађења, може смањити потрошњу енергије за хлађење за 30% у поређењу са традиционалним системима расхлађене воде.
• Фаза 4 (2024-присутно):Технологија течног хлађења суштински побољшава начин на који главна опрема одводи топлоту. Боље задовољава прецизне потребе за хлађењем рекова и чипова високе густине и нуди предности као што су нижа потрошња енергије, веће расипање топлоте, нижа бука и нижи укупни трошкови власништва (ТЦО). Течно хлађење се односи на коришћење течности као расхладног медијума за размену топлоте са компонентама које стварају топлоту у серверу, одводећи топлоту како би се осигурало да сервер ради у безбедном температурном опсегу. Погодан је за сценарије који захтевају повећану рачунарску снагу, енергетску ефикасност и густину примене.

 

2. Течно хлађење на хладној плочи је веома зрело и широко се користи

На основу начина на који расхладни медијум долази у контакт са сервером, течно хлађење се може категорисати на индиректно хлађење и директно хлађење. Индиректно хлађење првенствено укључује хлађење течности са хладном плочом, које се даље дели на једнофазно и двофазно хлађење хладне плоче на основу тога да ли расхладни медијум пролази кроз фазну промену. Директно хлађење обухвата хлађење потапањем и распршивањем, где течност долази у директан контакт са чипом или сталком, и дели се на једнофазно и двофазно хлађење уроњавањем на основу тога да ли расхладни медијум пролази кроз фазну промену.

 

Течно хлађење са хладним плочама је тренутно најшире коришћено у индустрији дата центара, а његова примарна примена у индустрији течног хлађења је у рачунарским сценаријима високе густине. Хлађење течности са хладном плочом се односи на инсталирање хладне плоче директно на чип за размену топлоте, при чему циркулише течност коју покреће пумпа да би одвела топлоту кроз измењивач топлоте. Принцип рада течног хлађења са хладном плочом укључује уградњу микроканалних одвода топлоте на врх извора топлоте, расипање топлоте кроз течност која тече кроз ове микроканале, а затим је преношење на измењивач топлоте, који даље распршује топлоту у околину.

 

Течно хлађење са хладном плочом, са својом зрелом технологијом, предностима у погледу трошкова и оперативне стабилности, тренутно је главно решење за рачунарство високих перформанси и АИ рачунарство у центрима података. Течно хлађење хладне плоче обично резултира ПУЕ од 1,2 или ниже, чак и до 1,05 у неким случајевима. Технологије директног течног хлађења као што је хлађење потапањем генерално дају боље перформансе, али се мање користе због већих техничких ризика и трошкова. Течно хлађење са хладним плочама има неколико предности у односу на друге технологије течног хлађења, укључујући једноставну инсталацију, ниску цену, скалабилност, лако одржавање и кратко време изградње. На пример, Меикин предлаже да течно хлађење хладне плоче може смањити потрошњу енергије рачунара до 30%.

 

У пракси, 75% глобалних система течног хлађења центара података користи технологију течног хлађења са хладном плочом, а течно хлађење хладне плоче је такође постало главно решење за кинеске АИ рачунарске центре. Очекује се да ће течно хлађење хладних плоча наставити са високим растом. Комбинована стопа раста кинеских сервера са течним хлађењем ће премашити 50% у наредних пет година, са системима за хлађење са хладним плочама који ће доминирати тржиштем.

 

3. Течно хлађење је ефикасније и оператери га нашироко промовишу

Тренутно, брзо повећање густине топлоте у кабинету због изградње центара података за АИ рачунарство је повећало потражњу за решењима са течним хлађењем. Тржишни удео сервера са течним хлађењем наставља да расте, док се удео традиционалних сервера са ваздушним хлађењем брзо смањује.

 

▲ Годишњи приход од хлађења течности у поређењу са ваздушним хлађењем

 

2022. године званично је имплементирано пет индустријских стандарда течног хлађења које предводи Кинеска академија за информационе и комуникационе технологије. Три главна телекомуникациона оператера планирају да пилотирају технологију течног хлађења у 10% нових пројеката центара података 2024. године, при чему ће преко 50% пројеката центара података примењивати технологију течног хлађења до 2025. Цхина Телецом је већ планирао и изградио кластер интелигентних рачунарских центара у Шангај, способан да подржи обуку модела великих размера са трилионима параметара. Кластер, покретан домаћим рачунарским могућностима, имаће 10,000 картица у једном скупу, што га чини првим домаћим великим рачунарским кластером са хлађењем течним хлађењем који подржава једну групу од 10,{{11} } картице.

 

Темпо оператера у промовисању течног хлађења превазилази очекивања тржишта, што ће довести до оптимизације трошкова и побољшања стандарда. Да би побољшали конкурентност ормара центара података и смањили потрошњу енергије у контроли температуре, добављачи центара података трећих страна могу убрзати примену течног хлађења, што доводи до шире регионалне дистрибуције центара података са течним хлађењем у Кини. Како технологија центара података са течним хлађењем сазрева и трошкови примене се смањују, све више ИДЦ (Интернет Дата Центер) провајдера услуга истражује усвајање течног хлађења. На истоку, корисници који су већ применили центре података са течним хлађењем виде повећану потражњу за решењима за течно хлађење како би се испунили строжи захтеви за потрошњу енергије, додатно проширујући развој центара података са течним хлађењем у централним и западним регионима.

 

4. Брзи раст на тржишту течног хлађења

Индустријски ланац течног хлађења укључује добављаче компоненти производа, сервере за течно хлађење средњег тока и добављаче инфраструктуре, као и кориснике рачунарске снаге у даљем току. Узводно углавном укључује добављаче компоненти производа и опреме за течно хлађење, као што су хладне плоче, ЦДУ-ови (јединице за дистрибуцију расхладне течности), брзи растављачи, електромагнетни вентили, резервоари за хлађење течности за урањање, разводи и производи за расхладну течност. Средњи ток укључује произвођаче сервера за течно хлађење, произвођаче чипова, као и објекте за интеграцију течног хлађења, модуле и ормаре. Низводно укључује телекомуникационе оператере, интернет компаније и клијенте у индустријама као што су телекомуникације, интернет, влада, финансије, транспорт и енергетика.

 

У узводном делу индустријског ланца, размена топлоте у системима за хлађење течности са хладним плочама подељена је на два дела: примарни систем размене топлоте и секундарни систем размене топлоте. Секундарни систем добија топлоту из извора топлоте као што су сервери путем директне/индиректне размене топлоте и преноси је на примарни систем. Примарни систем за размену топлоте користи опрему за хлађење на отвореном да одведе топлоту споља, довршавајући укупан процес хлађења. Два система размењују топлоту преко јединице за дистрибуцију расхладне течности (ЦДУ).

 

Кварови специфичних компоненти: Брзо искључивање је компонента утикач и утичница са функцијама прекидања течности и на утикачу и на утичници, омогућавајући брзо плуг-анд-плаи одржавање система за хлађење течности. Када су утикач и утичница повезани, течност тече кроз довод течности до хладне плоче; када се искључи, течност се зауставља, спречавајући цурење изван система. Колектор је уређај који повезује ЦДУ са хладном плочом у серверима за течно хлађење, обично инсталираним унутар ормарића. Његова функција је да равномерно распоређује расхладну течност на сваку хладну плочу и сакупља загрејану расхладну течност, шаљући је назад у ЦДУ кроз повезане цевоводе.

 

Јединица за дистрибуцију расхладне течности (ЦДУ) је модул који се користи за размену топлоте између расхладне течности високе температуре у секундарном систему и примарног извора хлађења. Обезбеђује дистрибуцију расхладне течности и управља температуром, притиском и праћењем протока за ИТ опрему хлађену течношћу. ЦДУ се углавном састоји од измењивача топлоте/кондензатора, циркулационих пумпи, филтера, резервоара за складиштење расхладне течности и прибора (вентили, цевоводи, конектори, сензори, итд.), и има функције као што су размена топлоте, циркулација, пречишћавање расхладне течности и складиштење.

 

Између 2020. и 2022. године, технологија хлађења течностима је брзо сазрела, а валидација модела примене је постигла значајан успех, што је довело до смањења трошкова хлађења снаге по јединици. Према подацима ЦЦИД Цонсултинг-а, приступ хладним плочама задржао је преко 90% тржишног удела, док су урањање и хлађење распршивањем заједно чинили око 10%. Након пондерисаног просека за три методе, цена хлађења од 1 кВ у центрима података са течним хлађењем износила је приближно 6.500 РМБ у 2022, са очекиваним падом на 5,000 РМБ по 1 кВ до 2023.

 

Недавно је извршни директор Супермицро-а Чарлс Лианг предвидео да ће у наредних 12 месеци 15% нових глобалних центара података користити технологију директног течног хлађења, а овај удео ће достићи 30% у наредној години, што је значајно повећање са само 1% у односу на последњих 30 година, стварајући још једну велику криву раста штапа за хокеј. У поређењу са традиционалним ваздушним хлађењем, директно течно хлађење је економичније и еколошки прихватљивије. Под претпоставком да стопа продора течног хлађења у нове центре података у Кини достигне 22% до 2026. године, тржишни простор за течно хлађење биће 11,1 милијарди РМБ.