把冷板水温调低 4 度,为什么整机 PUE 反而变差
液冷的供水温度常被当成一个可以随便往下拧的旋钮,反正芯片越凉越保险。真实约束是三条边界一起画的:下限由机房露点定,上限由芯片结温定,中间这一段还要跟冷机的效率曲线对齐。把水温压低四度,多出来的热余量换不到任何东西,冷机却要为此多做一段功。
一个装满加速器的机柜,功率密度到一百千瓦以上之后,风冷就退场了。剩下的事情交给冷板、快接头、CDU 和一段循环的冷却液。
这套系统的控制面板上有一个最常被讨论的参数:二次侧供液温度。定高了怕芯片过热,定低了怕冷量不够。工程实践里,这个数往往被压到很低,理由是留余量。
余量确实是留住了,账不一定划算。
三条边界夹出一个窗口
供液温度不是一个自由变量,它被三条边界夹住。
下限来自空气。机房里有空气,空气里有水汽,任何表面温度低于露点就会结露。冷板、软管、快接头、分水器,只要有一处低于露点,凝水就会顺着重力往下走,落到主板上。
上限来自芯片。结温有明确的可靠性上限,通常按 105 摄氏度设计,留出十年寿命的余量。供液温度抬高,结温跟着抬高,余量变薄。
中间那一段还受第三个因素影响,冷机的效率。供水温度越高,冷机蒸发温度越高,压缩比越小,能效比越好。
三条边界画在同一个坐标轴上,可用的区间往往只有十几度。
图 1 冷水侧供水温度与系统年能耗的关系:曲线在 16 摄氏度附近触底,再往上水泵与风机能耗反升(依据原文第三章节的全年能耗扫描绘制)
下限其实是露点
算一下露点有多高。机房回风 27 摄氏度、相对湿度 60%,按 Magnus 公式算出来露点约 18.6 摄氏度。
这意味着二次侧供液不能低于 18.6 摄氏度,工程上还要再加 2 到 3 开的余量,实际下限落在 21 摄氏度上下。
于是那些标称 17 摄氏度供液的方案,在国内大部分地区的夏季机房是跑不满的。要用,就得先把机房湿度降下去,而除湿本身要耗能。冷冻除湿把盘管温度压到露点以下,水汽在盘管上凝出来,空气变干也变冷,然后往往还要再加热到送风温度。一份冷量,做了两件事,付了两次钱。
这就是为什么 32 摄氏度供液这一档会成为主流选择。它离露点有十几开的距离,管道和接头不会出汗,机房湿度控制的压力一下就松了。
上限那一侧余量其实很厚
把结温的账算一遍,会发现上限那一侧比想象中宽松。
结温等于供液温度加上四段温升:流体从入口流到芯片位置的温升、冷板到芯片壳体的传导温升、界面材料的温升、以及结到壳的温升。
· Tj = Ts + ΔT流体 + Q·(R冷板 + R界面) + ΔT结壳
取单颗加速器 1400 瓦、冷板热阻 0.009 开每瓦、界面材料 0.003 开每瓦、结到壳 10 开、回路温差 8 开(平均流体温升按一半算 4 开):
· Tj = 32 + 4 + 1400×0.012 + 10 = 62.8 摄氏度
离 105 摄氏度还有 42 开的余量。
这个数说明一件事:32 摄氏度供液对 1400 瓦的芯片并不紧张。把供液降到 18 摄氏度,结温变成 48.8 摄氏度,余量涨到 56 开,多出来的 14 开留在那里没有任何用处,因为 62.8 摄氏度本来就在安全区中间。
余量不是越多越好。余量超过一定程度之后,它只是在替一个不存在的风险买保险。
图 2 供液温度到结温的四段温升分解:32 摄氏度供液对应结温 63 摄氏度,余量 42 开(依据原文第二章节的热阻链关系绘制)
冷机那一侧每度都算钱
水温的另一头连着冷源。
冷水机组的能效比随蒸发温度上升而改善,供水温度每提高 1 摄氏度,能效比大约涨 2% 到 3%。反过来说,把供水温度往下压 4 度,冷机的能效比要掉 8% 到 12%。
一项针对液冷数据中心全年能耗的扫描给出了更完整的形状。作者把冷水供水温度从 12 摄氏度扫到 18 摄氏度,步长 1 度,配合不同的送回风温差做组合。结果是总能耗先降后升,最低点落在 16 摄氏度。
为什么不是越低越省。供水温度往上抬,冷机那一段的能耗往下走,蒸发温度高了,压缩比小了;可抬过头之后,另一端的账翻上来,同样的换热量要靠更大的流量去搬,水泵和风机的功率按流量的三次方涨。两条曲线一个往下走、一个往上走,交点就是最优点。
同一项工作里还有一组更有说服力的数字。把冷冻水供水温度从 15 摄氏度提到 16 摄氏度、送风温度从 22 摄氏度降到 20 摄氏度之后,自然冷却的运行时长从 5144 小时增加到 8083 小时,系统总能耗下降 26.05%,PUE 从 1.20 降到 1.16。
自然冷却小时数这个指标值得单独说。它衡量一年里有多少小时可以不开压缩机,只靠冷却塔或者干冷器排热。供水温度每往上抬一点,可用的自然冷却时长就多一截,这一截直接换算成电费。
温差压太小的代价在泵上
供液温度定了之后,回路温差是下一个旋钮。
换热量、流量、温差三者的关系是:
· Q = m · cp · ΔT
一兆瓦的负载,温差 8 开,质量流量是 29.9 千克每秒,换算成体积流量约 108 立方米每小时。温差压到 4 开,流量翻倍到 216 立方米每小时;放到 12 开,流量降到 72 立方米每小时。
流量翻倍,泵的轴功率在管路阻力主导的区间按三次方涨,八倍。这个数字比很多人预想的猛。所以工程上倾向于把温差做大,用更少的流量搬同样的热。
温差做大的代价在末端。回水温度升高,同一排机柜里靠后的那几台,进液温度会比第一台高一截。分水器如果没有做流量平衡,最后几台的冷板入口温度可能比设定值高四到五开,热余量被这一段吃掉了。
这就形成了一个回路:为了让泵省电,把温差做大;温差做大之后末端温度不均,只好把供液温度再压低一点去补偿;供液温度压低,冷机效率又掉回去。三个动作互相抵消,最后落在哪里,取决于分水器的平衡精度和机柜的功率分布,而不是某一个单独的设定值。
反直觉的那一条
把供液温度往上抬,短期看是拿芯片的余量去换冷机的电费,长期看这笔交易是赚的,前提是余量确实够。
判断余量够不够,看的不是供液温度,是结温。1400 瓦的芯片在 32 摄氏度供液下结温 63 摄氏度,这个数已经说明了问题。真正需要压低供液温度的场景是另一类:功率密度继续往上走,冷板热阻压不下去,或者机柜内功率分布极不均匀,那时候余量才真的变薄。
还有一个容易被忽略的耦合。芯片的漏电功耗随结温上升而增加,结温每升 10 开,漏电大约翻一倍。供液温度抬高 4 度,结温抬 4 度,漏电功耗涨三成左右。这一项要放回总账里,它会把冷机省下来的那部分吃掉一部分。
所以最优点不是一个固定值,它随芯片的漏电特性、冷板的热阻、当地的气象年变化而移动。能确定的是形状:这条曲线上有一个最低点,最低点不在温度最低的那一端。
一句话
液冷供液温度是三条边界夹出来的区间,不是越低越保险。下限由露点决定,上限由结温决定,中间还要跟冷机的效率曲线和泵的流量账对齐。把水温往下压四度,多出来的热余量换不到东西,冷机、水泵和漏电功耗却要一起还这笔账。
内容来源:Sustainability(MDPI,开放获取)2024 年第 16 卷第 15 期 6542 号,液冷数据中心全年能耗与供水温度优化研究;公开的露点计算与液冷回路热阻工程资料
原文标题:Performance Analysis of Lake Water Cooling Coupled with a Waste Heat Recovery System in the Data Center
作者:Peng Yin、Yang Guo、Man Zhang、Jiaqiang Wang、Linfeng Zhang、Da Feng、Weike Ding
DOI:10.3390/su16156542
配图说明:图 1、图 2 为自行绘制,属原理示意,非原文原图复制;图 1 的曲线形状依据原文全年能耗扫描结论绘制,纵轴为归一化示意;图 2 的热阻分段按正文给出的取值计算
改动声明:本文为对开放获取文献的技术编译与解读,标题、行文与配图为原创;供水温度扫描范围、自然冷却时长与 PUE 数据引自原文,热阻链数值为按公开工程取值计算
来源:21ic电子网





