1 前言
冷板液冷正在成为数据中心冷却的热点,以解决日益增长的处理器(CPU, GPU等)热设计功率(TDP),并实现更好的能源效率。为了使数据中心服务器通过冷板液冷实现较高的热捕获率(大于90%),服务器的电源模块一般采用液冷方式。
现有的液冷解决方案,对于在电源外壳内应用大块冷板的电源模块,需要比现有的带风扇的风冷电源模块更大的对接力,由于液冷的快速断开,会产生额外的耦合力(7kgf ~ 8kgf)。7kgf ~8kgf更大的对接力需要额外设计闩锁作为辅助对接机构(见图1),这大大增加了设计的复杂性和成本。液冷电源需要定制化设计,由于在机箱内采用了一大块冷板,其z轴高度必须大于1U (= 44.45mm),这将延长定制化液冷电源的上市时间,限制其在1U外形的服务器上的应用。在相同的直流输出功率下,现有定制设计的液冷电源模块比现有的风冷电源模块成本增加150~ 200美元。
图1:现有的液冷电源解决方案
本文在不改变现有风冷电源模块内部设计的前提下,通过在现有风冷电源模块的出口加装HEX (air-to-liquid heat exchange),为液冷服务器的电源模块提供组件级和服务器系统级的散热解决方案。在本文中提出的PSU冷却方案,与上述现有的冷板液冷PSU解决方案相比,可以降低60%~65%的冷却方案成本(从150~200美元降至60~70美元),并且由于气-液HEX位于服务器系统机箱外,因此不存在服务器内部的液体泄漏问题。组件级HEX采用服务器级通用HEX进行服务器级和机架级散热,即使不使用传统后门换热器中使用的冷空气通道,其运行效率也高达87.5%。
2 气-液HEX方案
图2介绍了替代PSU液冷方案的解决方案的概念。首先为现有的风冷PSU和气-液混合HEX开发了一个支架,然后将支架组装到服务器机箱中(参见图2中的步骤1)。之后,将现有的风冷PSU(现成的,不需要定制设计)安装在支架中(见图2中的步骤2)。然后将气液混合HEX组装在支架中,并将风道入口与风冷PSU的出口平面对齐(见图2中的步骤3),确保风冷PSU出口平面和HEX模块风道入口之间没有漏气。完成所有组装后,PSU冷却解决方案如图2中步骤4的图片所示。HEX中的液体冷却了来自PSU的热气流(由PSU风扇驱动),确保HEX出口的气流温度不会明显高于数据中心机房的空气温度,这样大部分PSU热量最终将消散到HEX的液体中,而不是完全消散到数据中心机房,从而显著提高了环境温度。借助模拟表明,在指定的边界条件下实现了87.5%的效率(见表2)。
图3显示了气-液HEX如何连接到服务器液体冷却回路,并通过用HEX中的液体吸收PSU热气流的热量,将PSU热量散发到HEX中。
图2:连接到现有风冷PSU出口的气-液HEX,PSU热量消散到HEX中的液体
图3:气-液HEX的液体供应和回流
图4提供了冷板液冷服务器中提出的PSU冷却解决方案与现有解决方案的比较。所提出的冷却解决方案不需要机箱内的歧管用于多个PSU冷却,从而节省了成本。同时,对于所提出的概念,由于气-液HEX在服务器机箱外部,因此不必担心服务器内的液体泄漏。
此外,所提出的概念可以很容易地应用于不同尺寸的PSU,只需修改HEX即可适应不同的应用,而无需开发不同的液冷PSU。开发的交付周期和成本将大大节省。只要这些PSU的形状和容量相似,HEX解决方案也可以应用于不同供应商的PSU,这有助于解决市场上有限的液冷PSU的单一来源风险。
HEX设计的材料选择应考虑液体相容性,确保流经HEX的液体与HEX的润湿表面相容,以避免在使用寿命期间发生腐蚀。在满足散热需求的条件下,通过HEX的流动阻抗应尽可能低。
此外,气-液HEX没有冲击和振动问题,因为在数据中心机架中的服务器安装完成后,HEX可以作为单独的部件安装在服务器中。
图4:现有的液冷PSU和拟议的PSU冷却解决方案
值得注意的是,在冷板液冷服务器中使用拟议的PSU冷却解决方案时,需要优化PSU风扇速度控制(考虑到连接到PSU出口的HEX的额外流动阻抗),以确保HEX出口处的气流温度不会明显高于数据中心机房的环境空气温度。
3 现有技术和新技术对比
下图显示了该概念在机架级别是可扩展的。代替使用单个组件级热交换器来冷却单个PSU(见图2),构建了一个均匀的热交换器,以便它可以同时冷却多个PSU的热废气。紧凑型横流通用后置式换热器(CCU-RMHX)如下图5[b]所示。
与现有技术的后门热交换器(RDHX)不同,后者使用来自数据中心冷通道的强制冷空气和进入RDHX入口的较冷冷却剂的组合,将热空气转化为冷空气并将其排放到环境中(见图5[a]),CCU-RMMX(图5[b])仅使用HEX入口较冷的冷却剂来吸收PSU出口处热空气的热量,并在将热空气排放到环境之前降低热空气温度。
图5:现有技术RDHX[a]和新技术CCU-RMHX[b]
图6为一个组件级后置式热交换器(RMHX)的示意图。
图6:部件级RMHX示意图
表1为传统RDHX和CCU-RMHX之间的比较。
表1:RDHX与CCU-RMHX对比
4 CCU-RMHX效率
使用Icepak软件对图5[b]所示的CCU-RMHX进行CFD模拟,以表征紧凑型横流通用后置换热器的效率。从PSU中排出80°C空气(通常PSU出口的最高温度比最坏情况低10°C),这些热空气以横流方式送入热交换器,如图5[b]所示。根据ASHRAE A2,进入热交换器的冷却剂入口低于环境温度,但远高于露点,模拟中的环境温度边界条件为35°C。表2所示的CFD案例2的设置从使用CCU-RMMX的HEXΔT(即热空气入口温度减去HEX出口的冷却空气温度)的角度来看,温度降低了50%。
表2:CCU-RMHX CFD建模的边界条件
图7:计算流体动力学案例2,CCU-RMHX出口处的空气温度为40°C
图7提供了基于CFD案例2的热模拟的CCU-RMMX出口处空气的温度分布。
在CFD案例2中,根据热力学定律,可以达到的最低HEX出口空气温度是环境温度(在这种情况下为35°C),因为HEX本身处于环境温度,这意味着100%的效率在热力学上是不可能的,而HEX出口温度为40°C。这是横流紧凑型后置热交换器的非常高的散热效率(87.5%)。HEX散热效率定义为
Efficiency of CCU-RMHX = (Tambient ÷THEX out ) *100% (1)
其中Tambient表示系统环境温度,THEX-out表示CCU-RMMX出口处的冷却空气温度。
通过利用表2所示的边界条件,如增加冷却剂流量、风扇速度、降低HEX的冷却剂入口温度,可以提高HEX的效率。在热力学系统中,可以释放多少热量(Q)纯粹是三个参数的乘积的函数,即质量流量(m˙)、冷却剂的比热(Cp)和HEX系统中的ΔT,如方程式(2)所示。
Q = 𝑚̇* 𝐶𝑝 * 𝛥T (2)
其中ΔT表示HEX入口和出口之间的流体(空气和液体)温差。
通过改变这些参数,可以达到非常高的效率,但这会带来运行功率和成本的损失。因此,数据中心的PUE和TCO(总拥有成本)指标受到了打击。因此,实施这些系统的工程师的设计选择和设计目标是通过仔细操纵操作功率和成本的权衡来利用这些参数来实现所需的效率。
5 结论
数据中心的机架可能只有很少的刀片服务器和其他2U服务器,这些服务器装有非散热组件或散热量很小的组件。因此,安装一个巨大的RDHX可能不是一个经济有效的解决方案,也可能不具有热效率。具有组件级或服务器系统级紧凑型横流通用后置HEX(CCU-RMHX),如本文所提出的,对于PUE、TCO操作限制和高效性来说都是非常划算的。紧凑型横流HEX是通用的,因为它可以后置到任何需要HEX配置以降低环境温度的组件、服务器、机架或散热设备上。而传统的RDHX一旦部署,就无法缩减到组件级别或1U或2U服务器级别。
本文提供了两种紧凑型横流通用后置式换热器(CCU-RMMX),一种在组件级别,另一种在服务器系统级别。组件级HEX采用服务器级通用HEX进行服务器和机架级散热,即使不使用传统RDHX中使用的冷空气通道,也能以87.5%的极高效率运行。随着PSU出口温度的边界条件从80°C降至35°C,使其更接近环境温度的可能性非常高。这意味着,可以通过降低运行功率来降低效率,并且可以在可接受的范围内降低冷却剂质量流量,并保持较低的PUE和TCO。根据数据中心的设计选择和“所需”的最佳工作温度,效率可以提高或降低。虽然这种设计中的实施方式被证明可以从PSU中散发热量,但后置热交换器的工作原理是相同的,这一概念可以应用于任何电子和电气散热设备上有效散热,具体目的是降低环境温度。