数据中心液冷技术应用研究进展

摘要：液冷技术可提高散热密度、节能减排、降低数据中心的碳足迹，开展数据中心液冷技术的应用研究具有积极的科学意义。详细介绍了应用于数据中心的不同液冷技术及其冷却液。从冷却温度、节能效率、热回收性能３个方面对近年来国内外数据中心液冷技术的应用研究进展进行了综述，结果表明液冷技术冷却温度高，节能效果明显，具有优秀的热回收性能。指出合理分配使用侧及冷源侧的温差，提高部分负载下液冷系统的节能性，探索冷却温度、节能效率及热回收性能三者之间的最佳耦合关系是数据中心液冷技术的应用研究方向。认为数据中心液冷技术的应用仍需持续实践及深入探索。

关键词：数据中心；液冷技术；冷却液；冷却温度；节能效率；热回收性能；研究进展

引言

2020年全球信息与通信技术（ＩＣＴ）行业的温室气体排放约占全球温室气体排放总量的３％～６％，预计2030年将达到全球温室气体排放总量的23％左右。ＩＣＴ行业的能源消耗主要来自使用手机、计算机、电视等终端设备及网络设施和数据中心等，其中数据中心能耗最大。2019年我国数据中心年耗电量约为600亿～700亿ｋＷ·ｈ，占全社会用电量的0.8％～1.0％，预计2030年我国数据中心的总规模将是2019年的２～３倍，其耗电量将达到社会总用电量的1.5％～2.0％，而数据中心的制冷空调系统用电量占整个数据中心的30％～50％，按照《中国区域电网基准线排放因子》中的加权平均值（0.5874～0.7798）来计算，数据中心制冷空调系统用电产生的碳排放量相当大，碳减排是实现碳中和的４种主要途径（碳替代、碳减排、碳封存及碳循环）之一。为了实现数据中心制冷空调系统的节能减排，业界在通道封闭、风墙及各类气流组织上，在热管、江湖水、乙二醇动态自然冷却、冷却塔、风冷冷水机组、制冷剂泵、间接蒸发冷却、转轮换热及新风直接自然冷却等制冷方式上做了大量的相关研究。液冷技术可以直接利用自然冷却，显著降低耗电量，有利于减少数据中心的碳排放。另外，云计算、大数据、５Ｇ网络建设带来了诸如５Ｇ交互式增强现实（ＡＲ）、天量的数据处理等高通量的计算业务，使得服务器芯片的散热受到严重挑战，芯片热封装壳温也在不断提高，达到了风冷散热的极限。而液体的比热容为空气的1000～3500倍，导热性能是空气的15～25倍，所以对于更高热密度的散热，热容量更大、热传导更快的液冷就成了不二选择。随着国家及地方政策层面的推动，液冷技术在数据中心的应用也将取得长足的发展，开展数据中心液冷技术的应用研究具有重要意义，本文就液冷技术在数据中心的应用研究进行梳理。

数据中心液冷

电子设备是指由集成电路、晶体管、电子管等电子元器件组成，应用电子技术软件发挥作用的设备。液冷技术是利用液体介质与热源直接或间接接触进行换热，再由冷却液体将热量传递出去的冷却技术。由于液体介质具有换热系数高、流动性好及稳定性高的特点，在电子设备冷却上得到了越来越多的应用。

1 电子设备液冷技术

电子设备液冷技术有直接冷却和间接冷却，直接冷却有射流冲击、喷雾冷却及浸没等方式，间接冷却主要指宏观循环水冷及冷板式液冷。射流冲击是直接将液态工质喷射到换热表面上，从而实现良好散热效果的一种技术。喷射流体通常是利用压差作用，通过一定形状的孔（圆形、矩形、椭圆形等）或狭缝后具有较高的流速，对散热冷板表面进行高速冲击。按照换热过程中液态工质是否发生相变，射流冲击分为相变换热及单相换热。射流冲击相变换热不仅减薄了流动边界层的厚度，而且利用了汽化时的相变潜热，具有更好的对流换热效果。射流冲击主要应用于电力电子器件上，几乎没有在数据中心的实际应用案例。

喷雾冷却利用喷嘴将液态工质雾化成微小液滴，喷射到换热表面并形成一层连续的冷却薄膜，随着液膜流动或冷却液体蒸发带走热量。喷雾冷却常被用于飞机和宇航系统的散热，用以降低灌封的流体质量，国外 ＥＡ-６Ｂ电子干扰机的雷达采用了该冷却技术，ＣｒａｙＸ-Ｉ号超级计算机散热冷却中也曾尝试应用该技术。喷雾冷却用于服务器上仍需在密封性及材料相容性方面做进一步的研究，无其他数据中心采用喷雾液冷的相关报道。

宏观循环水冷系统是将储液箱的冷却液送至与热源直接接触的冷板，吸收热量后进入散热器，散热后重新进入储液箱，从而形成一个完整的冷却循环。这种水冷系统结构简单，稳定可靠，在军事电子设备上具有广泛应用。但是该系统的散热效率有待提高，系统设备的尺寸需进一步优化，无数据中心应用案例。

2 数据中心液冷种类

数据中心服务器是计算机的一种，它比普通计算机运行更快、负载更高。服务器在网络中为其他客户机提供计算或应用服务，通常由中央处理器（CPU）、硬盘、内存及系统、系统总线等组成，也属于电子设备的范畴。服务器按照其外形及应用环境一般可分为塔式服务器、机架式服务器、刀片式服务器及机柜式服务器。塔式服务器外形及结构与平时使用的立式个人计算机（PC）类似，其机箱较大，占用空间大。机架式服务器外观按照统一标准设计，配合机柜统一使用，高度以 Ｕ 为单位（1Ｕ＝44.45ｍｍ），通常有1、2、3、4、5、6、7Ｕ 几种标准。作为服务器关键部件的 CPU，随着性能的提升，功耗增加非常显著，例如英特尔上一代的ＳａｎｄｙＢｒｉｄｇｅ功耗为135 Ｗ，最新一代的Ｓｋｙｌａｋｅ功耗达到了240Ｗ，按照高密度服务器１Ｕ 高度４块CPU计算，则1Ｕ 服务器的散热量可以达到960Ｗ，常规42Ｕ机柜的散热量高达40．3 ｋＷ。依据文献［３８］统计，４２Ｕ 机柜的散热量甚至达到了50.4ｋＷ。刀片式服务器通过机箱集成电源和气流分配模块，一个机箱包含多个刀片式服务器以缩小空间需求，每个刀片即一块系统主板，集成度更高，比机架式服务器更节省空间。随着刀片式服务器性能的持续发展，最初一个刀片上只有２块CPU，现在一个刀片上仅图形处理器（GPU）就有８块，高性能计算服务器单机柜发热量将在３年内达到60～100ｋＷ，在５年内达到100ｋＷ 以上。部分服务器内部结构复杂、设备较多，有的还具有许多不同的设备单元，或者几个服务器放在一个机柜中，这种服务器就是机柜式服务器，适用于快速一体化部署应用场景。

20世纪90年代，集成电路发展至互补金属氧化物半导体（ＣＭＯＳ），导致电子器件的功率及封装密度飞速增加，ＣＭＯＳ的运算能力远超之前的双极晶体管，高功耗和高封装密度带来了前所未有的冷却需求。事实上，在此之前，行业实践已经发现液冷是满足多芯片模块飞速增长的冷却需求的合适技术。最早的CPU液冷散热器利用直径4ｃｍ的铝制散热片，出现在20世纪80年代末90年代初。经过多年的探索及发展，目前实际应用于数据中心的液冷主要有２种方式：浸没式及冷板式。浸没式液冷将服务器里面所有硬件直接浸泡在工程液体中，依靠流动的工程液体吸收服务器的发热量。按照工程液体散热过程中是否发生相变，可以分为单相浸没式液冷及两相浸没式液冷。单相浸没式液冷如图１ａ所示，冷却液在散热中始终维持液态，不发生相变，低温的冷却液与发热电子元器件直接接触换热，温度升高后进入板式换热器，被室外侧冷却循环冷却后重新进入液冷槽冷却服务器。整个散热过程中冷却液无挥发流失，控制简单。两相浸没式液冷如图１ｂ所示，浸泡在液冷槽冷却液中的服务器产生的热量使冷却液温度升高，当温度达到其沸点时，冷却液开始沸腾，同时产生大量气泡。气泡逃逸至液面上方，在液冷槽内形成气相区，气相区的冷却液被冷凝管冷却凝结成液体后返回液冷槽液相区。冷凝管中与冷却液换热后被加热的水由循环泵驱动进入室外散热设备进行散热，冷却后的水再次进入冷凝管进行循环。两相浸没式液冷的冷却液在散热过程中发生了相变，利用了冷却液的蒸发潜热，具有更高的传热效率，但是相变过程中存在压力波动，控制复杂。

图１ 数据中心浸没式液冷架构示意图

近两年，国内某厂家提出了如图２所示的喷淋式液冷系统，用低温冷却液直接喷淋芯片及发热单元，吸热后的高温冷却液换热后重新成为低温冷却液，再次循环进入服务器喷淋，过程中无相变，与单相浸没式液冷大致类似，其基本思想也是冷却液与服务器直接接触散热，差异之处在于加强了对流换热，将冷却液集中收集在储液箱中，液冷柜中的冷却液量较浸没式少。理论上循环散热过程中冷却液无相变，但是在喷淋过程中遇到高温的电子部件冷却液会出现飘逸，从而对机房及设备环境产生影响。

图２ 数据中心喷淋式液冷架构示意图

冷板式液冷的冷却液不与服务器元器件直接接触，而是通过冷板进行换热，所以称之为间接液冷。为了增大换热系数，目前绝大多数的服务器芯片采用微通道冷板。与浸没式类似，依据冷却液在冷板中是否发生相变，分为单相冷板式液冷及两相冷板式液冷。两相冷板式液冷利用液泵驱动液态冷媒进入冷板，吸热后蒸发成气态，再利用水冷冷凝器冷却成液态，并将热量排入冷却水系统， 冷却后的冷媒进入集液器进行气液分离后进入过冷器过冷，以确保液泵吸入口为液态冷媒，然后液泵驱动冷媒反复循环，也可以利用压缩机循环，从冷板蒸发出来的冷媒通过压缩机压缩后再进入水冷冷凝器冷却，通常将液泵及压缩机２套系统设计成互为备用。两相冷板式液冷系统复杂，而且在狭小的冷板中蒸发汽化会影响冷却液的流量稳定，引起系统的压力及温度波动，最终可能导致过热。两相冷板式液冷在数据中心的实际应用案例并不多见。

单相冷板式液冷是采用泵驱动冷却液流过芯片背部的冷板通道，冷却液在通道内通过板壁与芯片进行换热，带走芯片的热量。换热后的冷却液在换热模块中散热冷却。由于冷板只集中冷却ＣＰＵ、集成电路、随机存取存储器（ＲＡＭ）及 ＧＰＵ等核心发热部件，服务器的其他电气元件仍需风冷散热。数据中心常用冷板式液冷的应用架构如图３所示。

图３ 数据中心冷板式液冷架构示意图

热管技术利用热传导原理与相变介质的快速热传递性质，通过热管将发热物体的热量迅速传递到热源外。典型的热管由管壳、吸液芯和端盖组成，将管内抽成负压后充以适量的工作液体，使紧贴管内壁的吸液芯毛细多孔材料中充满液体后加以密封。当热管的一端受热时毛纫芯中的液体蒸发汽化，蒸汽在微小的压差下流向另一端放出热量凝结成液体，液体再沿多孔材料靠毛细力的作用流回蒸发段。热管在数据中心有不同的应用形式，用于冷水机组的有重力热管、气泵驱动复合热管，空调末端有吊顶热管、背板式热管、环路热管机柜等形式。这些热管应用于主机冷源侧，末端房间级、通道级或机柜级的冷却，冷却液并未进入服务器内部，未涉及芯片液冷，不在本文讨论范围内。用于数据中心液冷的芯片热管如图４所示，其芯片液冷热管散热器由热沉、热管及冷板组成，与单相冷板式液冷相比，冷却液与芯片的物理距离远一些，有利于抵御漏水风险，但是冷却液与热管中的冷媒再进行一次换热，换热就必定存在损耗，同时用于服务器中的热管尺寸小，相关的性能如压降、质量流量及散热量需要进一步探索优化。若把热管散热器看成一个整体，也可以认为是冷板式液冷。

图４ 液冷芯片热管

由于服务器需要完全浸泡在冷却液中，故浸没式液冷需要专门的液冷槽，无法利用常规服务器机柜，而且要求地板承重在1000ｋｇ／m²以上；喷淋式液冷需要与喷淋式服务器配套的机柜；而板式液冷仅需将服务器芯片的风冷热沉替换为散热冷板，主流服务器厂商均可提供与常规风冷服务器尺寸一致的机架式、刀片式冷板液冷服务器，故冷板式液冷可以利用常规风冷服务器的机柜，甚至同一机柜中既可布置风冷服务器，也可安装冷板式液冷服务器。所以浸没式及喷淋式液冷适用于结构承重经过特殊加固的新建项目，冷板式液冷既适用于新建项目，也适用于改造项目。根据相关资料，喷淋式液冷目前单机柜最大负载为48ｋＷ，冷板式及浸没式液冷均有单机柜高达200ｋＷ 的解决方案。

3 冷却液

无论哪种液冷形式，最终都是通过室外侧的循环水将热量带走，水低于０℃将凝固结冰，所以为了防止系统结冰涨管，极端最低温度低于０℃的地区均需在冷源侧散热水循环系统中加入乙二醇防冻剂。不同液冷形式对于使用侧冷却液的要求并不相同，单相冷板式液冷通过冷却液在冷板内吸热降低芯片温度，不允许出现汽化现象，相对于普通的绝缘液体和制冷剂，由于水的高沸点及良好的传热性能，使其成为单相冷板式液冷的理想冷却媒介。考虑出厂运输过程及投入使用后间歇运行的极端天气状况，单相冷板式液冷系统厂商通常要求在使用侧采用预混合25％丙二醇（ＰＧ）的冷却液。２种常用防冻剂的主要热物性参数及不同质量浓度水溶液的凝固点如表１所示。

表１ 常用防冻剂的主要热物性参数及不同质量分数水溶液的凝固点

两相冷板式液冷使用侧为微型机械制冷循环，适用的低沸点绝缘制冷剂较多。业内学者利用R１３４ａ、R２３６ｆａ、R２４５ｆａ及 R４０７Ｃ等制冷剂进行了大量的两相冷板散热实验研究，得到了两相冷板式液冷的相关性能参数。表２汇总了部分适用于两相冷板式液冷的制冷剂的热物性参数。

表２ 部分两相冷板式液冷制冷剂的热物性参数

热管冷板式液冷冷板内实际上为朗肯制冷循环，热管内的工质需要考虑工作温度、传热性能及该工质与管壁、吸液芯的兼容性。甲醇、氨、丙酮及乙醇等都是合适的热管工质；制冷剂Ｒ１４１ｂ、Ｒ１２３及Ｒ１３４ａ在热管冷板中也有良好的散热性能；事实上，水也是良好的热管工质。表３给出了部分热管冷板式液冷热管工质的热物性参数。

表３ 部分热管冷板式液冷热管工质的热物性参数

由于浸没式液冷系统的冷却液直接和电子器件接触，必须确保冷却液与电子器件的绝缘。同时，良好的热物理性能、化学及热稳定性、无腐蚀且环境友好也是该类冷却液非常重要的特性。两相浸没式液冷系统的冷却液需要合适的沸点、较窄的沸程范围及高汽化潜热。硅酸酯类、芳香族物质、有机硅、脂肪族化合物及氟碳化合物等都被尝试应用于两相浸没式液冷。由于氟碳类化合物具有更优的综合性能，是目前常见的电子设备液体冷却剂。单相液冷需要高沸点，矿物油可作为单相浸没式液冷的冷却液。实验证实，具有全氟碳结构的氟化液是良好的单相浸没式液冷冷却液。表４汇总了数据中心浸没式液冷系统部分常用冷却液的主要物性参数。表中并没有将喷淋式液冷冷却液单独列出，如前所述，喷淋式液冷可认为是一种特殊的单相浸没式液冷，故理论上单相浸没式液冷冷却液均可采用。当然，无论是用于冷板式还是浸没式液冷的冷却液，除了关注热物性参数外，还应考虑环保评价参数如臭氧消耗潜能（ODP）及全球变暖潜能（GWP），根据相关政策依法依规选用。

表４ 数据中心浸没式液冷部分适用冷却液的主要物性参数

冷却温度

提高冷却温度，降低冷却系统的能耗是数据中心利用液冷的主要目的之一。大量实验研究表明，虽然液冷方式各不相同，但由于冷却液均更接近发热源，绝大部分液冷服务器的冷却液进口温度高于常规风冷服务器数据中心的供水温度，部分液冷服务器实验冷却液进口温度统计见表５。可以看出，除两相冷板式液冷外，其余液冷服务器实验的供液温度均高于30℃，部分实验的冷却液进口温度甚至高达60℃。

表５ 部分液冷服务器实验冷却液进口温度

表６汇总了部分实际液冷项目的冷却液进（出）口温度。可以看出，不同项目冷源侧及使用侧的温差各不相同；另外，尽管数据中心液冷的理论进口温度高，但无论是在有关云计算、超算还是有关模拟器的具体项目上，为了确保服务器芯片工作温度距离极限温度有足够余量，冷源侧的供液温度通常不超过45℃。当然，实际运用过程中，可依据配置服务器的实际性能对系统冷却液进口温度作进一步调整，依据相关报道，德国慕尼黑莱布尼茨超算中心实际运行的冷源侧供液温度达到50℃。

表６ 部分液冷项目冷却液进（出）口温度

尽管液冷冷却液与电子元器件的温差可以远小于风冷散热，15 ℃温差即可满足散热需求，但并不意味着可以一味提高进口温度。研究表明，冷却液进口温度升高，通信线路中的电阻和微处理器中的泄漏电流将增加，服务器的功耗随着冷却液进口温度升高而增加。文献［１９］研究发现，冷却液的进口温度从30℃提升至60℃，服务器的功耗增加7％；Ｓｈｏｕｋｏｕｒｉａｎ等人对超算服务器进行测试，得到如图５所示的服务器节点功率与冷却液进口温度曲线图。尽管单个服务器节点的功率增加不大，但是中大型数据中心服务器节点数量多，全部节点增加的能耗也相当可观。

图５ 服务器节点功率与冷却液进口温度曲线图

提高冷源侧散热温度有利于扩大室外自然冷却温度范围，降低散热风机的功耗；增大换热温差、提高冷却液的进口温度有助于实现系统循环泵的节能。另一方面，提高冷却液的进口温度会增加服务器的运行功耗。所以在具体项目上，应合理设计服务器冷却液进口温度，进一步探讨冷源侧及使用侧的最优温差分布，以实现服务器及其散热系统的整体性能处于最佳状态。

数据中心液冷系统的进口温度高，可以充分利用自然冷却，整套系统只有循环泵及室外散热风机的功耗，具有良好的节能效果。电能使用效率PUE（ｐｏｗｅｒ ｕｓａｇｅｅｆｆ ｅｃｔｉｖｅｎｅｓｓ）是数据中心能效的指标，该数值定义为数据中心消耗的所有能源与ＩＴ负载消耗能源的比值。其值大于１，越接近１表明非ＩＴ设备耗能越少，即能效水平越好。而部分 电 能 使 用 效 率 PPUE （ｐａｒｔｉａｌ  ｐｏｗｅｒ  ｕｓａｇｅ  ｅｆｆｅｃｔｉｖｅｎｅｓｓ）是某子系统内数据中心总能耗与ＩＴ设备总能耗之比，不需要考虑数据中心其他子系统的性能，可以直观体现该子系统的节能情况。

文献［55］按照全部风冷服务器、50％风冷与50％冷板式液冷服务器混搭及全部冷板式液冷服务器对某数据中心进行分析，发现３种不同方案的PPUE分别为1.39、1.29及1.18，若对原有机房改造，将风冷服务器改成液冷服务器，保持原风冷空调辅助散热，则散热系统的PPUE将低至1.13，所以无论是新建数据中心还是改造原有机房，采用冷板式液冷都将大幅降低制冷功耗。

肖新文建立了冷板式液冷数据中心的能耗模型，对分布在我国不同热工区属的36个城市的液冷数据中心进行了节能分析，计算发现所有城市的PPUE均低于1.13，冷板式液冷系统在我国各地均具有显著节能潜力，同时指出降低液冷服务器的风冷辅助散热比例、提高风冷辅助散热系统的能效将进一步降低整体散热系统的PPUE。

为了提高风冷辅助散热系统的性能，文献［21］提出了将冷板式液冷与动态自然冷却空调系统相结合的散热方案，该散热方案的计算PPUE可低至1.09。

Ｃｈｉ等人实测了浸没式液冷原型机柜的性能参数，并假设ＩＴ 负载满载运行的前提下，利用实验得到的相关参数对散热量为250ｋＷ 的数据中心进行了计算分析，结果发现该浸没式液冷数据中心的PPUE为1.14。

严逊等人搭建了浸没式液冷实验台，利用假负载测试得到不同室外温度、不同负载功率下的PPUE在1.05～1.28之间，同时发现PPUE随着负载上升而降低。

表７汇总了部分液冷项目的电能使用效率。可以看出，无论项目的规模大小、项目所处的纬度及气候区，液冷均可以明显降低数据中心的PUE，几乎所有项目的犘犝犈 都低于1.2；浸没式及喷淋式液冷不需要风冷辅助散热，具有更低的PUE，大部分实际项目的PUE均低于1.1。另一个值得关注的是大部分项目是在满负载下的实测／计算PUE，Ｋａｎｂｕｒ等人则做了部分负载下的测试，发现当负载降至３７％（由9.17ｋＷ 降至3.4ｋＷ）时，PUE由1.15显著提高至1.4，变化趋势与文献［96］一致。室外散热设备及循坏泵通常按照设计流量及工况选型，部分负载下的性能表现有待提高。

表７ 部分液冷项目电能使用效率

热回收性能

数据中心发热量大，若直接冷却排入大气，不仅造成能源浪费，也会造成全球气候变暖。合理回收余热有利于降低数据中心碳足迹，数据中心热回收利用方式有区域供热、直接发电、间接发电、吸收式制冷、海水淡化及生化质能提炼等。

风冷服务器数据中心的废热温度区间通常在25～35℃，而液冷系统可在靠近CPU 等集中发热的部位捕获热量，这些部件的工作温度较高，CPU的工作温度上限通常为85 ℃，即使冷却液冷却温度高达60℃，仍能保持部件温度低于极限温度。液冷系统可以在40～60 ℃温度下利用废热，此温度区间的余热回收品位更高。

为了确定采用的热回收技术及应用策略，Ｚｉｍｍｅｒｍａｎｎ等人通过分析，引入了基于电力和矿物燃料成本、热回收效率和特定应用效用函数的余热回收经济价值指标———热经济价值（VH），其计算式如式（１）所示。

式中U为应用效用函数，不同的热回收应用值不同；Cff为燃烧化石燃料产生１ｋＷ·ｈ热量的成本；Cel为１ｋＷ·ｈ的电力成本；η１ｓｔ为热回收效率。

由式（１）可以看出，回收热量的应用经济价值是由使用电力和化石燃料的成本确定的，不同国家及地区的数值并不一致；而热量则是数据中心运行温度的函数，取决于热回收效率；热量的实际价值应根据所选的热回收应用方式进行评估，不同应用方式的应用效用函数不同。设定Ｓｉｇｍｏｉｄ函数在特定的温度范围内从０变为１，然后保持不变，与热水供暖特性相符，可用于数据中心余热回收供暖热经济价值的效用函数。

文献［101］按照欧洲平均电力及化石燃料成本计算得到了如图６所示分别基于石油及天然气的热经济价值曲线。同时，将以卡诺效率因子作为单位热量标准量的热力学价值及基于朗肯循环（效率为50％）的发电价值曲线也绘制在该图中。由图６可见，回收数据中心余热供暖，可直接利用热量，而无需转换为机械功，经济价值高于其热力学价值。

图６ 热经济价值曲线

Davies等人对采用风冷、液冷＋风冷及全液冷等不同冷却散热系统的样本数据中心进行热回收效益分析，发现利用热泵回收3.5ＭＷ 全液冷数据中心的余热作为区域供热的热源可以每年减排二氧化碳4102t。

文献［108］建立了利用全热回收冷水机组回收位于上海的某冷板式液冷数据中心的余热作为区域供热热源的方案模型，对该样本进行效益分析后发现，每个供暖季可节省标准煤约3657ｔ，而且液冷系统水温高，热回收耗电效率是风冷散热的2.78倍，热回收效益大。

ＴＧＧ 及ＩＳＯ 提出采用能源重复利用系数ERF（ｅｎｅｒｇｙ  ｒｅｕｓｅ  ｆａｃｔｏｒ）来量化数据中心消耗能源的再利用情况，可用于评价数据中心的余热回收性能，如式（２）所示。

式中 Ere为回收重复使用的能源；EＤＣ为数据中心消耗的所有能源，不仅包括ＩＴ 设备消耗的能源，也包括数据中心辅助设施如冷却散热、照明及配电等系统的所有耗能。

由式（２）可知，ERF越大表明热回收重复利用的能源越多。

Ｏｒó等人提出回收冷板式液冷数据中心的余热用于泳池加热，利用 ＴＲＮＳＹＳ软件对全部液冷服务器并联、每２台液冷服务器串联、每３台液冷服务器串联及每４台液冷服务器串联４种不同的连接方式进行热回收效益分析，得到如图７所示的热回收性能。可以看出，４台服务器串联的方式具有更优的热回收性能，ERF超过0.45，冷却液与服务器芯片充分换热，冷却液温度越高越有利于回收更多余热。

图７ 不同应用连接方式的年能耗、热回收量及能源重复利用系数

再 生 能 源 利 用 效 率 ERE（ｅｎｅｒｇｙ   ｒｅｕｓｅ  ｅｆｆｅｃｔｉｖｅｎｅｓｓ）是另一个用于评估余热回收的性能指标，其计算式为：

式中 Eｃ为数据中心制冷消耗的能源；Eｐ为数据中心配电消耗的能源；Eｌ为数据中心照明消耗的能源；EＩＴ为数据中心ＩＴ设备消耗的能源。

其中Eｃ、Eｐ、Eｌ及EＩＴ合计为数据中心消耗的所有能源EＤＣ，故ERE 与ERF及PUE的相互关系可以表示为：

由式（4）可以看出，若数据中心无热回收等再生能源，即ERF为０，则ERE的数值与PUE一致，ERE越高，表明再生能源利用效率越低。

尽管冷却液温度越高越易于热回收，但冷却液温度升高，服务器的功耗会随之增加，从而影响实际运行PUE。Ｚｉｍｍｅｒｍａｎｎ等人通过能效理论分析，得到了如图８所示的ERE与冷却液进口温度曲线。可以看出，冷却液进口温度越高，理论再生能源利用效率反而越低，由于理论分析将数据中心绝热一并考虑在内，当冷却液温度升高时，数据中心与周围环境的温差增大，散热量大，热回收效率反而降低，因而ERE增大。故数据中心余热回收同样需要统筹兼顾液冷温度、PUE及ERE。

图８ 再生能源利用效率与冷却液进口温度曲线

结论与展望

１）液冷冷却温度高，理论冷却液进口温度可 高达60℃，无论应用于云计算、超算还是模拟器， 实际项目中设计冷却液进口温度通常不超过45℃，可充分利用自然冷却，实际运行供液温度可作 进一步调整。

２）液冷可以明显降低数据中心的PUE，无论项目的规模大小、所处的纬度及气候区，几乎都可以将PUE控制在1.2以内，浸没式液冷具有更低的PUE，大部分浸没式液冷项目的PUE不超过1.1。

３）余热回收将是数据中心液冷的又一应用趋势，相较于风冷散热，液冷系统可以在更高的温度区间进行余热回收，具有更优的热回收性能，且热回收供暖的经济价值远高于其热力学价值。

尽管电子设备的液冷技术研究已经开展了几十年，但是数据中心液冷技术的应用时间并不长，尚未展开大规模的应用。冷板式液冷利用其在超算及模拟器上长期积累的项目经验，正逐步向云计算数据中心推进；而浸没式液冷近几年才开展数据中心的应用，尤其是喷淋式液冷目前仅有零星展示实验项目。数据中心液冷技术的应用发展需要持续不断地探索实践，仍然存在诸多问题和挑战需要应对，以下将是未来数据中心液冷应用研究的发展方向：

１）冷板式液冷仍需要部分风冷辅助散热，扩大冷板散热的冷却范围，降低风冷散热的比例；结合高效风冷散热系统，进一步降低冷板式液冷数据中心的散热PPUE需要持续研究与实践。浸没式液冷需要进一步提高系统稳定性、维护便利性，优化承重荷载，降低初投资。而喷淋式液冷则需要提高单机柜散热能力，解决冷却液散逸问题，进一步优化系统，提高系统成熟度，同浸没式液冷一致，冷却液与服务器部件的兼容性需要持续验证。

２）提高液冷散热温度有利于增加全年自然冷却时间，降低室外散热设备的风机运行功耗；加大换热温差，可降低冷却液流量，从而进一步实现系统循环泵的节能。但过高的冷却液进口温度会增加服务器的运行功耗。合理设计服务器冷却液进口温度、科学分配散热温差、实现服务器及其散热系统的节能最大化将是后续液冷应用研究的重要方向。

３）液冷系统通常按照满负载工况设计，合理配置系统设备、加强运维过程调适、提高部分负载下液冷系统的节能性有待进一步研究。

４）冷却液温度越高越易于热回收，但冷却液温度升高，服务器的无用功耗也会随之增加，继而影响实际运行犘犝犈，而且理论再生能源利用效率也会将低。故进一步深入研究冷却温度、节能效率及热回收性能三者之间的最佳耦合关系具有较好的指导意义。

随着应用研究的持续深入和工程实践经验的不断积累，数据中心液冷技术在高性能、高密度、节能减排、余热回收上的优势会愈发凸显，必将为数据中心行业碳中和贡献更大力量，取得新的更大发展。

来源：暖通空调 中国知网  作者：肖新文

资料免费送（点击链接下载）

史上最全，数据中心机房标准及规范汇总（下载）

数据中心运维管理 | 资料汇总（2017.7.2版本）                                         

加入运维管理VIP群（点击链接查看）

《数据中心运维管理》VIP技术交流群会员招募说明

加入学习群扫描以下二维码或者添加微信：

wang2017bj