技术 \\ 数据中心液冷技术发展分析
热管理材料 2022-01-02 07:00

电力信息与通信技术，中国知网 | 来源

数据中心液冷技术发展分析 | 题目
王艳松1，张琦2，孙聪3，庄泽岩2，黄子轩2，翟天一4 | 作者

1国网北京市电力公司，2华为技术有限公司，3中国信息通信研究院，4中国电力科学研究院有限公司 | 单位

摘要：随着我国信息产业的飞速发展，数据中心总体需求不断提升，单机柜功率密度不断提高，传统的散热方式已不能满足当前高密度数据中心的发展需求。液冷技术的出现，改善了传统的散热形式，并凭借高可靠、低能耗等优势，逐步被应用于数据中心。文章主要对浸没式、冷板式、喷淋式 3 种液冷技术进行分析，并对 3 种液冷技术的特点进行对比，归纳 3 种技术的不同特性。分析液冷系统、应用以及行业发展，为后续建设绿色高效的数据中心提供参考。

关键词：液冷；浸没式；冷板式；喷淋式；数据中心

01 引言

数据中心在信息社会和数字经济发展中扮演着重要的角色，提供计算、存储、网络能力，支撑社交、视频、网购等应用的正常进行。随着云计算、大数据、人工智能等技术的发展和应用，数据中心规模不断扩大，数据中心总体耗能总量不断增加。2020 年，中国数据中心年耗电量超过 2500 亿 kW · h，占全部用电量比例的 3%，预计仍将以 15%~20% 的速率持续增长。如图1 所示，数据中心能耗结构中冷却系统能耗占据高达 40%，成为数据中心进行能效优化的重要因素。

随着国家对新基建的重视，数据中心迎来新的发展浪潮，伴随着数字化社会的发展，数据中心也将会承担越来越重要的角色，推动数据处理、存储、传输等相关设备的建设与发展。

图1 数据中心能耗结构图

作为各类数据信息的关键基础设施，数据中心的规模不断提升，规模的年增长率保持在 30% 左右，截止到 2020 年底，数据中心机架总量已经超过400 万架。数据中心利用率是数据中心算力的主要表现形式。2019 年底，我国大型、超大型、中小型的数据中心利用率均达到 45% 以上。当前，数据中心能效水平不断攀升，加快了可再生能源的利用效率。当前，我国数据中心的电源利用效率（Power Usage Effectiveness，PUE）水平较低，大型、超大型数据中心平均 PUE 均达到 1.5 以下，在绿色低碳数中心建设方面取得了突出的成果。同时，我国可再生能源利用率不断攀升，到 2020 年底，可再生能源发电量超过 22000 亿 kW，增长率达 8.4%。蚂蚁集团、阿里巴巴等领先数据中心企业设计实施了可再生能源利用、绿色技术研发等绿色低碳数据中心策略。

数据中心一方面作为各类数据信息的核心基础设施，另一方面又与传统行业融合发展、紧密相连，特别是与电力系统领域更加密不可分。数据中心机房作为现代信息建设的基础工程，能够提供稳定的运行环境。而电力系统作为数据中心的重要组成部分，占据整个数据中心资产的 50% 以上，是数据中心的主要支撑。近年来，随着我国电力行业信息化程度逐步提高，能源互联网建设进程不断增加，电力行业先后提出“云大物移”、智慧能源等建设目标，深入应用大数据、人工智能、区块链等技术，加速推进能源革命与数字革命融合发展。当前，智能电网和互联网技术不断创新，以数据赋能电力系统，用价格信号引导电力用户改变自身的用电行为，从需求侧增加电力系统运行的敏捷性，丰富电网的运行调节手段，有效促进我国电能量市场的高速发展。同时，国家电网有限公司结合供配电资源优势，提出将变电站、数据中心站等多站进行融合的建设目标，利用现有资源，实现数量多、分布广的部署特点，为社会提供多种类型的服务。我国电力行业大型数据中心以支撑自身业务为主，并不断以绿色化、智能化、定制化为方式，推动数据中心建设。

数据中心作为集中放置电子信息设备，提供运行环境的建筑场所，是电力系统领域中的重要基础设施。数据中心大多建立在环境周边清洁、水源充足、远离自然灾害隐患、环境温度利于节约能源的地区，不但能够确保数据中心建设的安全性，而且对降低数据中心在建设过程中的能源消耗、节省数据中心的建设成本有一定的优势，如张北云联数据中心通过全自动化楼宇设备自控（Building Automation System-RTU，BA）系统，利用周边环境温度低的优势，实现自然冷源利用率的最大化，使年均 PUE 达1.23。另外，电力对于数据中心基础建设是数据中心运营的重要保障，电价成本的高低对数据中心的建设和运营均具有较大的影响。数据中心全天处于运行状态，不但需要充足的电力供给保障服务器、IT设备的正常运行，而且还需要长期运行机房的散热设备对机房进行降温处理。因此，电费支出成为数据中心运营支出的主要部分，使华为、阿里巴巴、腾讯、今日头条、百度等科技巨头对数据中心的布局逐渐向河北、内蒙古、贵州等一线周边城市扩散。如位于乌兰察布市察哈尔经济技术开发区的乌兰察布华为云数据中心，利用电力气候等独特优势采取多种措施实现绿色、高质量、低成本的运营模式，达到全年 PUE 小于 1.15，成为业界最佳水平。阿里巴巴公司利用贵州水电充足、电价成本偏低的优势，将数据中心设立在贵州，实现了建设高等级、低成本的数据中心。

随着新基建战略的不断推进，数据中心逐渐成为各行各业不可或缺的纽带，同时，其自身的能耗问题也备受关注。由于冷却系统耗能占比高、可优化空间大，当前通过改善数据中心的制冷方式，进而降低数据中心能耗，已经成为推进我国数据中心高质量发展的必要措施之一。液冷技术是数据中心制冷革新的关键技术之一，可以较好地提高数据中心的能效水平。

在发展方面，液冷技术在航天等领域内具有很长的应用历史，而在数据中心行业中发展较为缓慢。文献[9]提出了液冷结合风冷技术的双通道系统，且测试实验 PUE 结果达 1.1 到 1.2 之间；文献基于多个城市的液冷散热样本数据进行分析，构建了不同城市数据中心制冷散热系统的能耗计算模型，有效降低了数据中心系统的能耗值。文献结合数据中心节能分析基础上，采用热回收技术，在降低数据中心能耗的同时，提升热回收效益。在国外，也有大量的研究人员对降低数据中心的损耗进行大量的研究，产生了较多的应用案例，如 IBM 公司的SuperMUC 充分应用液冷技术的制冷优势，大幅度降低了数据中心的损耗率。

针对数据中心液冷技术在不同行业的技术应用发展，本文主要从浸没式、冷板式、喷淋式 3 种液冷技术的发展进行分析，并将 3 种液冷技术的特点进行系统的对比，总结出液冷技术的不同特点以及适用应用场景类型，为数据中心液冷技术的场景应用及技术发展提供参考。

01 液冷技术分析

液冷技术是电子设备进行散热的技术，主要区别于目前常用的风冷技术。当前液冷技术包括浸没式、冷板式、喷淋式等类型，本节主要介绍上述 3 种液冷技术的系统组成和运行过程，并对 3 种液冷技术进行对比。

1.1 浸没式液冷技术

浸没式液冷技术通过浸没发热器件，使得器件与液体直接接触，进而进行热交换。根据介质是否存在相变化分为单相浸没和相变浸没 2 种类型。本文主要以相变浸没液冷技术为研究对象，分析其降低数据中心能耗工作原理。

浸没式液冷技术主要由冷却液、腔体结构、换热模块及相关的连接管道等设施构成。其中，冷却液为数据中心的换热介质，具有高绝缘、低黏度以及超强的兼容特性，是浸没式液冷技术的主要媒介。主板芯片等发热器件表面的散热性能在很大程度上影响介质沸腾的换热强度，若芯片表面光滑，则液体在换热面上的传热系数较高，从而提高热量的散发速率。市场上常采用安装散热罩的方式，增大芯片的散热面积，从而提高数据中心的散热性能，降低损耗率。冷却模块是浸没式液冷技术的主要散热模块，包含液气换热器、循环泵等多个配件设施。冷却模块的部署方式可以影响冷却液的冷凝换热效率，改变浸没式系统的冷却极限，从而降低数据中心的散热效率，其模块大多适用于高性能、高热流的计算场景，如中科曙光 E 级超算设备，完全摆脱风冷散热的制约，去除风冷式散热器，配置 512 个计算节点，系统峰值功耗为 249 kW，PUE 达 1.04，有效解决高密度计算产生的制冷散热问题。网速科技是最早布局液冷数据中心产品线的企业，通过浸没式液冷的散热方式，将散热能耗降低 90%~95%、设备能耗降低10%~20%，有效降低数据中心的总体能耗占比。

1.2 冷板式液冷分析

冷板式液冷系统主要由换热冷板、热交换单元和循环管路、冷源等部件构成。冷板式液冷将热量传递给循环管道中的冷却液体，通过液体本身的制冷特性将服务器产生的热量带走，提高冷板的冷却效率，大幅度降低数据中心的能耗。

换热冷板通过空气、水或其他冷却介质在通道中的强迫对流，带走服务器中的耗热能量，可有效降低数据中心的 PUE 值。冷板材质一般由高导热系数的材料构成，使得冷板表面接近等温，带走大量的集中热量。并且冷板的应用减少冷却介质对电子元器件的污染，提高数据中心设施的使用寿命。冷量分配单元主要为竖直和水平 2 种形式，通过竖直和水平分液单元将低温冷却液均匀的分配给每一个分液单元，防止芯片热量无法有效散出，减少因节点温度升高而发生的隐患，提高系统的计算能力。循环管路是连接换热冷板、热交换单元以及其他相关器件的重要部件，一般分为直连式和环路式 2 种类型，大多根据数据中心建设的不同需求，选择合适的管路进行连接。冷源作为带走数据中心产生热量的最终出口，是冷却系统的主要组成部分。大多采用室外冷却设备提供的低温冷却水在热交换单元中充当冷源。冷源与升温后的冷却液进行间接接触，通过带走冷却液的热量进行降温，使冷却液以低温状态进入芯片模块，进而进入散热循环。因此，冷源的选择合理与否，将会直接影响整个系统的使用效率及运行的经济性问题，如阿里巴巴千岛湖数据中心利用周边环境的自然资源，采用湖水自然冷却系统等技术，使 PUE 达 1.28，有效节省数据中心的建设成本。

1.3 喷淋式液冷分析

喷淋式液冷一般不需要对数据中心的基础设施进行大幅度地改动，只需在喷淋模块调整喷淋头，实现喷淋设备与服务器的精准对应。与传统风冷服务器相比，其可以有效降低器件所产生的热量，从而控制数据中心运行的温度。喷淋式液冷服务器是整个喷淋系统的主要内部器件，凭借其高性能、低能耗、高可靠运行的特点，可以有效降低数据中心能耗。当前，先进的喷淋式液冷服务器大多采用芯片级喷淋液冷技术，通过冷却液带走部件产生的热量，冷却液的温度提升后，随即进入冷却系统的换热装置进行换热。

1.4 液冷技术对比

对冷板式、浸没式、喷淋式液冷技术进行比对，具体情况如表 1 所示。由表 1 可以看出，冷板式液冷技术在可维护性、空间利用率、兼容性方面具有较强的应用优势；但在成本方面，由于其单独定制冷板装置的原因，导致技术应用的成本相对较高。而喷淋式液冷技术则通过改造旧式的服务器和机柜的形式，大幅度减少了数据中心基础设施的建设成本。浸没式技术与其他 2 种技术相比，虽然器件的可维护性和兼容性较差，但空间利用率与可循环方面具有较好的表现，降低数据中心的能耗。

表1 冷板式、浸没式、喷淋式液冷技术比较

02 液冷产业发展分析

2.1 行业应用现状分析

第 1 节中液冷技术在数据中心行业已经有一些具体的应用案例。冷板式液冷是应用最早的液冷技术，在数据中心、高性能计算等行业均有应用；浸没式液冷技术具有节能性、高性能的特点，在计算机超算领域具有广阔的应用前景；喷淋式液冷目前公开的应用较少，但近年来应用也逐步加快。本节将结合液冷技术的类型特点，通过不同的应用案例分析浸没式、冷板式、喷淋式的应用技术。

1）浸没式液冷技术。目前，高性能计算是进行科学计算、推动信息社会发展的重要方式。以中科曙光为例，其一直致力于大型超算系统的研发，而高效制冷技术是降低高密度 IT 设备的主要形式，经过相关研发和测试，曙光 E 级超算系统已经利用浸没式液体相变的冷却方式，有效降低液冷系统的冷却极限。同时，其采用立体扩展的多层机房模式，完成系统的高效集成。除中科曙光外，北京服务于云渲染的数据中心，通过浸没式液冷技术改变传统的风冷技术，去除制冷主机和末端空调风机，降低数据中心基本设施的电能损耗，提高数据中心的运行效率。

2）冷板式液冷技术。当前，冷板式液冷技术的应用也具有较多的案例，如北京水冷超算中心采用常温水冷技术，解决数据中心的内存散热问题，从而降低数据中心的能耗，使该数据中心达到国内领先的节能水平，成为业界的标杆；百度阳泉数据中心也采用冷板式液冷技术，通过利用系统循环泵驱动温水技术带走升温的芯片热量，进而降低数据中心的能耗。华为研发的冷板式液冷技术也已经开始推广应用，并在 PUE 方面取得较好的效果。

3）喷淋式液冷技术。喷淋式液冷技术的理论基础研究相对较少，技术的应用场景也比较有限。因此，只有少量数据中心基础设备采用喷淋式液冷技术，如上海大数据试验场，一方面其采用模块化的集装箱式技术，降低了建设数据中心的应用成本；另一方面，其结合喷淋液冷技术，实现 284 kW 的 IT 负载，并将 IT 设备的 PUE 控制在稳定的范围内，提高数据中心的能效。

2.2 行业应用问题分析

液冷技术在数据中心行业的散热方面具有显著的优势，但在数据中心行业大规模应用，仍需提高技术的创新性和适用性，需要解决以下行业发展问题。

1）液冷适用性。每一种新兴技术的应用，都需要厂商进行长期的实验，才能保证技术稳定性。并且在大批量应用之前需进行小规模的定点实验，提高液冷的实用性。当前，液冷技术应当进一步加强小规模的定点实验，并努力批量应用于数据中心行业中。

2）液冷架构重构性。液冷方式的部署环境与传统的机房有较大的差异，而且部署架构也需要重新构建。因此，采用液冷技术不但面临高额的部署费用，而且也增加运维人员的时间成本，大幅度升高了数据中心的运维成本，因此，需要进一步在架构、运维等方面进行优化。

3）液冷设计规范性。液冷在数据中心的建设和测试过程中缺乏成熟的行业规范，大部分企业均根据自身的需求特点进行研发，未达成业界的统一标准。若未进行标准化统一管理，会导致液冷技术不规范发展，一旦产生破坏性故障，会彻底打击液冷技术的发展。同时，非标产品也不利于成本和应用，因此必须加快标准化进程。

2.3 行业发展建议

液冷技术在数据中心行业的应用中，需要逐步成熟的发展过程，必须依托厂商、用户及行业组织的推进，才能在未来的发展中获得大幅度提升，具体建议如下。

1）完善液冷技术材料的通用性，降低建设成本。如冷板式液冷技术中，冷板的要求规格较多，导致冷板式技术的成本较高。若对液冷应用的原材料和配件进行深入研究，降低制造液冷原材料和配件的成本，将会大幅度提升液冷数据中心的发展速度。

2）提高液冷技术的运维效率。液冷技术的运维与传统风冷技术的运维方式相差较大，从而加剧运维人员的工作成本。因此，需要生产配件的各个厂商及设备商提供安装、调试和运维的规范说明。通过标准化的流程，不但保障其应用的稳定性，而且大幅度提升运维人员的工作效率。

3）加强液冷技术验证力度，确保技术可靠运行。液冷技术的可靠性实施，需要依托于设备商、服务商、用户等企业。从节能性、可靠性和适用性等方面，推进液冷技术示范试点的运行，并在加强验证的基础上，在数据中心行业进行大批量的推广。

03 结语

我国数据中心飞速发展的同时，数据中心能耗也逐渐增加，对企业发展和社会能源，均带来了巨大挑战。在数据中心的基础设施建设中，液冷技术虽不是一个全新的概念，但仍存在液冷适用性、架构重构性以及设计规范性等多方面问题。针对液冷技术，本文从技术和行业发展 2 个方面进行分析，并提出液冷技术的发展优势，为未来数据中心行业的发展提供理论参考。

下一阶段仍需高度关注液冷技术和数据中心行业的变革，为推动液冷技术的应用以及实现高效能数据中心建设奠定基础。