产品分类
数据中心液冷产品
  数据中心液冷解决方案
  FD83接头
  UQD快速接头
  EHW194液冷软管
  5400冷却剂接头
  传感器
  Manifold分水器
Danfoss流体管阀件
 
 
 
 
 
丹佛斯储能液冷方案
热管理产品
阀门
传感器
  新闻通告
  成功案例

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


   

电信运营商液冷技术白皮书
Liquid Cooling Technology Whitepaper
(2023年)

 

中国移动通信集团有限公司
中国电信集团有限公司
中国联合网络通信集团有限公司

2023年 6月

 

报告 \\ 电信运营商液冷技术白皮书(2023)
来源 | 中国移动通信集团有限公司,中国电信集团有限公司,中国联合网络通信集团有限公司

 

 

 

前言

 

我国数字经济蓬勃发展,AI、智算需求高速增长,新型数智化应用日新月异,高密、高算力等多样性算力基础设施持续发展,推动液冷新需求。同时,在“双 碳”宏观形势下,政府部门对数据中心PUE(电能利用效率)监管日益趋严。

 

液冷技术的出现,改善了传统风冷的散热形式,更能满足高密机柜、芯片级 精确制冷、更节能、更节地、噪声低。液冷技术在国内外发展已有十余年,但当前生态不完善,各家产品形态各异,产品规范化程度较低,机柜与服务器深度耦合,尚无统一接口标准,难以标准化、规模化推广应用。推广液冷技术,需要集思广益、凝聚共识,完善液冷产业标准化和生态建设、促进液冷技术有序发展,开辟数据中心液冷行业高质量发展道路。

 

作为建设网络强国、数字中国、智慧社会的国家队与主力军,中国移动、中国电信、中国联通全面贯彻落实新发展理念,服务新发展格局,凝聚行业合力、发挥规模优势,共同联合产学研用上下游,强化技术攻关,共同推进液冷基础设施侧与主设备侧的解耦,探索机柜与服务器间接口的统一及标准化,旨在构筑技术领先、开放共享、自主可控、成本最优、合作共赢的“新生态”,推进冷板式液冷形成拥有原创技术、接口标准统一、产业生态完善、规模应用的发展态势,推进浸没式液冷形成标准统一化、产品国产化、实施工程化、推广规模化的发展格局,推动建立并完善数据中心液冷技术生态系统,持续降低数据中心能耗强度 和碳排放强度,促进经济社会绿色转型,助力尽早实现碳达峰、碳中和目标。


目录

1 发展回顾..................................................................................................................................... 1
1.1 面临形势 .............................................................................................................................. 1
1.1.1 高密高算力基础设施推动液冷新需求 ..................................................................... 1
1.1.2 政府对数据中心能效监管日益趋严 ......................................................................... 1
1.2 发展现状 .............................................................................................................................. 2
1.2.1 国内外发展历程 ......................................................................................................... 2
1.2.2 当前液冷技术 ............................................................................................................. 3
1.3 业内实践 .............................................................................................................................. 3
1.3.1 中国移动 ..................................................................................................................... 3
1.3.2 中国电信 ..................................................................................................................... 5
1.3.3 中国联通 ..................................................................................................................... 7
1.4 产业生态 .............................................................................................................................. 8
1.4.1 产业链上游 ................................................................................................................. 8
1.4.2 产业链中游 ................................................................................................................. 8
1.4.3 产业链下游 ................................................................................................................. 8
1.5 发展挑战 .............................................................................................................................. 9
2 目标蓝图..................................................................................................................................... 9
2.1 三年愿景 .............................................................................................................................. 9
2.2 技术路线 ............................................................................................................................ 10
2.3 生态完善 ............................................................................................................................ 11
3 技术方案................................................................................................................................... 11
3.1 冷板式液冷 ........................................................................................................................ 11
3.1.1 服务器与机柜解耦 ................................................................................................... 11
3.1.2 CDU 形式 .................................................................................................................. 13
3.1.3 供电模块 ................................................................................................................... 14
3.1.4 冷却液选择 ............................................................................................................... 14
3.2 浸没式液冷 ........................................................................................................................ 16
3.2.1 系统方案 ................................................................................................................... 16
3.2.2 冷却液 ....................................................................................................................... 17
4 推进计划................................................................................................................................... 19
4.1 制定标准 ............................................................................................................................ 19
4.1.1 冷板式液冷 ............................................................................................................... 19
4.1.2 单相浸没式液冷 ....................................................................................................... 19
4.2 测试验证 ............................................................................................................................ 19
4.2.1 冷板式液冷 ............................................................................................................... 19
4.2.2 单相浸没式液冷 ....................................................................................................... 19
4.3 规模推广 ............................................................................................................................ 19
5 展望倡议................................................................................................................................... 20
缩略语列表................................................................................................................................... 21
参考文献....................................................................................................................................... 22

 

01发展回顾

1.1 面临形势

1.1.1 高密高算力基础设施推动液冷新需求

 

我国数字经济正在转向深化应用、规范发展、普惠共享的新阶段。当前,新型应用日新月异,AI、智算纷纷提前布局,高密、高算力等多样性算力基础设施 持续发展,作为建设网络强国、数字中国、智慧社会的国家队与主力军,中国移动、中国电信、中国联通积极推动智算等高算力建设,推进人工智能、元宇宙、图形渲染等计算密集型业务发展。计算型节点、AI 训练、超算等高算力业务需求持续推升芯片性能、功率与服务器功率不断提高,液冷技术利用液体较高的比热容和换热能力可以支撑更高功率散热,正在逐步成为新型制冷需求。

 

为促进液冷技术发展推进,国家、地方及行业推出相关政策引导液冷技术落地应用。2021年 5月发改委、工信部等部门联合发布的《全国一体化大数据中心协同创新体系算力枢纽实施方案》中要求“推动数据中心采用液冷、机柜模块化、余热回收利用等节能技术模式”。2021年 7月工信部《新型数据中心发展三年行动计划(2021-2023 年)》要求“加强核心技术研发。鼓励企业加大技术研发投入,开展新型数据中心预制化、液冷等设施层,专用服务器、存储阵列等 IT 层,总线级超融合网络等网络层的技术研发”。2021年 11月发改委《贯彻落实碳达峰碳中和目标要求推动数据中心和 5G 等新型基础设施绿色高质量发展实施方案》明确“支持采用液冷等方式”。

 

1.1.2 政府对数据中心能效监管日益趋严

 

数据中心是数据流接收、处理、存储与转发的“中枢大脑”。为激活数据要素潜能,不断做强做优做大数字经济发展,我国正加快构建新型数据中心基础设施体系。同时,在“双碳”宏观形势下,政府部门近年陆续出台多项文件,对数据中心 PUE(电能利用效率)监管要求不断提高、达标时间不断提前。

 

2021年 7月工信部印发《新型数据中心发展三年行动计划(2021-2023 年)》(工信部通信〔2021〕76 号),明确“到 2023 年底,新建大型及以上数据中心 PUE 降低到 1.3 以下,严寒寒冷地区力争降低到 1.25 以内”。2021 年 11月发改委印发《贯彻落实碳达峰碳中和目标要求推动数据中心和 5G 等新型基础设施 绿色高质量发展实施方案》(发改高技〔2021〕1742 号),明确“到 2025 年, 新建大型、超大型数据中心PUE降到1.3以下,国家枢纽节点降至1.25以下。”2022 年 1月发改委同意启动建设全国一体化算力网络国家枢纽节点的系列复函中明确要求国家算力东、西部枢纽节点数据中心 PUE 分别控制在 1.25、1.2 以下。液冷技术通过冷却液体替代传统空气散热,液体与服务器高效热交换,提高效率,挖潜自然冷源,降低 PUE,逐步成为一种新型制冷解决方案。

 

1.2 发展现状

1.2.1 国内外发展历程

 

我国液冷技术起步稍晚于国外,但起步后发展迅速,后期与国外发展进程基本同步,并且在液冷规模试点应用方面积累了丰富经验。

 

 

1.2.2 当前液冷技术

 

液冷技术主要包括冷板式液冷、浸没式液冷和喷淋式液冷技术三种。冷板式液冷是服务器芯片等高发热元件的热量通过冷板间接传递给液体进行散热,低发热元件仍通过风冷散热的一种方式。浸没式液冷是服务器完全浸入冷却液中,全部发热元件热量直接传递给冷却液,通过冷却液循环流动或蒸发冷凝相变进行散热的一种方式。其中,冷却液循环流动的方式为单相浸没式液冷,冷却液蒸发冷凝相变的方式为相变浸没式液冷,相变浸没式液冷控制更复杂、要求更高。喷淋式液冷是用冷却液直接喷淋芯片等发热单元,通过对流换热进行散热的一种方式。当前,冷板式液冷、单相浸没式液冷为主要形式。

 

1.3 业内实践

 

1.3.1 中国移动

 

多年来中国移动持续推动绿色转型,加强节能技术创新,主持或参与编制标准,探索研究液冷技术,开展先行试点应用,后续将进入规模试点新阶段。

 

(1)标准编制

 

2018 年至今,主持或作为主要单位编制了工业与信息化部、中国通信标准化协会、中国电子学会、开放数据中心标准推进委员会等数十项液冷相关标准,其中参与编制的“《数据中心液冷服务器系统总体技术要求和测试方法》等团体标准 6 项” 荣获 2021 年度中国通信标准化协会科学技术奖二等奖。2021 年作为主要参与单位编制液冷行业首批共 5项行业标准,填补了行业空白。

 

(2)应用实践

 

针对冷板式液冷与浸没式液冷,主动布局,按步骤、分阶段、积极在数据中心与 5G 基站等场所开展了液冷系统试点应用,对液冷技术的安全性、稳定性、节能性等进行测试验证。前期探索阶段,2012 年在南方基地开展“数据中心双通道散热关键技术及应 用”研究,申请专利 94项(其中发明 48项,实用新型 46项)、设计标准与规范 2 项、软件著作权 1项、发表论文 23篇。目前已稳定运行近 10年,年均 PUE保持在 1.2 以下。

 

图1 中国移动南方基地气液双通道冷板液冷研究和实践

 

先行试点阶段,2017年在呼和浩特组织热管水冷、两级热管和水冷冷板等三种冷板式液冷测试。2019-2021年在河北、山东组织核心路由器液冷、江苏组织 5G BBU 浸没式液冷、浙江组织汇聚机房浸没式液冷试点。

 

 

 

图3 中国移动呼和浩特冷板式液冷测试

 

图4 中国移动汇聚机房单相浸没式液冷试点

 

 

规模试点阶段,2023 年中国移动在呼和浩特数据中心国家发改委绿色节能示范项目以及智算中心项目中启动液冷规模试点。

 

1.3.2 中国电信

 

中国电信深入开展数据中心绿色低碳化建设,大力推进“要素升级、集成创新”,突出创新发展、低碳发展,积极开展液冷技术研究和试点试用。

 

(1)技术研究

 

准确把握技术演进方向,积极开展液冷应用研讨分析。2019 年,在贵州进行大容量路由器冷板式液冷研究和测试,采用国产氟化液作为冷却液,室外干冷器为冷源。路由器总功率为 18KW,70%板卡器件由冷板式液冷散热,30%器件由风冷散热,经 2 年跟踪测试,在二次侧液冷系统供液 45℃、室外环境 15-20℃ 条件下,液冷运行 PUE 运行约 1.15,项目 2021 年获得“2021 信息通信产业创新贡献奖”(ICT 最佳案例)。


图5 中国电信贵州冷板式液冷路由器试点

 

(2)试点应用

 

在 5G BBU 站点及数据中心机房积极进行液冷试点应用。5G BBU 液冷系统应用方面,针对 5G BBU 发热量大、散热难的突出问题,率先开展 5G BBU 喷淋式液冷降温散热技术研究,并获取了国家发明专利 2项。2020 年 10 月启用首个试验点,上线 2 个液冷机柜,经长期测试,轻负载率条件下 PUE 值约 1.246,满负载率条件下 PUE 值约 1.15。5G BBU 服务器试点应用浸没液冷技术,在安徽、浙江、福建、上海、江苏等分批实施,规模化应用部署。


图6 中国电信 5G BBU 机柜液冷试点

 

数据中心液冷应用方面,在高密度机房开展试点应用。2018年 3月,在广州安装冷板式液冷微模块(2列服务器机柜)和风冷微模块各 1个,液冷微模块 PUE 值约 1.2,风冷微模块 PUE 值约 1.4,冷板式液冷节能效果明显。2023 年计划在京津冀数据中心实施 30 个液冷服务器机柜;计划在安徽建设 3列,每列 7台 36KW 冷板式液冷机柜,预留 8台 40KW 浸没式液冷机柜;在广州开展 1个冷板式液冷服务器项目。

 

图7 中国电信广州数据中心冷板式液冷微模块试点

 

1.3.3 中国联通

 

中国联通根据发展需求和 IT 设备单机功耗变化特点,积极响应国家绿色、节能、低碳政策要求,主动开展液冷基础理论技术、产品设备、实际使用方面的研究交流,并结合实际进行液冷技术探索与应用。

 

(1)理论研究

 

数据中心间接冷板式液冷研究方面,研究不同冷板形式、一次冷却过程热阻分布,以及冷板结构参数、冷却液流量对散热效果影响,总结关键部件主要影响因素,提出设计与运行建议。

 

数据中心直接浸没式、喷淋式液冷研究方面,研究强化传热方式,分析液冷强化散热的结构设计,如热沉参数对换热性能的影响,研究冷池及喷淋结构设计,总结不同冷却液的物化特性、不同形态的传热性能,提出强化换热设计方案。

 

服务器芯片发展趋势及液冷技术适用性方面,研究芯片制造工艺与工作温度相互作用,研究不同液冷技术必要性及适应性,为建立“冷却-能耗”模型提供 理论基础。

 

(2)试点应用

 

数据中心试点应用方面,在德清云数据基地 IDC 机房高功率机房,安装机柜 32 架,采用冷板式液冷,进出水温度为 15/32℃,2021年 6月投产,已稳定运行近两年,制冷效果良好。

 

BBU 集中机房液冷试点应用方面,2021 年 10月,在郑州开展 9台 5G BBU 设备液冷喷淋测试,配置一套 10kW 液冷机柜,并同步与风冷测试。风冷机柜 PUE 为 1.448,液冷机柜 PUE 为 1.254。如考虑液冷模式下主设备 BBU 取消风扇因素,则 BBU 液冷系统 PUE 值约为 1.16(扣除主设备风扇影响),芯片温度较风冷低 10-20 度,寿命更长。

 

1.4 产业生态

 

液冷产业生态涉及产业链上中下游,包括上游的产品零部件提供商、中游的 液冷服务器提供商及下游的算力使用者。

 

1.4.1 产业链上游

 

上游主要为产品零部件及液冷设备,包括快速接头、CDU、电磁阀、浸没液冷 TANK、manifold、冷却液等组件或产品供应商。部分代表厂商有英维克、3M、云酷、竞鼎、诺亚、广东合一、绿色云图等。

 

1.4.2 产业链中游

 

中游主要为液冷服务器、芯片厂商以及液冷集成设施、模块与机柜等。部分代表厂商有华为、中兴、浪潮、曙光、新华三、联想、超聚变、英特尔等。

 

1.4.3 产业链下游

 

下游主要包括三家电信运营商,百度、阿里巴巴、腾讯、京东等互联网企业以及信息化行业应用客户,主要在电信信息、互联网、政府、金融、交通和能源等信息化应用。目前,阿里巴巴以单相浸没式液冷为主要发展方向,其他用户以冷板式液冷试点应用居多。

 

1.5 发展挑战

 

(1)液冷产业生态尚不成熟

 

目前业内尚无服务器与机柜统一接口规范标准,机柜与服务器深度耦合,各家服务器设备、冷却液、制冷管路、供配电等产品形态各异,不同厂家产品接口不同、不能互相兼容,势必限制竞争,影响产业高质量发展。

 

(2)液冷系统架构尚在演进

 

当前业内液冷系统架构不同,制冷与供电存在分布式、集中式不同架构;部分厂家服务器已演进为高温服务器,可减配冷水机组,进一步简化冷源架构,促进降本增效。

 

(3)液冷系统成本仍较高

 

与传统风冷产品比较,液冷仍存在初期投资高、全生命周期成本高等问题, 影响产品的规模应用与推广。

 

 

02 目标蓝图
2.1 三年愿景

 

电信运营商共同联合产学研上下游,凝聚行业合力、强攻关、构生态、拓应用,强化原创性、引领型关键核心技术攻关,全力打造高水平液冷生态链;构筑开放生态,推进液冷机柜与服务器解耦,引领形成统一标准,既要降低 PUE(数据中心电能利用效率),又要获取最低 TCO(全生命周期成本);发挥规模优 势,大力拓展应用。冷板式液冷方面,推进形成拥有原创技术、接口标准统一、 产业生态完善、应用规模最大的发展态势;浸没式液冷方面,推进形成标准统一化、产品国产化、实施工程化、推广规模化的发展格局。

 

2023 年开展技术验证,充分验证液冷技术性能,降低 PUE,储备规划、建设与维护等技术能力;2024 年开展规模测试,推进液冷机柜与服务器解耦,促进竞争,推进产业生态成熟,降低全生命周期成本;至 2025年,开展规模应用,共同推进形成标准统一、生态完善、成本最优、规模应用的高质量发展格局,电信行业力争成为液冷技术的引领者、产业链的领航者、推广应用的领先者。

 

 

2.2 技术路线

 

在芯片演进趋势上,芯片 TDP 设计功耗不断增长,单个 CPU 功耗已达到 350W,单个 GPU 功耗已达到 500W,未来还将持续增长。目前各液冷技术均可满足未来较长时间芯片散热需求,并有进一步提升空间,如冷板式液冷可减小接触热阻、微通道设计等加强换热,浸没及喷淋式液冷可改善流场等。

 

在液冷方案演进上,现阶段冷板式液冷无法解决服务器全部散热等问题,后续有望向风液融合或全液冷方向演进,并对应应用高温服务器或服务器全部部件增加冷板。浸没式液冷目前主要存在冷却液物性要求高、服务器定制化程度高、与现有基础设施体系不兼容、生态不完善等问题,随着冷却液国产化替代性能的提升,流场优化不断完善、产业生态不断成熟,浸没式液冷应用场景将进一步拓展。另外,相变浸没式液冷控制复杂、要求高,喷淋式液冷应用仍较少。

 

总体来看,冷板式液冷与单相浸没式液冷各有优劣,生态均需完善,两者演进均尚需时日,未来一定时间内将并存发展,为当前业内发展主流。综上,电信运营商现阶段主要推进冷板式液冷与单相浸没式液冷两种技术路线。

 

 

2.3 生态完善

 

液冷技术现阶段需求驱动“核心是 PUE”,未来规模应用“关键是 TCO”。液冷技术的高质量发展关键在于完善生态,电信运营商将从传统意义的单纯用户,转变成为液冷生态的主导者、设计者、构筑者,吸纳产学研用各界伙伴开展合作,凝聚共识、深度协同、创新攻关、融通发展,携手构筑技术领先、开放共享、自主可控、成本最优、合作共赢的“新生态”。

 

聚合力,拓宽“朋友圈”。借助行业协会组织等平台,融合互联网企业、大学及科研机构、液冷服务器、液冷配套设施、集成商、测试服务商等上下游等合作伙伴。

 

立标准,开放“新生态”。通过行业协会、社会团体等标准化组织,争取将解耦液冷标准升级为团体标准或行业标准。探索接口标准化,引领机柜与服务器解耦,形成开放环境,促进厂家充分竞争,推进产业生态成熟,降低产品采购成本, 利于业务灵活部署扩容,获取最低 TCO。

 

 

 

03 技术方案

3.1 冷板式液冷

 

联合产业链上游企业,制定标准化接口,形成统一标准;同时开展核心技术攻关,争取实质性突破,推进打造解耦液冷机柜+统一接口服务器+柔性基础设施的开放、先进、完善的生态。

 

3.1.1 服务器与机柜解耦

(1)交付模式比较

 

当前交付模式包括一体化交付与解耦交付两种。解耦交付是液冷机柜与液冷服务器之间遵循用户统一制定的接口设计规范,机柜与服务器解耦,可由不同厂商交付。一体化交付是液冷整机柜(包括机柜和服务器)由厂商自定标准进行集成设计开发,整机柜由同一厂商一体化交付。解耦交付模式更有利于促进竞争、实现多厂家适配,便于后续灵活部署,为推进产业生态成熟,形成统一标准及规范,从易于推广、灵活部署、促进竞争、降低 TCO等角度出发,液冷技术路线应采用解耦交付模式。

 

 

(2)盲插解耦方案

 

对于手插和盲插,由于液冷产品涉及液冷接头的维护工作,其中手插接头对运维人员的要求较高,插拔操作依赖机房运维人员。而盲插液冷接头插拔具备自动化保障,盲插快接头操作方便,连接精度高,符合未来自动巡检、机器人运维需求。因此,应选用盲插方案,并在此基础上,基于解耦理念,推进服务器与机柜盲插统一接口标准化,减少机柜与服务器间的限制,可灵活部署,降低成本、促进液冷技术规模化、产业化发展。

 

盲插解耦方案采用标准机柜、盲插制冷管路、集中供电模块,可选配分布式 CDU 及无源风液换热器,有效提升功率密度,降低 PUE,节省布线空间,提高上架率。主要内容包括:

 

标准机柜:产品整体为标准机柜形态,部署服务器、交换机等多类型设备。

供冷盲插:服务器与机柜仅通过盲插快速接头连接,无需软管。连接简单,节省大量布线空间,线缆之间无交叉,漏点少。

供电盲插:利用电源框、电源模块、供电铜排向机柜内设备集中供电,支持盲插操作,无需电源线缆,节省布线空间。

 

图8 盲插解耦方案

 

3.1.2 CDU 形式

 

冷板式液冷接头分为集中式CDU与分布式CDU两种布置形式。分布式CDU 免二次管路部署,适应不同机柜功率场景,易与机柜功耗匹配,根据业务上架情况随启随用,实际工程中根据情况选择,优先采用分布式 CDU 形式。

 

表1 集中式 CDU 与分布式 CDU 对比

 

3.1.3 供电模块

 

供电模块包括分布式供电与集中供电两种模式。

 

集中供电模式将服务器电源集中起来部署在机柜内部池化管理,统一为服务器供电,由电源框、供电母排和节点供电模块组成。电能损耗小,48V 电压低,安全性高,服务器内部仅设置一个供电模块,节省服务器内设备布置空间。服务器内器件供电电压逐步向 48V 演进,与集中供电适配性高,可进一步减少服务器内电源转换。业内有多个厂家可支持集中供电模式。

 

分布供电模式:电源分布在每个服务器节点上,主要由 PDU 和分布在每个服务器节点上的电源组成。

 

建设中根据具体场景选择,优先集中供电模式。

表2 分布供电模式与集中供电模式对比

 

3.1.4 冷却液选择

 

业内选择有乙二醇溶液、丙二醇溶液、去离子水等。其中华为、曙光以 25%乙二醇溶液为主,浪潮、新华三以 25%丙二醇溶液为主。浓度 25%并非定值,20%~30%均可,浓度不宜过高,影响工质流动、散热性能,也不宜过低,无法起到防冻作用及抑制微生物的作用,在浓度 20%以上时,乙二醇溶液和丙二醇溶液对微生物即可起到一定的抑制作用。

 

去离子水具有良好的传热性能,超低电导率、制备工艺成熟,无毒安全,可作为冷却液备选之一,但需注意对冷却液的维护。去离子水的冰点为 0℃,需考虑运输、储存、短时停机、业务量较少、服务器已安装未运行等情况下防冻问题。

 

综上,可根据工质液体热性能,部署所在地的地理位置和气候等条件综合考虑选用冷却液。

 

表3 冷板式液冷主要冷却液性能对比

 

 

3.2 浸没式液冷

3.2.1 系统方案

 

IT 设备定制化。浸没式液冷需要密封舱体存储冷却液,服务器设备应满足对冷却液的兼容性,因此采用定制化 IT 设备。

 

流场及散热优化。浸没式液冷设备内部冷却液与 IT 设备直接接触进行热交换,由于不同的 IT 设备热功耗不同,因此需考虑机柜内温度场分布均匀,按需分配冷却液流量,避免出现局部热点,导致设备过热宕机。

 

运行维护便利性。由于浸没式液冷中的服务器设备浸泡在浸没腔中,运行维护需需要额外吊装机械臂,便于将服务器从冷却液浸没腔中取出。

 

图9 浸没液冷+冷塔散热架构示意图

 

3.2.2 冷却液

 

浸没式液冷的冷却液几乎与系统内所有材料接触。冷却液的粘度和沸点等热物理性能、闪点等易燃性或可燃性能、材料兼容性、对传输信号影响、绝缘性、环境影响、安全性、可维护程度、长期稳定和清洁度、成本等是浸没式液冷重要关注问题,应全面统筹考虑后进行选取。目前浸没式冷却液主要分为碳氢及有机硅化合物类和碳氟化合物类。

 

(1)碳氢化合物(Hydrocarbon)及有机硅类冷却液

 

业内一般统称为“油类冷却液”,一般分为天然矿物油、合成油、有机硅油 3 大类。常温下呈黏稠状,比热容和导热率较高,具有沸点高不易挥发、不腐蚀金属、环境友好、毒性低等共性且成本较低;但有闪点,使用中有可燃助燃风险。

 

(2)碳氟类(Fluorocarbon)冷却液

 

将碳氢化合物中所含的一部分或全部氢换为氟而得到的有机化合物,整体传热能力更佳,同时无闪点不可燃、寿命长、不易变质、兼容性好、低粘度易维护、更安全可靠。面向愈发严格的环境保护要求,氟化学公司正致力于研究开发超低温室效应碳氟化合物(Ultra Low GWP),争取对环境友好的同时兼顾商用需求、适宜的生产成本和稳定工艺,3M、科慕、霍尼韦尔等企业均有所涉及。同时,当前造价高,随着技术发展与国产化替代,液体成本将逐步下降,经济性得到改善。

 

对于单相浸没液冷,碳氢及有机硅类化合物和碳氟类化合物均有相关案例,后续需要进一步测试验证。应用中还需注意部分风冷下工作组件兼容问题,如机械硬盘 HDD 无法直接在冷却液下工作,需选用借助镭射封装等技术将 HDD 密封为氦气硬盘。

 

表4 浸没式液冷冷却液性能对比

 

 

 

 

 

04推进计划

4.1 制定标准

4.1.1 冷板式液冷

 

2023 年电信运营商协同产业链厂家联合技术攻关与研发,年底前形成《冷板式液冷技术标准》,2024 年提交行业组织协会,争取升级为团体或行业标准,打造解耦液冷机柜+统一接口服务器+柔性基础设施的开放、先进、完善的生态。

 

4.1.2 单相浸没式液冷

 

2023 年启动调研交流,争取年底前形成统一技术标准,适时部署后续工作。

 

4.2 测试验证

4.2.1 冷板式液冷

 

对于盲插解耦式液冷,目前华为、超聚变等服务器厂家已满足盲插快接;中国移动已组织研发新型机柜,将在测试后及时开源。同时支持更多服务器与机柜厂家参与,计划 2023年底前推动测试工作,2024 年中完成规模验证。

 

4.2.2 单相浸没式液冷

 

2024 年适时开展系统兼容性、服务器定制、冷却液(碳氢及有机硅化合物类和碳氟化合物类)国产替代等研发与试点验证。

 

4.3 规模推广

 

经测试验证,2025 年及以后在电信行业规模应用,技术、生态、应用全面领先。

 

 

 

05 展望倡议

 

我国数字经济正在转向深化应用、规范发展、普惠共享的新阶段。作为建设网络强国、数字中国、智慧社会的国家队与主力军,中国移动、中国电信、中国联通将全面贯彻落实新发展理念,服务新发展格局,坚持绿色低碳发展理念,大力加强数据中心建设,推进算力网络资源布局,促进资源、要素的高效汇聚、流动、共享,支撑数字经济不断做强、做优、做大。

 

为完善液冷产业标准化和生态建设、促进液冷技术有序发展,开辟数据中心液冷行业高质量发展道路。在此,倡议产业各方凝聚共识、加强协作,在技术、产业、生态等方面攻坚克难,解决当前液冷技术和产品在接口规范标准不够完善、原创技术不够成熟、产业生态不够健全等系列问题,建议产业各方围绕“三年愿景”,着力开展以下重点工作:

 

一是凝聚合力、加强合作。进一步加强需求使用单位、生产企业、高校和研究单位的合作交流,建立协同发展机制,通过对关键技术领域的联合攻关、联合试点、联合推广等,加速技术创新与技术成熟,形成从基础技术研究、产品开发、应用对接和商业落地的全生命周期闭环,确保液冷技术自主可控、产业可持续发 展,为液冷技术高质量发展提供基础保障。

 

二是完善标准、推进生态。探索液冷基础设施侧与主设备侧的解耦,推进机柜与服务器间接口的统一及标准化,形成电信运营商液冷技术标准,加速解耦产品研发和孵化,形成一系列具备自主知识产权的核心产品,全方位构建技术和产品能力。同时,通过测试验证,进一步细化生产工艺、建设实施等细节,升级迭代完善,旨在构筑技术领先、开放共享、自主可控、成本最优、合作共赢的“新生态”。

 

三是示范验证、加快推广。打造若干个试点示范,加快测试验证,以点带面,探索液冷解决方案的新应用、新模式、新生态,形成可复制、可推广的经验和做法,推动液冷产业成熟与规模应用。

 

 

缩略语列表

 

 

参考文献

1. 李洁著,液冷革命[M].人民邮电出版社.2019
2. 郭亮等著,数据中心热点技术剖析[M].人民邮电出版社.2019
3. 开放数据中心委员会. 液冷技术与应用发展白皮书[R] . 2018
4. 赛迪顾问股份有限公司.中国液冷数据中心发展白皮书[R] . 2020
5. 英特尔公司.绿色数据中心创新实践——冷板液冷系统设计参考[R] . 2022
6. 中国智能计算产业联盟.东数西算下新型算力基础设施发展白皮书[R] . 2022
7. 开放数据中心委员会. 冷板式液冷服务器可靠性白皮书[R] . 2022
8. 开放数据中心委员会. ODCC-2020-05001.浸没液冷数据中心规范[S] . 2020
9. 中华人民共和国工业和信息化部. YD/T 3979-2021. 数据中心浸没式液 冷服务器系统技术要求和测试方法[S] . 2021
10. 中华人民共和国工业和信息化部. YD/T 3980-2021.数据中心冷板式液冷 服务器系统技术要求和测试方法[S]. 2021
11. 中华人民共和国工业和信息化部. YD/T 3981-2021.数据中心喷淋式液冷 服务器系统技术要求和测试方法[S]. 2021
12. 中华人民共和国工业和信息化部. YD/T 3982-2021.数据中心液冷系统冷 却液体技术要求和测试方法[S]. 2021
13. 中华人民共和国工业和信息化部. YD/T 3983-2021.数据中心液冷服务器 系统能源使用效率技术要求和测试方法[S]. 2021
14. 中华人民共和国工业和信息化部. YD/T 4024-2022.数据中心液冷服务器 系统总体技术要求和测试方法[S]. 2022
15. 中华人民共和国工业和信息化部. YD/T 4154-2022.通信局(站)喷淋式 液冷系统维护技术要求[S]. 2022


 

 

   


信德迈科技(北京)有限公司 CNMEC Technology
美国DMK Engineering Solutions公司

地址:北京市朝阳区望京街10号望京SOHO塔1C座2115室
邮编:100102
电话:010-8428 2935, 8428 9077, 8428 3983
手机:139 1096 2635
Http://www.cnmec.biz
E-mail:sales@cnmec.biz
传真:010-8428 8762

京ICP备08000876号-1
京公网安备 11010502019740
Since 2007 Strong Distribution & Powerful Partnerships