机柜的PDU安装的地方？

  PDU是power distribution unit的简称，电源分配单元，也就是我们常说的机柜专用电源插座，和普通电源插排的作用是一样的。

  PDU是专为机架式安装的电气设备提供电力分配而设计的产品，拥有不同的功能、插位组合和安装方法等多种规格。

  一般来说，机柜内设备密度高，PDU选用多插孔竖装为宜；机柜内设备密度低，PDU选用少插孔横装为宜。

  横装PDU要预留PDU的安装U位，竖装PDU在安装机柜时要将机柜侧面横档板的位置与PDU的安装尺寸对齐。

  不可一味的寻求高密度设备集成，PDU的安装一定要合理的留下空地，尽量不占用别的设备的空间。这样不仅有利于设备的通风散热，也为今后系统升级和改造留下必定的备用空间。

  PDU在机柜上的一个基本需求，即是要能够较为方便、快速地安装和取下，并具有优良的修理空间和修理的可达性。

  由于PDU对电气设备的重要性，PDU的安装要契合人机工程学，便于操作、观看和监测等，确保PDU装置到机柜上是安全、可靠的，减少安全隐患。

  根据以上影响PDU安装方法的因素，能得出PDU主要有两种安装方法：水平安装和垂直安装。

  ①如果进线方式反了，会导致插孔模块底限孔位置倒置，使得地线孔方向，因此导致用户设备插头插入PDU插孔后，机柜在关门时有影响，电源线折弯的现象。

  国际标准机架式安装，方便地安装在19英寸标准机柜、机架上，只占用 1U 的机柜空间，与机柜立柱平行安装，也可适用于其他场合。

  方便可靠的安装性能：19英寸的标准化设计，安装非常简便。最少只需2颗螺钉，即可将PDU固定牢固。

  （1）由于机柜的19英寸规范的限制，造成PDU的长度尺寸有限，使得电源插座的模块数也有限；

  （2）由于是横向安装，需要占用机柜的U数，PDU一般高1~2U，尤其是在安装多条的情况下，会占用更多的U数，导致该机柜空间不能安全被利用，易引起资源浪费

  垂直安装直接出线式PDU，包括电源背板和电源插座模块。PDU垂直安装在机柜上，电源背板设有母排。

  电源插座模块包括第一电源插座和PDU绕线模块。第一电源插座模块和PDU绕线模块可拆卸式安装在电源背板上。

  PDU绕线模块包括绕线器和直接出线式电源线。直接出线式电源线通过电源出线孔与母排连接并缠绕在固定圆柱上，直接出线式电源线上连接有插头模块。

  （2）电源模块时均匀分布的，节省资源，方便理线，使得机柜整体美观度提升。

  可根据用户要将PDU产品调整180度水平安装，配以特制L型弯板亦可实现将PDU产品调整90度竖直安装。

  PDU是机房机柜专用的电源插座，IDC数据机房机柜是多功能、多专业的系统集成工程，只有合理的规划PDU电源插座设备布局，才能充分的发挥各子系统的功能，便于今后的扩充，方便运维人员的管理，达到节省投资，节省本金的作用。

  （5）设备之间走道净宽不应小于1200mm，才可以包装充足的安装检修空间。

  （6）服务器机柜侧面可无间距排列，并柜，以便于强、弱电线（缆）的敷设。每排机柜之间的距离最好符合地板模数，以避免机柜前后出现小于30Omm的补边地板。

  （7）放置发热量较大的服务器如IBM690、670等服务器机柜时，其机柜前面之间的净距离不应小于2.lm，以免热密度太高从而影响设备的散热。

  （8）服务器主机、存储设备、服务器机柜宜分区布置，主机、存储设备、服务器机柜及UPS、空调机等设备应按产品要求留出检修空间，允许相邻设备的维修间距部分重叠。

  （9）鉴于市场上主流服务器及服务器机柜的散热方式大多数为前后向通风方式，因此前后向通风的服务器机柜宜采用面对面、背靠背的布置方式。在机柜正面布置地板送风口，使气流形成冷热通道，以减少前排机柜排出的热气流对后排机柜的影响，充分的发挥空调系统的效能。

  （10）划分阶段进入机房的设备及预留扩充设备的相对位置，既要符合计算机系统的工艺流程，又要方便今后扩充设备的进场就位及线）设备较多的服务器机房建议列头柜方式，使综合布线线缆汇集到列头柜而不是核心柜从而节省双绞线与光纤，同时便于使用二级网络交换设备，也便于安装使用服务于某列机柜的KVM系统。

  （12）机房精密空调机在有效送风距离内，送风方向应与设备排列方向一致；采用地板下送风方式时，空调机送风方向应与地板下强、弱电线槽顺向布置的方向一致，以减少空调系统的阻力、充分的发挥空调系统效率。

  （13）新风机的安装的地方应保证新风是取自室外新鲜、清洁的空气，新风人口应不影响大楼外观，迸风口下缘距室外地坪不宜小于2m；当新凤入口设在绿化地带时，进风口下缘不宜小于lm，以减少尘埃污染，延缓空气过滤器的清洗时间，延长空气过滤器的寿命。

  通电前，请仔细检查有没有接地线 请正确连接地线、注意用电安全请仔细阅读以下内容：

  （2）使用前请检查产品标注的标称电压是否与本国家（地区）的供电电压相同，如不相符 时，严禁使用；

  （3）为确保安全用电，请仔细检查您的供电线路是否已有接地线，电源线、插头及插座状 态是否良好,电源极性是否正确；

  （7）只能插入与本产品插座型式相同的电源插头，与本产品插座型式不同的插头连接可能 会造成危险；

  （9）不能确定接地是否良好时，为减少触电危险，安装或连接设备之前请将PDU从外 部插座上拔下，只有当所有连接全部完毕时才能再次接入外部电源；

  （11）PDU在使用中若发现有非正常现象时，应立即切断供电电源，将电缆线插头拔出，送 交当地的授权经销维修服务机构处理。

  (PDU) 是一种配备多个输出的设备，用于分配电力，尤其是分配给位于数据中心内的计算机机架和网络设备。数据中心在电源保护和管理解决方案方面面临挑战。这就是怎么回事许多数据中心依靠 PDU 监控来提高效率、正常运行时间和增长的原因。

  对于数据中心应用，电源要求通常比电源输入高达 22 kVA 或更大的家庭或办公室式配电盘大得多。壹品科技大多数大型数据中心使用具有 3 相电源输入和 1 相电源输出的 PDU。

  机柜PDU 大致上可以分为两大类：基本 PDU 和智能（联网）PDU 或 iPDU。基本 PDU 只是提供一种将电源从输入端分配到多个插座的方法。智能 PDU 通常具有智能模块，允许 PDU 远程管理电能计量信息、电源插座开/关控制和/或警报。一些高级 PDU 允许用户管理外部传感器，例如温度、湿度、气流等。

  配电盘到较大的落地式 PDU，具有多种功能，包括用于改善电能质量的电源过滤、智能负载平衡以及通过LAN或SNMP进行远程监控和控制。这种 PDU 放置提供了智能功能，例如入口、出口和 PDU 分支电路级别的功率计量以及对环境传感器的支持。

  合并，这在某种程度上预示着许多 PDU 可以在一个IP 地址下链接成一个阵列。下一代型号还提供与电子锁的集成，提供通过同一设备联网和管理 PDU 和锁的能力。在

  ，需要更大的 PDU 来为多个服务器机柜供电。每个服务器机柜或一排机柜在大多数情况下要多个大电流电路，可能来自输入电源的不同相位或不同的 UPS。独立机柜 PDU 是独立单元，包括主断路器、独立断路器和电源监控面板。机柜提供用于零线和接地的内部母线。预先打孔的顶部和底部面板允许安全的电缆引入。

  2022年11月9日～10日，第十届数据中心标准峰会在北京隆重召开，峰会以“汇聚双碳科技 夯实数据之基”为主题，

  益企研究院创始人、CDCC数据中心专家技术组专家委员张广彬老师在本次峰会上以《你的机柜不是你的机柜》为题发表演讲，现将精彩内容整理如下，供数据中心广大从业者学习交流。

  大家好，到这一段时间也想让大家轻松一下，起了这么一个标题，我不是卖机柜的。益企研究院是致力于云计算基础设施和数据中心技术探讨研究的机构。我这个标题需要断句，套用某著名的广告语：“你的机柜。不，是你的机柜。”主要用意是从机柜到底“归谁管”切入，还有另外一种断法，用在后面有一页的标题上了。

  像刚才说的，我们研究的领域从云计算的基础设施——IaaS层往下——一直到服务器、芯片、数据中心的基础设施，也包括机柜本身。

  从2018年开始发起数字中国万里行，这里列出当地考验查证50多个超大规模数据中心，并不是从2018年开始的，是差不多这十年来的粗略估计。我们在2018年出了《2018中国超大规模云数据中心考察报告》，同时还出了英文版，也在国外有一定的传播。2018年主要是讲了超大规模数据中心的基础设施状况，2019年，我们和CDCC合作增加了金融数据中心的考察，我自己除了撰稿以外，也承担了数据中心的航拍。

  回到机柜的话题，通常说的“标准机柜”有一些标准参数如19英寸，单位高度（Unit）1.75英寸=44.45毫米，再加上PDU之类配件。大部分数据中心，可以认为机柜就是基础设施团队，也就是风火水电、场地的部分，与IT业务部门的分界线。数据中心基础设施的人通常不会关注机柜里面的东西，比如说服务器这类产品；IT业务层面的人也很少关注机柜以外的东西。但至少在一种情况下必须把机柜、服务器和IT设备做一个整体考虑，就是我们俗称的整机柜服务器。

  整机柜服务器虽然现在也有一些金融行业的客户，姑且称之为先行者，他们也会采购一些基于工业标准x86服务器的整机柜服务器，像银行用的大机、高端存储不在讨论范围以内。通用服务器组成的整机柜，主要还是互联网和云计算公司采用的比较多，因为IT基础设施投资在整个成本里占比是非常大的，它们有非常大规模的基础设施，比如说阿里、腾讯、字节，服务器保有量都是百万台量级，在这么一个规模下把服务器和机柜作为整体设计来优化，哪怕只减少个1%都能节约很大一笔钱。

  以Google为例，1999年夏天得到了2500万美金的投资，其中接近10%用于定制了21个机柜的服务器，每个机柜加上服务器不到11万美金，用二手CPU、二手主板和台式机的硬盘攒起来，把服务器保有量扩充了15倍，在之后打败竞争对手过程中发挥了很重要的作用，若不是用这种俗称“软木板服务器”的方式实现，恐怕这2500万美金全投进去也买不了这么多服务器。一共是21套机柜1680台“服务器”，我自己见到的就有美国国家计算机博物馆和Google硅谷园区各摆了一台，左边这图是我在Google硅谷园区看到的。中间是Google的第1000个机柜，外号叫冰箱，看起来整洁很多。我们大家可以看到，从原来的手工作坊到工厂预制化，在大型互联网公司如百度、Google、Facebook也就是Meta牵头的整机柜生态，如右图就是Facebook的Open Rack。原来比较清晰的边界打破了，一些整机柜项目已经从定制化走向标准化。这里就不一一分析了。

  我们举一个例子，比如整机柜服务器可以整合供电，不用PDU了，或者很少用PDU，只起转接不起配电的作用，把电给到电源箱，电源箱到铜排（busbar）上配电，原来在服务器里的电源（PSU，供电单元）集中到电源箱里，成为机柜的一个组成部分。比如一个机柜30台服务器，每台服务器两个电源就是60个，但是如果把电源集成到机柜上，就用不到10个电源，而且从1+1的冗余变成N+1的冗余，原来30个处于准浪费的状态，现在大大减少浪费，只提供必要的冗余就可以了；电源的数量少了，每个电源的功率比较大，负载也会比较高。而在电源负载比较高的时候，转换效率是比较好的。

  其实风扇也是一样，有些整机柜，像这个框图，是BAT发起的天蝎整机柜，一个机柜不到30个风扇，但是如果这些风扇都像之前那样分散在每台服务器内部的话，可能要有一两百个。风扇数量减少，加大尺寸的风扇能耗也很好。风扇墙并不是很普遍，如果这些节点是异构的，或者节点之间的负载不同，可能有局部的热点，这个风扇墙的架构不能很好的处理。

  我们可以看Google在机柜的尝试上走在前面，尤其是率先做了自己的专用的AI处理器TPU，之后机柜的样子都是很放飞自我的。最左边的1.0的机柜，下围棋AlphaGo打败李世石就是这个机器，机柜的侧面还贴着一个围棋的棋盘，看机柜的比例，如果照片没有变形的话也跟我们常见的标准机柜不一样。这是2.0的机柜，还有3.0的机柜，这八个机柜差不多10米多，每个机柜差不多1.2米宽，Google在非标的机柜上走的比较靠前。

  最左边是前几年优步部署的800mm机柜，主要是机柜的框比较宽，把这个交换机竖着放在服务器的两边，前出线、网卡在前面——很多互联网公司都是这样。中间这个闪着灯的服务器是天蝎，百度叫北极整机柜，外宽600mm，内宽21英寸，机柜的两边非常薄，优点是服务器从19寸变成21寸，内部可以放更多内存或者其他元器件，也是前出线。一个问题是服务器太宽了以后，里面装的东西又很多，中间下垂的形变很严重，大家可以看一下这里两个上下层的节点快叠在一起了。右边是Open Rack v3（ORv3）的服务器，因为它主要是Google和Facebook推动，Google的版本外宽28英寸，内宽都比600mm要宽，有深款和短款。

  很多服务器会配滑轨，安装好了机柜上来回抽拉很丝滑，用L型托架替换的好处是便宜。这是数据中心已经装好L型托架的样子，上一页也说到了，既然服务器的中间会形变，形变比较严重的情况下，上下两个设备挨在一起拽不出来，那就可以加大上下节点的间隔。除了标准的RU以外，像Open Rack有一个OpenU，简称OU，比RU增加3个多毫米。Scorpio（天蝎）有一个SU，也比RU多2个毫米。这两个没有统一，但是都有兼容标准U的考虑，像Google也有兼容19英寸服务器的一个选项，这里没有放出来。实际上我们能够正常的看到现在新的Open Rack在不同的位置留出了OU跟RU的滑轨安装孔，可以兼容标准U的设备和OpenU设备。

  在集中供电的整机柜，通常会有电源框和锂离子电池，就是分布式备电。连接电源框给服务器配电的就是竖着的铜排，这是Open Rack的，分成三个供电区，一共三根分九节，慢慢减少到一根铜排，到了v3版本可以电源框纵向固定在铜排上的任意U位，这个很重要，增强了灵活性。Google把铜排的位置放在机柜左后方，国内的天蝎也是放在左后方。电源框安装位置可变，与铜排的位置（左中右）不同，还是有很大区别的。

  有人提到了盲板的重要性，这关系到服务器冷热通道的隔离。现在通用服务器内部可以分成三个区域，前面是硬盘区可以放硬盘或者SSD，中间是CPU和内存区，后面是I/O扩展区，可以安装GPU和网卡，上一位嘉宾讲到400G的网卡，功耗也是很高的。把这些东西塞在一台服务器里面，我们看到很多服务器深度达到了800～850mm，甚至还有更深的。这带来了气流的加温问题，前面冷通道，后面热通道。大家知道CPU跟GPU都是发热大户，当然会互相影响，气流经过CPU加热，后面就很难上大功率的GPU，譬如不能放训练卡，只能放推理卡。如果放了大功率的GPU，CPU就不要太强。

  风扇位于硬盘区，就是存储区和CPU区之间。这带来一个什么问题呢？我们知道硬盘本身发热量不算大，但是体积大，会有很大程度的挡风，如果前面板有硬盘加上背板，只能通过其中的开孔和缝隙把风吸进来，而且硬盘和SSD还会对气流有小小的加温。现在的CPU功耗越来越高，马上AMD就发布新一代的CPU，单个CPU功耗400瓦，本来英特尔也要在这个月发布的，延期到明年1月份了，差不多也是300～400W，而且两个CPU各8个内存通道，32个内存槽，马上就支持12个通道。CPU和内存功率增加了，散热能力增强以后需要更大的风量，风冷服务器有什么办法呢？可能就要把风扇的转速提高，但是风扇转速太高了，它发出的噪音不仅会影响人，也会影响硬盘的性能，硬盘性能会骤降到可能只有原来的四分之一，而且进来的风很少。像有些通用服务器在硬盘背板的后面，风扇的前面，给服务器上盖开一些孔从从上方进风，如果没有放盲板，尤其后面没有放盲板，有可能把后面热通道的风吸入服务器，热风进来了，会降低散热的效率，甚至危及到CPU的正常使用。

  我们大家可以看到有些互联网和云计算公司，采用存算分离的架构，像腾讯云的计算机型，前面就那么空着，不放硬盘/SSD和背板，没有给CPU和内存挡风，也就没有这个互相干扰了。有些定制服务器的CPU功率没有那么大，但是把风扇放到最后面，像风扇墙也是把风扇放在最后面，这些都可以减少对硬盘的干扰。我们能够正常的看到很多时候数据中心、机柜和服务器之间的联系，比我们惯常的分工更紧密。

  我们也可以看到，在风冷机房里面越来越多从几年前的以封闭冷通道为主、地板下送风，转变为封闭热通道、弥漫式送风。左边是封闭冷通道、地板下送风的机房，冷通道宽1.2米，右边是我们今年考察过的阿里巴巴仁和数据中心的风冷机房，，封闭热通道，冷通道尽头是进风口，可以看到冷通道很宽，差不多有2.4米，而且服务器就是前出线。转成封闭热通道，以后就可以适当提高冷通道送风温度，有助于降低数据中心的PUE。因为人平常所在的机房空间就是相对没有封闭的那个通道，比如27、28度，25、26度还是很舒适的，如果送风温度是27、28度，热通道35度以上，还用封闭冷通道的方案，呆在机房里是非常难受的。这也是与机柜相关的变化。

  制约整机柜服务器发展的最大限制就是服务器功耗的提升，我们可以看到2018年我们考察的两个数据中心，这个是百度的数据中心，一个机柜上有35台1U双CPU服务器，但是8.8kW的供电也够。右边是一个7.2kW的机柜， 只能放4台2U的GPU服务器，每台差不多2kW。这两个机柜供电能力并没有多大的差别，但是GPU服务器机柜的空间利用率立马下来了。另外，如果供电能力上来了，制冷上不来怎么办呢？

  首先我承认液冷服务器的普及需要时间，因为国内大部分的数据中心，哪怕是现在新建的有很多也没有从一开始就为液冷做设计，我认为这个还需要时间，但是现在行业内确实需要先做好准备。我们可以看到，液冷天然就适合整机柜交付，而且它本身也带有这个特点。原来风冷的情况下，数据中心只要提供到机柜（包括PDU）就可以了，因为风已经由机房提供了，本来很多东西都是天经地义的，但是现在你用传统的思路，譬如说水不能进机房，水不能进机柜，怎么办？必须得打破次元壁。像刚才说的就适合工厂预制和整柜交付，因为分水管这些设备都要布置在机柜上，包括冷却液肯定是在工厂里面去灌装、测试更好，比在数据中心现场完成要高效太多了，这个效率差异比风冷服务器时还要大。看一下采用冷板式液冷的Open Rack，铜排在中间，，两边是进水管和出水管，如果可以后面放一个水冷门，因为我们是风液混合的架构，你的服务器用了液冷，芯片的CPU和GPU用了液冷，其它的部件还要用风怎么办？还要装一套空调吗？没有必要，可以用水冷后门来冷却流经服务器的热风，这个水冷后门就放在后面共用一套进出水管。

  再看浸没式液冷，左边这种机柜也跟传统机柜是一样的，立式的，这是曙光在2019年德国召开的超算大会上展出的浸没式液冷机柜。很不幸的是在展出这个机柜以后，曙光就上了美国的实体清单了。这个机柜是有间接的原因，因为这套系统的功率非常高，是三个柜子，中间是CDU，左右两个机柜各168kW，三个机柜均摊每个机柜也是100kW以上，使用相变（两相）的浸没式液冷，冷却液蒸发可以带走更多的热量，能够支撑这样的功率密度。但是液体会到处流，如果不加封闭的话，所以是刀片式的结构，每个分流在刀片里面，这样就能够做到立式安装。这么大的功率对供电的要求也很高，这个铜排不是常见的48V，是380V高压直流的铜排。

  右边是阿里巴巴在仁和的浸没式液冷的机房，官方照片。它不是把服务器放在立式的Rack里面，是放在卧式的Tank里面，相当于把机柜放躺下，所以高度就低了很多，整个机柜加上下面的高度不超过1.2米，也便于维护，如果机柜很高也没法维护。这样显得它的机房空间非常非常高，尤其是一层原本规划作为设备间，比正常的机房层高还要高。如果是专门为浸没式液冷，为放置Tank优化的机房，那么正常办公使用的写字楼的层高就够了，因为上面也不需要留很高的回风空间。

  另外需要提一下就是它们两个用的都是氟化液，氟化液的比重比较高，基本上常见的氟化液一般密度都在1.6～1.8之间，接近水的两倍，你看立式的机柜里面是比水重将近一倍的液体，其它都是金属，对承重要求很高。如果大家家里有过鱼缸的肯定体会更深。卧式的Tank里虽然也是类似的液体，但是由于躺下来了，单位面积的承重要求没有那么高。

  整机柜集中供电的关键元件铜排也要考虑液冷。像阿里、腾讯之前很少采用整机柜集中供电的架构，因为铜排就这一根，有可能成为单点故障点，虽然它上面没有什么电气元件，就是一个导电设备，但是如果在供电功率很大的时候，有故障或者有短路，会迅速升温，导致铜排失效，可能整柜的服务器全都断电了，在云服务商的场景下失效域未免过大。我们可以看到像阿里早期的浸没式液冷机柜，还没有采用集中的供电方式，如左边图每一个节点都是两个电源，两个PSU。但是在上周阿里召开的云栖大会上宣布，新的架构会把这些PSU都集中起来，由大量的PSU变成一个机柜只有四个，如果我没记错的话，Tank的下方是铜排，浸泡在冷却液里面，有很好的散热条件。

  百度也有浸没式液冷的方案，相当于把天蝎整机柜放倒了，电源框在中间，铜排在下面。这种情况下便于维护，另外铜排浸没放到Tank最底层，它有冷却液保护不大容易急剧的升温，而且在做好监控以后一旦有比较显著的温升可以及时处理，这样可以特别大程度上化解单点问题。

  冷板式液冷的机柜怎么办呢？如果上冷板式液冷，因为可能是液七风三，风冷的部分要求降低到30%，铜排放在机柜的最后方，铜排获得的冷量很可能是不够的，同时铜排上面承载的电量又很高，如果机柜的供电是60kW@48V，铜排1200A，很容易过热，所以我们也能够正常的看到在上个月召开的OCP 2022全球峰会上，TE展示了液冷铜排的设计，在铜排里面挖个孔，冷却液进去再出来，其实跟冷板式液冷的原理一样。这些都是跟机柜相关的设计，我在这里的分享主要是给大家讲一讲非标定制化机柜和一些会影响到机柜的服务器设计，需要我们来关注的进展。