浸沒式液冷數據中心布線系統應用技術分析（下）

  引言

  前一期我們的文章《浸沒式液冷數據中心技術淺析》中我們已經總體分析了浸沒式液冷的技術特點與應用優勢與發展的前景。采用浸沒式液冷這種技術的最終目的是想要提高數據中心單機柜的功率從而提升單位面積的計算密度，與此同時實現單位能源與資源消耗的最大能效比，即實現綠色節能的目標。所以提升IT設備運行效率是浸沒式液冷數據中心追求的目標。而作為IT設備數據通信的紐帶即數據中心網絡布線系統，我們需要考慮的是當布線系統浸沒于冷卻液的情況下，需要分析傳統的布線系統是否還適合于這種場景，冷卻液的化學特性決定了布線系統的材料選擇上有不同。如果傳輸系統采用光學，光學通信接口浸沒于冷卻液的情況下會有不同的要求等等需要重新考慮。隨著網絡傳輸速率從主干100G升級到400G以及未來的800G，對于布線系統性能的敏感性更高?；诖?，浸沒式液冷數據中心布線系統的要求值得我們作專題探討。

  浸沒式液冷對布線系統的要求

  一，冷卻液材料兼容性的要求：

  由于冷卻液是一種復合性的化學材料，當整體布線系統長期浸入冷卻液時，需要驗證布線系統的每種材料與冷卻液的相容性問題，會不會由于長期浸泡產生化學反應而導致出現問題。我們以業界比較知名的3M公司的兩種最常用的冷卻液用于單相液冷3M? Fluorinert? FC-3283以及兩相液冷3M? Fluorinert? FC-72為例，可以參考相關的兼容性的要求如下：

注：材料兼容性分類表來源于3M

  二，高帶寬對布線系統的要求：

  傳統數據中心由于采用風冷為主，基于風冷的制冷效率，需要防止服務器過熱導致無法穩定運行，這是服務器運算效率無法提升的瓶頸，傳統數據中心普遍單機柜的配電量在10KW以下，而浸沒式液冷數據中心由于冷卻效率高于傳統的數據中心25倍，從而單機柜的配電量可以達到50KW以上甚至未來達到100KW。這樣的功率密度下，浸沒式液冷數據中心的運算與處理效率是傳統數據中心幾倍甚至幾十倍，所以浸沒式液冷數據中心天然地適合于高性能運算并需要高帶寬的網絡支持，服務器端口可以有支持50G/100G及未來200G/400G,而主干應用可以支持100G/400G以及未來800G以上的帶寬的應用，甚至不排除未來采用CPO集成式封裝的光器件支持1.6T及以上?；谝陨系膸挼囊?，高帶寬應用的主流傳輸技術主要依靠光纖技術。采用浸沒式液冷的數據中心必然與高帶寬的網絡相配套，所以對布線系統的要求主體需要重點關注于高帶寬的光纖布線系統。

注：圖片來源于3M

  三，可維護性與管理的要求：

  浸沒式液冷數據中心應用條件高密度是一個重要特征，高密度的條件下數據中心網絡路由錯綜復雜。數據中心的布線系統不僅僅是要滿足帶寬的要求，同時布線系統也是對整體數據中心網絡路由起到管理的作用。數據中心布線系統的管理主要涉及到IT設備間的系統路由的標識、設備新增移動時的系統管理，設備維護及測試檢修時的系統管理等多個方面。浸沒式液冷數據中心的機柜與傳統數據中心機柜不同，浸沒式液冷機柜為了防止冷卻液的揮發，通常是采用封閉式的箱體。在這樣的條件下需要用更創新的布線系統實現系統的可維護性與管理的要求。

注：圖片來源于3M

  浸沒式液冷對布線系統的挑戰：

  一，布線材料與冷卻液的化學不兼容的挑戰

  不兼容性會導致產生化學反應，使得布線產品的從材料的角度產生變脆、熔脹等問題，或布線產品的材料與冷卻液惡化，或產生燃燒，高壓分解等不可預測的問題，這將是有別是傳統布線系統所沒有的挑戰。

  二，光學性能的挑戰

  光纖布線系統浸沒于冷卻液中，光纖端面可能流入冷卻液，而冷卻液體與石英玻璃材料的光學折射率不同，導致衰減過大或根本無法正常通信，而之前分析中浸沒式液冷的數據中心通常應用于高性能計算等帶寬要求高的場景，這種場景對于光學性能要求更高，這將是面臨的另一個挑戰。

  三，系統管理上的挑戰

  所有布線系統安裝于封閉式液冷柜內，布線系統又浸沒于冷卻液內，如何才能便利地高效地對系統路由進行維護與管理將變成一個大問題，如果處理不當，將可能導致系統宕機并產生重大經濟損失。

  浸沒式液冷布線系統解決方案

  數據中心布線系統與網絡結構直接相關，數據中心的布線系統的管理核心在于核心網絡Core Network位置的MDA主配線區域的管理，同時對于數據中心Spine主干網絡的匯聚層IDA中間配線區或接邊緣網絡Leaf交換機位置的HDA水平配線區，當此處采用交叉布線管理時，此處可以仍然采用非浸入式的管理，保持管理的便利與效率。而液冷柜內的網絡主要是處于TOR架構的EDA區域，此處需要采用特殊的布線系統進行連接與管理，總體的架構的圖示如下：

系統架構圖

系統平面圖展示

  在高性能計算的場景下，采用光纖系統顯然是保證帶寬要求的最佳系統，當然在傳輸速率不高以及傳輸距離5米以下的情況下，DAC直連銅纜也可以實現部分目標，但柜內的數據中心應用不僅僅是TOR的短距離連接，還有部分布線是從TOR交換機上行的線纜，這部分線纜距離比較長，DAC無法滿足要求。而如果采用傳統的光模塊加光纖跳線產品的配合的情況下，如果要達到理想的高帶寬以及高的交換機端口密度，難于保證光模塊端部的光纖連接在冷卻液進入后的正常光通信?；谝陨戏治?，新一代基于浸沒式液冷的AOC產品可以實現帶寬與傳輸距離的要求，在AOC上采用創新的專用防水連接即保證的維護管理的便利性，同時在光收發器內部采用專用的防水設計可以保證AOC在整體光學通道上與冷卻液的隔離，從而不會影響高帶寬狀態下的通信。

液冷柜專用AOC配線系統

液冷柜專用AOC上的Mini-RMC防水連接

  上圖為創新的防水AOC的解決方案，每個液冷柜可以安裝上AOC的配線系統，每根液冷柜專用AOC上安裝有Mini-RMC防水連接器，此連接器可以達到IP67級的防水，AOC可以支持單?；蚨嗄６嘈?-16芯光纖的應用，達到100G/200G/400G的應用，未來可以擴展到800G。Mini-RMC配合專用配線槽可以靈活安裝于液冷柜內部或機體側面，應用時不用插拔AOC兩端浸在冷卻液側的收發器，有需要時可以快速通過打開每根AOC中間的Mini-RMC連接器進行管理、維護與檢測。

  關于我們文章前面提及的材料與冷卻液的兼容性問題，需要做浸沒液冷的材料兼容性驗證，以3M的冷卻液為例，高沸點單相液體(FC-3283)采用80度下浸泡48小時后的兼容性模擬真實條件下的測試，低沸點兩相液體(FC-72)采用索式提取器萃取48小時后的兼容性模擬極端條件下的測試，所有經過實驗室測試驗證后的布線系統，才能應用到浸沒式的液冷數據中心內。

  趨勢與展望

  浸沒式液冷數據中心是數據中心基礎設施的重大創新，解決了數據中心長期以來單機柜功率無法幾何級提升的難題。當前來看浸沒式液冷的總體成本比傳統數據中心要高，但在部分高性能計算以及超低PUE目標的催生下，這將成為數據中心技術發展的路線之一，而且市場年均增長率超過30%，是快速發展的潛力市場。與之相配套的浸沒式液冷數據中心的布線系統需要根據環境要求進行配套創新，長期來看，基于AOC技術的布線在解決上述三大挑戰后，將成為浸沒式液冷應用的優先選擇的對象，德國羅森伯格以Mini-RMC的連接技術為基礎進行系統化創新并結合防冷卻液的AOC定制化開發將為未來浸沒式液冷數據中心布線系統的應用鋪平道路。