Cooling

專訪技嘉達人:如何為客戶打造理想液體冷卻解決方案

by GIGABYTE
「專訪技嘉達人」系列文章,帶領讀者與技嘉科技的專業團隊深度對談,了解尖端科技如何應用在技嘉產品上,讓用戶第一時間掌握領先業界的競爭利器,實現AI願景。我們很榮幸採訪到伺服器冷卻團隊,請他們介紹三個「以客為本」的產品策略,讓GIGABYTE的液體冷卻解決方案能符合客戶期待,全方位滿足使用需求。
人工智慧(AI)盛世的致勝關鍵,是透過先進冷卻技術幫AI伺服器解熱,確保機台穩定運作,並且發揮晶片最大算力。技嘉科技是伺服器及伺服器解熱方案的指標性品牌,所推出的直接液體冷卻(DLC)浸沒式冷卻產品,知名用戶包括立足台灣、聞名全球的半導體業界龍頭日本電信巨擘KDDI,以及德國航太中心DLR。本篇文章邀請技嘉的伺服器冷卻團隊分享勝利背後的故事,他們提出三個「以客為本」的產品策略,使技嘉的液體冷卻伺服器產品線從單純的「產品」,搖身一變成為「All-in-one全方位解決方案」,協助客戶掌握突破性算力及先進冷卻技術,在AI浪潮下立於不敗之地。

了解更多:
一覽技嘉全系列先進冷卻解決方案
AI盛世的致勝關鍵,讓GIGABYTE替你籌備
直接液體冷卻帶來長遠效益,成為業界主流選擇
● 問題:依你們的觀察,IT客戶導入液體冷卻的腳步,這幾年為什麼有加快的跡象?

● 回答:

液體冷卻需要一些空氣冷卻用不上的元件,包括水冷循環板(cold plate),將熱能從伺服器的零組件,例如CPUGPU,傳輸到冷卻液當中;密封管線,或稱封閉式冷卻迴路(cold loop),將冷卻液導入和導出伺服器機台;液冷防護感測板(leak sensor board),用來偵測冷卻液是否外漏;機架冷熱水通道分歧管(rack manifold),將密封管線連接到冷卻液分配裝置(CDU);而CDU本身則是負責排熱,可能安裝在機櫃上方或下方,亦有可能安裝在機櫃以外,一台大型CDU可幫一整排液冷機櫃進行散熱。

上述元件當中,水冷循環板和機架冷熱水通道分歧管的選擇,和伺服器機種有直接關聯,因此需要新設計與開發,料件生產及品質可靠度的驗證都需要時間。CDU雖然是共用機種,但料件生產交期及安裝測試也需要時間,這些都是開發和導入液體冷卻方案時必須評估的準備工作。
導入液體冷卻,必須在伺服器機櫃與資料中心新增許多不同元件。儘管有門檻,液體冷卻可帶來強大算力、更好的永續力及投資報酬率,因此在AI時代,眾多公司將其視為必備的競爭利器。
儘管如此,IT業界還是積極導入液冷,因為液冷有三大好處:一、提高TDP與運算密度,為伺服器帶來更大算力;二、改善電力使用效率(PUE),減少機房碳足跡,達到綠色運算的理想境界;三、長期下來降低機房營業費用(OpEx)與總體擁有成本(TCO),尤其在生成式AI高效能運算(HPC)盛行的當下,處理器廠商紛紛推出算力超前、用電和排熱也相對可觀的超級運算晶片,因此客戶購入AMD Instinct™ MI300系列加速器Intel® Gaudi® 3加速器NVIDIA Hopper/Blackwell加速器的同時,也會評估導入先進冷卻技術,讓頂級晶片發揮最大功效,加強AI資料中心的投資報酬率。
以客為本的核心主軸,是實實在在掌握客戶實際需求
● 問:技嘉液體冷卻解決方案,最首要的「以客為本」產品策略為何?

● 答:

導入液體冷卻需要克服不少技術上的門檻,因此,技嘉為了開發全方位的解決方案,不僅鑽研科技研究與產品設計,還投入很多時間與客戶溝通,確保百分之百了解使用者的實際需求。

客戶向技嘉詢問先進冷卻技術時,我們會從資料中心的基礎建設開始評估如何導入完整的solution,從料件設計到資料中心安裝、網路佈線和軟體測試,都需要整體的規劃與建置。比方說,我們會問客戶是否想保留既有的冷卻設備,如果客人不希望完全汰換氣冷設施,我們可能推薦「液對氣」方案(即伺服器採用液冷,但冷卻液的熱能透過CDU排放到空氣中,不影響氣冷機房正常運作),或是建議在機櫃後側安裝「背板熱交換器」(RDHx)。這兩個解方解熱功力雖然不如「液對液」方案,但有助於客戶踏出重要的第一步,開始體驗先進冷卻技術的優勢。

根據與客戶的溝通,我們會配合客戶需求、電力限制、空間限制和希望達成的算力目標,開始重新設計整體的資料中心,從限制條件展開可選用的技嘉DLC伺服器,以及攸關伺服器配置、機房供電與散熱方案的各種不同選項。唯有透過這樣的來回、協商與確認,我們才能確保PUE的優化及整體效益的最佳化,給我們客戶完善與全面性的機房設備升級。

完成這一步,我們才會進行到下一個階段,開始為客戶量身打造最合適的液體冷卻解決方案。
根據客戶實際需求,技嘉可推薦不同種類液體冷卻解決方案,此張圖表用較為概括的呈現方式,比較三種主流選項的解熱功力與初期投資。
設計力與製造力,是建造完美液體冷卻解決方案的必備條件
● 問:技嘉液體冷卻的第二個「以客為本」產品策略是什麼?

● 答:

剛才提到,水冷循環板的設計因伺服器機種而異,而技嘉的長處,就是依照客戶需求提供彈性選擇,例如針對CPU、GPU和記憶體,水冷循環板都會有不同的配置,使用不同晶片或晶片的layout,也有不一樣的對應方案。技嘉有能力整合各家廠商的水冷循環板產品,也能自己投入產品設計與生產,我們根據晶片屬性提供客製元件,才能貼緊客戶的需求。

我們用這個案例來說明打造全方位DLC解決方案的第二個產品策略:我們必須掌握設計力與製造力,才有辦法解決問題,讓客戶在技嘉得到別的地方找不到的完整服務。技嘉不會要求客戶配合我們,是我們要盡量follow客人。

我們再用機架冷熱水通道分歧管來舉例。分歧管的設計,重點是品質穩定,平衡供應冷卻液,但除此之外,技嘉也針對不同空間配置提供客戶多元的選項,分歧管可以裝在機櫃前側或後側,甚至可裝在伺服器機台內,技嘉採用不銹鋼金屬及100%防漏快速拆卸接頭,讓工作人員能快速針對單一節點進行維護,多通道平行設計則有助於加強散熱功效。液冷防護感測板是另一個以客戶為中心的設計,不幸遇到冷卻液洩漏時將會立即發出警訊,通用於不同伺服器機種,並且易於安裝,可改善風險控管,提升資料中心導入液冷的安全性,協助客人解除採用先進冷卻技術的心理障礙。

全盤掌握客戶需求,也有助於技嘉開發產品,例如我們自家設計的DLC機櫃,可搭配前側或後側安裝的分歧管布建,並彈性提供尺寸選擇,從22U(22機架單位)「半櫃設計」的DL90-ST0液冷機櫃,解熱功效達14.5kW,到支援四座配電裝置(PDU)的大電流全機櫃產品,結構強度穩定且提供L11出貨模式。AI飛躍性成長的當下,技嘉推出整合式叢集運算解决方案GIGAPOD,也是藉由液體冷卻造就顛覆性的運算密度與超級算力,適合巨量參數規模的人工智慧訓練人工智慧推論工作,是結合AI與先進冷卻技術的巔峰巨作。
技嘉科技不僅提供DLC產品,還幫客戶準備全方位的解決方案,服務範圍至小是單一伺服器,至大是整座伺服器機櫃,或是由多數機櫃組成的運算叢集,讓不同規模的企業級客戶,都能在技嘉找到合適的total solution。
發揮價值鏈管理,才能確保客人拿到頂尖IT產品
● 問:第三個「以客為本」的產品策略是什麼?

● 答:

技嘉掌握強大的研發力、設計力與製造力,只不過在液體冷卻領域,每位客戶的需求都不一樣,適用的解決方案也有所不同。因此,技嘉攜手領先業界的合作夥伴,用最短時間將最理想的產品組合送達到客戶手上;技嘉所擁有的製造力與整合力,也有助於加快解決方案交期,並且節省費用。

舉例來說,我們採用業界龍頭史陶比爾Stäubli的快速接頭,不僅穩定性高,同時擁有高度彈性,可自由搭配認證品牌之零組件。我們和冷卻液分配裝置的代表性品牌台達電、Motivair及nVent合作,夥伴供應的高密度、高效率散熱設計,讓一座4U規格的CDU足以協助裝滿 GPU協同運算伺服器的一整座機櫃解熱。依照客戶需求,技嘉可將CDU安裝在機櫃上方或下方,還可以調整分歧管的位置。CDU的挑選、安裝與服務,都是技嘉提供完整data center solution的一部分。

可想而知,整合不同廠商生產的水冷循環板、分歧管和CDU等元件,不是一件簡單的事。技嘉是直接面對客戶的國際性伺服器品牌,因此要扮演價值鏈管理者的角色,選擇料件皆由技嘉定義使用相容控管,例如快接頭及密封管線的材料選擇,須由技嘉主導才可避免冷卻液與元件不相容所導致的腐蝕問題。唯有嚴格控管品質,才能拍胸脯向客戶保證會拿到最高規、最頂尖的IT解決方案。

每個月,技嘉和供應商舉辦數次會議,討論產品設計、品質管理等各項議題,透過價值鏈上下游的溝通與管理,確認液冷系統符合業界最高標準,同時推進DLC解決方案的順利製造、安裝與運作。
以上是導入先進冷卻技術的三大優勢。目前業界愈來愈多企業、公家機關與學術機構開始採用液體冷卻,使其成為主流,甚至是維持競爭力的必備條件,促進使用者能享受最新的AI與HPC發明。
技嘉全方位液冷解決方案,讓客戶的解熱問題迎刃而解
● 問:完成以上三步驟,液冷解決方案的布建是否終於大功告成?

● 答:

設計、生產及檢驗DLC解決方案之後,還要將其安裝在客戶的資料中心或是伺服器機房,透過定期服務與貼心的客戶支援,確保客人對技嘉產品感到百分之百的滿意。

技嘉有完整data center設計與安裝經驗,如先前提到,我們會針對需求提供適當的解決方案,並透過與多家配合廠商的合作,支援各區的安裝、服務與支援。如果客人在使用上碰到狀況,不但能向技嘉的R&D和FAE團隊求助,技嘉也是串聯各家供應商的主體,能在第一時間找到對應窗口,讓客戶溝通更有效率,即時滿足客戶需求。

唯有在液體冷卻解決方案安裝完成,順利開始運作之後;唯有在解決所有問題,客人向我們點頭的時候──我們才敢說,專案已經大功告成,我們又新增一則為客戶順利部署先進冷卻技術的成功案例!

看完本篇採訪,希望你對技嘉精心打造的液體冷卻解決方案有更深入的了解,並有興趣評估此方案是否適合導入你的機房或資料中心。如果對於技嘉的先進冷卻產品有任何疑問,技嘉將提供最適宜的諮詢服務,歡迎透過marketing@gigacomputing.com電子信箱聯絡技嘉科技專業人員,我們將協助你挑選適合的解決方案。

延伸閱讀:
技嘉科技指南:從「訓練」到「推論」,一窺生成式AI的神奇運作原理
成功案例:享受極速駕馭,伺服器科技成就迎風馳騁的汽車設計
想要掌握最新科技動向?馬上訂閱!
訂閱電子報
想要掌握最新科技動向?馬上訂閱!
訂閱電子報