Tech-Guide

了解叢集(Cluster)、叢集運算(Cluster Computing)與分散式運算

by GIGABYTE
叢集運算是分散式運算的一種,類似平行運算或網格計算;差別在於,叢集運算在高可用性、負載平衡、高效能運算HPC等各方面擁有獨特優勢,因此自成一格。技嘉科技是高性能伺服器產品業界領袖,發表本篇《科技指南》文章,企圖解釋叢集運算的由來,以及它的優勢,並推薦給您適當的伺服器解決方案,讓您有機會建造自己的叢集運算系統。
「叢集(Cluster)」意指使用多部小型電腦,透過區域網路或廣域網路「合體」成為較大型的分散式運算架構電腦。叢集通常強調使用標準化的伺服器、工作站或個人電腦產品,和普及化的網路連結。部署叢集,通常是為了提高單台電腦效能和可用性,叢集的成本效益大多優於同等級的大型電腦。以超級電腦指標Top 500為例,超過50%都是叢集系統,這就是最好的實際佐證。

詞彙學習:
花你一分鐘,一次看懂區域網路
技嘉小百科,告訴你分散式運算是什麼
常聽別人說運算叢集,你知道那是什麼嗎?
團結力量大,電腦也是一樣
為什麼需要叢集?原因很簡單,「分而治之」是很實用的策略,對電腦技術也是。早期的電腦只有單一處理器,所有工作以電腦基礎語言「指令」為單位,細分成一連串的基本運算,然後單顆處理器「循序」,一個一個處理指令。

但是,處理器的時脈和功耗有限,不可能只靠加快電子信號傳輸速度,或擴充單一處理器的運算單元規模,就可無限提升單一處理器的運算效能。因此,電腦科學中出現「平行性」的概念,可利用「多顆處理器」或「多台電腦」,同時完成「單一工作不同部份」或「幾件不同工作」。
藉由叢集屬性,一窺電腦科學「平行性」的概念
叢集就是一種「平行性」技術的應用,在運算過程中,有助於有效處理平行事件,蘊含大幅提升資料處理器速度和解決大規模問題的應用潛力,一直是產業界和學術界的熱門焦點。

「平行性」這個概念的大傘下,又包含「平行運算」和「分散式運算」兩種概念。基於運算節點的運作獨立性,及節點之間的資料互動性,概念上偏向多處理器的平行運算,和偏向多台電腦的分散式運算(包含叢集運算),其精確定義確實存在些微的差別,但兩個概念往往可以彼此互換,其相關應用,也早已深入我們的日常生活。

詞彙學習:
技嘉小百科,告訴你平行運算是什麼
常聽別人說節點,你知道那是什麼嗎?
「分散式運算」、「平行運算」兩個詞,經常被混著使用,但兩者之間存在些微的差別,主要就是運算資源共享程度:平行運算較常共享記憶體等資源,而分散式運算的節點比較獨立。應該挑選哪種運算方式,取決於所執行的運算工作。
叢集運算是分散式運算一種,而典型的分散式運算場景,包括「網路搜尋功能」:當使用者輸入關鍵字後,任務就被派發到儲存所有關鍵字的分散式節點,每個節點上的搜尋過程都是獨立的,過程中無須互相通信,完成後將結果彙整成展示給使用者的網址列表。反之,平行運算需要在計算過程中,多個任務之間產生頻繁的資料互動,多處理器環境和使用圖形處理器(GPU)支援中央處理器(CPU),就是常見的案例。《詞彙學習:花你一分鐘,一次看懂圖形處理器

分散式運算的大傘下,又包含叢集、點對點P2P (Peer-to-Peer)、網格計算,等等。這篇文章的重點,專注於叢集運算的發展與應用。《詞彙學習:技嘉小百科,告訴你網格計算是什麼
「分散式運算」的大傘下,又可分出叢集運算、點對點計算、網格計算等不同類型。不同技術可靠程度和可用性有差異,您可依照手上的工作負載,挑選最適合您的運算方法。
為何會出現以「多台電腦」為基礎的分散式運算,例如由大量較小型的單一系統,透過網路組成的叢集?因為共享記憶體架構的多處理器系統,其記憶體有效頻寬難以配合處理器數量線性成長;而處理器之間的延遲,更是限制其擴充性的一大瓶頸。換言之,在單一系統內,使用更多處理器無法保證減少完成某項計算的時間,更可能得不償失,進而失去足夠的經濟效益與投資報酬率。《詞彙學習:常聽別人說可擴充性,你知道那是什麼嗎?

效能以外,「高可靠度」和「高可用性」也是單台多處理器電腦難以滿足的需求。當雞蛋都放在同一個籃子裡,就會覆巢之下無完卵,而歷史教訓證明,再好的硬體(如大型商用主機)也難以抵抗有瑕疵的軟體(如有問題的裝置驅動程式),分散風險仍有其必要性,即叢集運算的來源。《詞彙學習:花你一分鐘,一次看懂高可用性
因個人電腦和區域網路而普及的叢集
原始概念誕生於六零年代的叢集,最初並非由特定廠商發明,而是出自於無法在同一台電腦上完成所有工作、或需要備份的終端客戶。不過,自從八零年代至今,個人電腦與區域網路的快速發展,如高效能泛用處理器、區域網路規範、標準化的訊息傳送應用程式界面、高密度伺服器的崛起,及開源作業系統的普及,讓多重處理器運算節點組成的叢集環境,成為邁向高效能運算 (HPC)、高可用性 (HA)、及負載平衡 (Load Balancing) 的顯學。

了解更多:
《詞彙學習:常聽別人說高效能運算,你知道那是什麼嗎?
《詞彙學習:技嘉小百科,告訴你負載平衡是什麼

順便一提,另一個經常和叢集相提並論的「網格計算」,究竟兩者有何不同?一般來說,叢集運算在區域網路中,連結多台同質電腦,並利用「平行性」技術的優勢,加速解決問題,共同達成單一目標。網格計算則著重於跨區域網路的大規模資源共享,動態整合分散各地的電腦或叢集系統,提高整體資源使用率。
高可用性、負載平衡、高效能等三種叢集技術
歷史上第一台商業叢集系統是六零年代中期的Burroughs B5700,由四台內建一到兩個處理器的電腦,緊密連接到一個共用磁碟儲存系統,以平衡工作負載,每台電腦都可在不中斷執行的情況下重新啟動。後來陸續問世的商業叢集系統,進一步支援平行運算和共享檔案系統,也逐步應用在超級電腦領域。
根據叢集組態不同目的,採用叢集運算技術的系統,又可細分為高可用性叢集、負載平衡叢集、高效能運算叢集,滿足使用者不同運算需求。
叢集環境的複雜程度可能有很大差距,其中較簡單的架構,可能只是連接兩台電腦的雙節點系統。根據不同目的的叢集組態,從一般用途的企業需求,到運算密集的科學計算,都可分別實現高可用性、負載平衡與高效能等屬性;也因此,叢集可依據功能的差異,分成這三種類型:高可用性叢集、負載平衡叢集、高效能運算叢集。
● 高可用性叢集 (High Availability Clusters)
當叢集中有某個節點失效時,任務會自動轉移到其他運作正常的節點,而將叢集中某些節點進行離線維護後再重新上線,也不會影響整個叢集運作。
● 負載平衡叢集 (Load Balancing Clusters)
俗語說的好,「不患寡而患不均」,有效分配工作對電腦也同樣重要,藉由一個或多個前端負載平衡器,將工作負載分發到後端的節點,就如網站伺服器叢集,是將不同的查詢分配給不同節點,以提供更短的反應時間。負載平衡方法在不同應用程式之間有很大差異,一般來說,高可用性叢集與負載平衡叢集會應用到類似的技術原理,同時兼具兩種特點,像知名的Linux虛擬伺服器 (LVS) 專案,就提供了這些功能。
● 高效能運算叢集 (High Performance Computing Clusters)
起源於使用個人電腦硬體組裝以達最優性價比的Beowulf叢集,主要應用在科學計算領域,執行特定的程式,發揮巨大的平行運算能力,特別適合在各個計算節點之間產生大量資料通訊的運算工作,也須搭配高效率的訊息傳送應用程式界面 (MPI, Message Passing Interface)。如何讓訊息傳送應用程式介面自動判斷叢集內的網路種類、連結網路拓樸和運算節點內的架構細節,依據整體環境的頻寬與延遲,進行應用程式最佳化,也是所有以叢集架構為基礎的超級電腦的技術重心。

了解更多:
技嘉科技指南系列文章:什麼是HPC高效能運算?
技嘉伺服器加持叢集運算,為您創造新價值
叢集運算架構並非只包含負責運算工作的節點;如同企業的資料中心或伺服器農場,系統維護管理服務、完整的分散式檔案系統、完善的後端儲存架構,均缺一不可。

詞彙學習:
花你一分鐘,一次看懂資料中心
技嘉小百科,告訴你伺服器農場是什麼

技嘉科技長期跟隨技術脈動,並持續觀察市場,很早開始進行叢集運算系統的產品規劃與部署,並提供各種適用於不同架構與叢集節點的伺服器產品,讓客戶擁有更具彈性的選擇。若需管理多數節點,依照需求增減系統數量或調整系統能力(所謂垂直或水平擴充),協助系統管理者掌握整個叢集,也可以與技嘉接洽,了解技嘉所提供的各種解決方案。

詞彙學習:
常聽別人說垂直擴充,你知道那是什麼嗎?
花你一分鐘,一次看懂水平擴充
技嘉科技提供完整伺服器解決方案,可支援叢集運算,包括H系列高密度伺服器與G系列GPU協同運算伺服器,適合扮演控制節點或運算節點;通用型R系列機架式伺服器,能處理關鍵工作負載;S系列儲存伺服器可保護資料安全;還有塔式伺服器W系列工作站產品,可在伺服器機架以外的地方安裝。
以下介紹適合用來進行叢集運算的技嘉伺服器產品,及各款伺服器的適用範圍:
● 操作管理整個叢集的控制節點
H系列高密度伺服器與G系列GPU協同運算伺服器,具備領先業界的超高密度結構設計,搭載效能強大的Intel® Xeon®可擴充處理器或AMD EPYC™處理器,並且能支援不同類型的通用圖形處理器(GPGPU)加速卡,適合扮演叢集運算中的控制節點。

了解更多:
《關於技嘉H系列高密度伺服器產品的更多介紹》
《關於技嘉G系列GPU協同運算伺服器產品的更多介紹》
《詞彙學習:技嘉小百科,告訴你通用圖形處理器是什麼
● 負責運算工作的運算節點
如同控制節點,運算節點講究處理器效能。除了高密度伺服器和GPU協同運算伺服器之外,技嘉亦推出W系列塔式伺服器(工作站)產品,具有獨立機殼,方便IT管理者依照需求的變化,擴充或改變伺服器安裝位置。

了解更多:
《關於技嘉W系列工作站產品的更多介紹》
《詞彙學習:常聽別人說IT,你知道那是什麼嗎?
● 多元網路選擇與關鍵任務執行
技嘉推薦通用型R系列機架式伺服器,提供優質運算效能和可靠程度,滿足您的企業需求,此系列伺服器可支援Ethernet、InfiniBand或Omni-Path等多種網路架構。
● 叢集共用檔案系統與資料儲存
技嘉S系列儲存伺服器,支援高達60個伺服器硬碟槽的企業級大容量硬碟,並可搭載軟體定義儲存等虛擬化儲存系統,幫您滿足性能、容量、成本等各方面的需求。

了解更多:
《關於技嘉R系列機架伺服器產品的更多介紹》
《關於技嘉S系列儲存伺服器產品的更多介紹》
《詞彙學習:常聽別人說軟體定義儲存,你知道那是什麼嗎?

技嘉全系列伺服器產品,皆可搭配技嘉獨有的「技嘉伺服器管理套件」 (GSM) ,這是一套能讓用戶透過網路進行大量伺服器即時管理的軟體套件,可從技嘉官方網站免費下載。GSM支援Windows和Linux作業環境,包含提供全方位系統管理功能的許多套件,包括GSM Server資料彙整平台,讓IT人員透過網路進行遠端、即時的大量伺服器管理;GSM CLI資料彙整平台,讓IT人員藉由命令行輸入操作,進行遠端管理;GSM Agent,透過作業系統來檢索每台系統及裝置的資訊;GSM Mobile行動裝置App,提供方便、即時的系統資訊彙報;以及GSM Plugin,這是支援VMware軟體的應用程式介面,讓用戶能透過VMware vCenter進行伺服器硬體的即時監控與管理。

技嘉科技提供完整的伺服器解決方案,提供給您更具選擇彈性和更高成本效益的叢集運算系統。技嘉可協助您的企業進行數位轉型,導入叢集運算技術,共創價值。如果希望進一步了解叢集,觀迎您透過marketing@gigacomputing.com電子信箱聯絡技嘉科技業務窗口,我們將協助您挑選適合您的解決方案。

了解更多:
技嘉科技指南系列文章:如何挑選適當的伺服器冷卻方案?
想要掌握最新科技動向?馬上訂閱!
訂閱電子報
想要掌握最新科技動向?馬上訂閱!
訂閱電子報