GIGABYTE AI TOP
在桌上實現 AI 訓練
迎接地端 AI 的時代，GIGABYTE AI TOP 的全方位解決方案，將帶來更勝於傳統 AI 訓練方式的優勢。GIGABYTE AI TOP 各項創新的科技與設計，無論是 AI 訓練的初學者或專家都能輕鬆上手，更可適用於常見的開源式大語言模型(LLM)，讓您甚至在桌上就能實現 AI 訓練。
技嘉 AI TOP 的優勢
支援 236B LLM 的地端訓練
直觀的建置方式
彈性的擴充與升級空間
強化隱私性與資料安全
可建置於家用電力系統
AI TOP Utility
重新定義 AI 訓練方式
AI TOP Utility 透過創新改進的工作流程、友善的使用者介面與體驗、和各項即時進度監控功能，以前所未見的方式實現地端 AI 模型訓練。AI TOP Utility 支援多種最受歡迎的開源式大語言模型，即使是不熟悉 AI 程式語言的初學者，也能輕鬆展開 AI 專案。
創新改進的工作流程
透過前所未見的圖形化界面來監控 AI 訓練的進度以及系統硬體狀態
記憶體分散技術
打破圖形記憶體(VRAM)的瓶頸，AI TOP Utility 可將資料分散至系統記憶體、甚至是 SSD 儲存空間
預優化的訓練策略
Standard、Fast Speed、High Precision 等多種參數預先優化 Fine-tuning 策略，滿足不同需求及技術背景的使用者
即時監控儀錶板
透過視覺化儀表版來即時監控包括 CPU、GPU、VRAM、DRAM 及 SSD 等硬體組態
訓練排程功能
可預先排定訓練專案在任何時候，例如離峰時段展開，以較低的電力費用來提升專案的效益
AI TOP Hardware
AI 效能大改造
技嘉 AI TOP 硬體包含一系列零組件產品，這些產品皆針對 AI 訓練工作在電源效率及耐用性上進行最佳化設計。您可依照需求挑選各式可彈性擴充的零組件，在家中輕鬆建置 AI 訓練機器。
最佳化的能源效率
適用於 AI 訓練的技嘉超耐久
可彈性擴充的零組件
可輕鬆在家建置
AI TOP Recommendations
為您量身打造最佳配置
教育用專案 AI TOP 適合用來從小樣本的 AI 模型開始探索 AI 訓練的全貌。 |
個人 AI 開發者 AI TOP 能即時獲得訓練結果，並具有高度靈活性，讓您可以自行排程訓練時間。 |
小型工作室 AI TOP 為您的商業資料提供絕對的隱私性和安全性，是小型工作室最適合入手的選擇。 |
中小企業的 AI 模型導入 AI TOP 提供更低的總體擁有成本(TCO)，是中小型企業在工作流程中佈署 AI 模型的理想平台。 |
|
| 進行微調的最佳模型參數量 (parameters) | 8 B | 13 B | 30 B | 70 B |
| 10 萬筆資料的訓練時間 | 288 Hours | 32 Hours | 17 Hours | 15 Hours |
| 參考配置 |
|
|
|
|
Performance
為 AI 訓練而生的高效能與高效率
訓練時間越短越好。能源效率越高越好。
(memory offloading: DRAM+SSD)
(memory offloading: SSD+SSD)
13B
70B
AI TOP PC: TRX50 AI TOP 主機板搭配 Ryzen Threadripper 7985WX 處理器, 技嘉 AI TOP 顯示卡方案, 2TB 的系統記憶體, 以及 2 個 1TB 的固態硬碟 (RAID0 模式)。
Regular PC: Z790 AORUS MASTER 主機板搭配 Intel Core i9 13代處理器, 1張 RTX 4090 顯示卡, 64GB 的系統記憶體, 以及 1 個 2TB 的固態硬碟。
Training configs: AI TOP Utility 1.0.1, Batch size: 4, Epochs: 1, Finetuning type: Full and LoRA. 訓練時間: 根據 AI TOP Utility 中 Dashboard 所顯示的 ETA 計算得出。實際數據可能因為硬體、系統或訓練組態而有變動。
能源效率: 根據單次訓練完成的 token 數與測量消耗瓦數(watts)計算得出。實際數據可能因為硬體、系統或訓練組態而有變動。
GIGABYTE Advantages
為何您應該選擇技嘉 AI TOP？
引領先進 AI 科技開發
2023 年，技嘉科技成立了專業的 AI 開發團隊，並與 Intel、AMD 和 NVIDIA 等供應商夥伴密切合作，共同引領在我們的產品中開發並導入先進 AI 科技。
長期的市場投入
技嘉科技自 1986 年成立以來，致力於提供尖端技術，並不斷擴展產品與影響力，協助客戶實現 AI 的落地應用。
完整的解決方案
技嘉科技作為電腦硬體解決方案的領導創新者，利用硬體的專業知識和專利創新，提供頂級的 PC 產品與周邊設備。
金獎級的品質保證
技嘉科技的生產線供應充足且品質優良，迄今為止已獲得近 20,000 項創新與設計獎項及榮譽。
FAQs
-
什麼是 AI TOP？
AI TOP 是技嘉專為地端 AI 模型訓練 (training) 、微調 (fine-tuning) 和推論 (inferencing) 所打造的全方位解決方案。AI TOP 由 AI TOP Utility 和 以及 AI TOP Hardware 所組成：AI TOP Utility 是一款最高支援 236B 大語言模型的訓練軟體，而 AI TOP Hardware 是一系列專為 AI 訓練工作而優化能源效率和耐用性的電腦零組件產品。
-
AI TOP 可以為我帶來什麼好處？
AI TOP 最高支援 236B 參數量 (parameter) 的大語言模型 (LLM)，透過全地端訓練方式，確保您寶貴資料的安全性與隱私性。AI TOP 可在家用電力系統中建置，同時保持未來擴充用的彈性。
-
什麼是 AI TOP Utility？
AI TOP Utility 是專為大語言模型 (LLM) 訓練而設計的軟體。它具有圖形化使用者介面(GUI)，讓您可以透過友善且直觀的體驗，輕鬆展開地端 AI 訓練。
-
AI TOP Utility 有什麼系統配備需求？
AI TOP Utility 僅可運行在 AI TOP Hardware 上。 您可在 這裡 找到支援硬體清單。截至 2024 年 8 月，AI TOP Utility 僅支援 Linux 作業系統。
-
AI TOP Utility 支援哪些大語言模型 (LLM) ？
AI TOP Utility 已在 Llama、Qwen 或 DeepSeek …等最受肯定的開源大語言模型上通過可靠性測試。您可查閱 AI TOP Utility 安裝檔中的使用手冊，以瞭解更詳細的支援清單。
-
AI TOP Utility 中的 Memory Offloading 是什麼功能？
Memory Offloading 是一項顯著提升系統對於大語言模型參數量支援能力的先進科技。它可根據當前選定的策略，將訓練過程中所產生的大量資料，從圖形記憶體 (VRAM) 分配至系統記憶體 (system DRAM) 和/或固態硬碟 (SSD) 中。您可根據待訓練或微調的大語言模型特性，來選擇適用的策略 (Offloading Memory Strategy)。
-
什麼是 AI TOP Hardware？
AI TOP Hardware 包含一系列主機板、顯示卡、電源供應器和固態硬碟。這些產品專為高強度 AI 訓練工作而優化能源效率及耐用性。
-
AI TOP Hardware 跟一般 PC 有什麼不同？
AI TOP Hardware 的設計將顯示卡、系統記憶體和固態硬碟的配置最大化，並且提供比起一般 PC 更高的能源效率。每一款 AI TOP Hardware 產品都採用高品質零件，並且在嚴格模擬測試下通過可靠性驗證。
-
如何挑選適合我的 AI TOP Hardware 配置？
AI TOP Hardware 提供高相容性與可擴充性。您可根據實際用途組裝配置。 這裡 提供了一些建議的配置參考。