GIGABYTE AI TOP
在桌上實現 AI 訓練
迎接地端 AI 的時代，GIGABYTE AI TOP 的全方位解決方案，將帶來更勝於傳統 AI 訓練方式的優勢。GIGABYTE AI TOP 各項創新的科技與設計，無論是 AI 訓練的初學者或專家都能輕鬆上手，更可適用於常見的開源式大語言模型(LLM)，讓您甚至在桌上就能實現 AI 訓練。
技嘉 AI TOP 的優勢
支援 405B 參數模型
靈活擴充升級
本地隱私安全
家用電力相容
記憶體擴充技術
直覺安裝控制
AI TOP Utility
重新定義本地 AI 訓練
AI TOP Utility 以友善的使用介面、重新定義的工作流程，以及即時進度儀表板監控，徹底革新本地 AI 模型訓練。透過先進的記憶體擴充技術，支援頂尖開源 AI 模型，讓初學者和專家都能進行 LLM 文字生成與 LMM 影像視訊創作。直覺的資料集建立工具和預設訓練策略，使用者無需程式設計專業也能啟動 AI 專案。
重新定義工作流程
AI TOP Utility 以友善的操作介面革新本地 AI 訓練，支援 LLM 文字生成與 LMM 影像創作，無需程式設計專業。
記憶體擴充技術
透過資料擴充至系統記憶體和 SSD，突破圖形記憶體（VRAM）限制，實現 405B 參數模型的高效能訓練。
模型訓練工具
強大的資料集管理工具，搭配 RAG 技術實現智能模型選擇與即時效能驗證。
預優化的訓練策略
Standard、Fast Speed、High Precision 等多種參數預先優化 Fine-tuning 策略，滿足不同需求及技術背景的使用者
即時監控儀表板
透過視覺化儀表版來即時監控包括 CPU、GPU、VRAM、DRAM 及 SSD 等硬體組態
訓練排程功能
在離峰時段安排訓練計畫，降低用電成本最佳化效率。
立即開始！
在您的 AI TOP 硬體上執行 AI TOP Utility
*Please update to the latest BIOS version for AI TOP Motherboards to ensure regular use.
AI TOP Hardware
企業級桌上 AI 方案
AI TOP Hardware 生態系統整合技嘉優化硬體，專為 AI 訓練工作負載設計。從單一硬體到完整套件與叢集解決方案，提供企業級效能，同時相容家用電力系統。
最佳化能源效率
AI 訓練超耐久
靈活配置設計
家用電力相容
AI TOP 套件組合
包含主機板、電源供應器和機殼的本地 AI 訓練基礎套件。可透過 Ethernet 和 Thunderbolt 連接多台擴充效能。
AI TOP 500
完美支援金融、工程、教育、醫療研究等中型企業需求。
- 支援 405B 參數模型
- 最多四張雙槽顯示卡
- 支援雙電源供應器
- 支援 AI TOP 叢集
AI TOP 100
專為小型企業、新創、研究生與個人專案設計。
- 支援 110B+ 模型微調
- 最多兩張三槽顯示卡
- 單電源供應器配置
- 支援 AI TOP 叢集
AI TOP 叢集系統
突破 AI 訓練極限
透過 Ethernet 或 Thunderbolt 連接埠串接多台 AI TOP 主機，突破單機系統限制。隨著 AI 模型規模與複雜度提升，特別是在 LMM 應用上，擴充運算能力完整支援您的目標。
效能提升 1.6 倍
- 雙機配置提供高達 1.6 倍訓練速度
- 擴增記憶體容量支援更大模型
- 智慧工作負載分配
多元連接方案
- Thunderbolt 5 (80Gbps) 極速傳輸
- 10GbE 遠距叢集支援
- Thunderbolt 4 相容
AI TOP Recommendations
為您量身打造最佳配置
教育用專案 AI TOP 適合用來從小樣本的 AI 模型開始探索 AI 訓練的全貌。 |
個人 AI 開發者 AI TOP 能即時獲得訓練結果，並具有高度靈活性，讓您可以自行排程訓練時間。 |
小型工作室 AI TOP 為您的商業資料提供絕對的隱私性和安全性，是小型工作室最適合入手的選擇。 |
中小企業的 AI 模型導入 AI TOP 提供更低的總體擁有成本(TCO)，是中小型企業在工作流程中佈署 AI 模型的理想平台。 |
|
| 進行微調的最佳模型參數量 (parameters) | 8 B | 13 B | 30 B | 70 B |
| 10 萬筆資料的訓練時間 | 288 Hours | 32 Hours | 17 Hours | 15 Hours |
| 推薦配置 |
|
|
|
|
Performance
為 AI 訓練而生的高效能與高效率
訓練時間越短越好。能源效率越高越好。
(memory offloading: DRAM+SSD)
(memory offloading: SSD+SSD)
13B
70B
備註：
- PC配置
- AI TOP PC：TRX50 AI TOP 主機板搭載 Ryzen Threadripper 7985WX 處理器，2 張 RTX 4070 Ti SUPER AI TOP 顯示卡，2TB 系統記憶體，以及 2 組 1TB 固態硬碟（RAID 0）。
- 一般電腦：Z790 AORUS MASTER 主機板搭載 Intel Core i9 第 13 代處理器，1 張RTX 4090 顯示卡，64GB 系統記憶體，以及 1 組 2TB 固態硬碟。
- 訓練設定：AI TOP Utility 1.0.1，批次大小：4，訓練周期：1，微調類型：Full 與 LoRA。
- 訓練時間：根據 AI TOP Utility 儀表板顯示的預估時間計算。實際結果可能因硬體、系統與訓練設定而異。
- 能源效率：以每瓦 tokens 數量計算。實際結果可能因硬體、系統與訓練設定而異。
GIGABYTE Advantages
為何您應該選擇技嘉 AI TOP？
引領先進 AI 科技開發
2023 年，技嘉科技成立了專業的 AI 開發團隊，並與 Intel、AMD 和 NVIDIA 等供應商夥伴密切合作，共同引領在我們的產品中開發並導入先進 AI 科技。
長期的市場投入
技嘉科技自 1986 年成立以來，致力於提供尖端技術，並不斷擴展產品與影響力，協助客戶實現 AI 的落地應用。
完整的解決方案
技嘉科技作為電腦硬體解決方案的領導創新者，利用硬體的專業知識和專利創新，提供頂級的 PC 產品與周邊設備。
金獎級的品質保證
技嘉科技的生產線供應充足且品質優良，迄今為止已獲得近 20,000 項創新與設計獎項及榮譽。
FAQs
-
什麼是 AI TOP？
AI TOP 於 COMPUTEX 2024 發表，是一款突破性的桌上型 AI 訓練解決方案，提供本地端的模型訓練、微調與推論功能。透過結合 AI TOP Utility 軟體與 AI TOP Hardware，實現「在您的桌上訓練專屬 AI」的願景。此解決方案支援高達 405B 參數模型，同時在一般家用電力環境下提供企業級效能。
-
AI TOP 可以為我帶來什麼好處？
AI TOP 提供完整的本地 AI 訓練功能，主要優勢包括：
- 支援訓練高達 405B 參數模型
- 確保完整資料隱私與安全
- 相容一般家用電力
- 靈活的升級選項與叢集支援
- 2024 年 10 月更新強化功能與擴充模型支援 -
什麼是 AI TOP Utility？
AI TOP Utility 以直覺式操作介面革新本地 AI 訓練，支援 大語言模型（LLM） 與 大型多模態模型（LMM）模型訓練。具備進階記憶體擴充技術、即時系統監控，以及客製化訓練策略，實現高效能模型開發。
-
AI TOP Utility 有什麼系統配備需求？
AI TOP Utility 需在 AI TOP Hardware 配置上運行。支援 Linux 與 Windows 11 的 WSL2 環境。完整支援硬體清單請參考 支援硬體清單
-
AI TOP Utility 支援哪些模型？
AI TOP Utility 支援頂尖開源的文字生成（LLM）與影像/視訊創作（LMM）模型。可處理多種模型架構，包含最新的 405B 參數模型。詳細支援模型清單請參考軟體包內的使用手冊。
-
AI TOP Utility 中的 Memory Offloading 是什麼功能？
Memory Offloading 是一項顯著提升系統對於大語言模型參數量支援能力的先進科技。它可根據當前選定的策略，將訓練過程中所產生的大量資料，從圖形記憶體 (VRAM) 分配至系統記憶體 (system DRAM) 和/或固態硬碟 (SSD) 中。您可根據待訓練或微調的大語言模型特性，來選擇適用的策略 (Offloading Memory Strategy)。
-
什麼是 AI TOP Hardware？
AI TOP Hardware 是一個完整的硬體生態系統，包含主機板、顯示卡、電源供應器和固態硬碟，專為 AI 訓練工作負載最佳化。提供單一零組件或完整套件（AI TOP 500/100），在家用電力環境下實現企業級效能。
-
AI TOP Hardware 跟一般電腦有什麼不同？
AI TOP Hardware 具備專為 AI 工作負載設計的特色：
- 支援雙 GPU 配置與 Thunderbolt 5
- 進階散熱設計確保持久運算
- 超耐久 SSD，較企業級提升 20 倍壽命
- 電源供應器支援最多四張 PCIe Gen 5 顯示卡
- 支援叢集系統擴充效能 -
如何挑選適合我的 AI TOP Hardware 配置？
AI TOP 提供靈活配置滿足不同需求：
- AI TOP 500：專為金融、工程、教育、醫療研究等中型企業打造
- AI TOP 100：完美支援小型企業、新創、研究生與個人專案
了解更多建議配置