AI Inference | 人工智慧推論

  • 人工智慧推論是什麼?
    機器學習深度學習分兩階段,第一階段是人工智慧(AI)訓練,第二階段則是推論。訓練與推論的反覆循環,造就現代世界各種先進的AI產品,例如能產出內容的生成式人工智慧,或是輔助人類駕駛的自駕系統。

    推論階段,AI必須處理陌生的未標籤化資料,AI參考訓練階段所「拜讀」的數據,企圖理解新接收的輸入值(input),產出正確的輸出值(output)。使用生成式AI來舉例,每當使用者詢問ChatGPT問題,或是請Stable Diffusion協助繪圖,AI就是在進行推論。同時,AI也會記錄人類使用者給予的回饋,使用於下一回的訓練,因此人工智慧變得愈來愈聰明、愈善解人意。

  • 為何需要?
    訓練AI的最終目的,當然就是要進行推論,與現實世界發生互動,協助人們提升生活的便利性與舒適。許多先進的AI應用,包括辨識人臉或是手寫字跡,或是產生內容、操作自駕車,都是AI在進行推論。常見的實用範例,包括電腦視覺自然語言處理(NLP)、推薦系統等。

  • 技嘉的特色
    有效進行AI推論的秘訣,就是電腦的運算力夠強大、延遲夠低。理由在於,AI模型大多是由許多用戶同時使用,應用情境包括提升生產力(比如說,幫物流中心進行分貨)或是確保自駕車行車安全,由此可見高算力與低延遲是不可或缺的兩大支柱。

    伺服器產品方面,技嘉科技推出G293-Z43伺服器,提供最高密度的推論加速器配置,2U 規格機殼內安裝十六張AMD Alveo™ V70加速卡,Alveo™ V70採用AMD的XDNA™自適應資料流架構,非常適合人工智慧推論使用。技嘉亦提供Qualcomm人工智慧推論方案,Qualcomm Cloud AI 100加速器在吞吐量與低延遲方面表現優異,支援資料中心雲端運算邊緣運算等多重環境應用,提供高效能表現、高密度加速運算、高擴充性等各項優勢。

    針對不同垂直產業,技嘉提供多樣性解決方案,交通運輸業可使用技嘉自動駕駛控制主機(ADCU),是透過AI加速的嵌入式運算平台,已部署於台灣彰濱工業區的自駕公車商場及學校積極導入的AI人臉辨識,推薦使用技嘉智慧臉部辨識解決方案,這套方案採用「一對多」的辨識模型,在沒有比對資料的前提下,仍可達到99.9%的準確度。

    了解更多:《GIGABYTE AI伺服器為人工智慧加速無限可能