全球最大行動通訊晶片暨無線技術供應商高通(Qualcomm)周一(10/27)發表了AI200與AI250解決方案,相關解決方案包括AI200或AI250兩款AI推論晶片,AI加速卡,機架,以及軟體堆疊等,等於正式進軍AI資料中心市場。同一天揭露首家客戶為沙烏地阿拉伯AI新創Humain,雙方將在沙烏地阿拉伯部署先進AI基礎設施,提供全球AI推論服務。此一消息讓高通當天股價大漲了11.09%,以187.68美元作收。
目前市場上的AI晶片主要有三大分類,一是由Nvidia及AMD領軍的通用型GPU,這些原本針對影像渲染所設計的GPU可同時用來訓練或推論模型,它的應用非常有彈性,但既耗電又貴;其次為特殊應用IC(Application-Specific Integrated Circuit,ASIC),這是替AI運算量身打造的專用晶片,像是Google TPU或是OpenAI與博通的合作,在設計時就決定是要用來訓練還是推論;高通的發表則是屬於神經網路單元(Neural Processing Unit,NPU),這是專替AI推論所設計的處理器,其它例子還包括Apple Neural Engine、Samsung NPU及Meta MTIA等。
不過,高通並非只提供NPU晶片,而是推出機架級的AI推論解決方案,以更低的總持有成本來最佳化大型語言模型及多模態模型的推論效能,或是其它的AI工作負載。其中,搭載Qualcomm AI200的加速卡支援768GB的LPDDR記憶體,搭載Qualcomm AI250則採用創新的近記憶體(Near-memory Computing)運算架構,實現超過10倍的有效記憶體頻寬。Qualcomm AI200與Qualcomm AI250將分別在2026年及2027年正式出貨。
圖片來源/高通
兩款機架級解決方案都具備直接液冷以提高散熱效率,支援PCIe及Ethernet以向上擴充及向外擴展,亦支援機密運算,整櫃的標準功耗為160kW。這代表高通正式跨入資料中心AI推論基礎設施市場,而不再僅是行動晶片供應商。
同一天高通並與Humain宣布合作。Humain主導著沙烏地阿拉伯的國家級AI計畫,雙方協議自2026年起,將提供200MW(0.2GW)的Qualcomm AI200/AI250機架式解決方案,以替沙烏地阿拉伯及全球提供高性能的AI推論服務。
