隨著AI應用盛行,平行檔案系統有了大展所長的舞臺,一躍成為AI時代最受矚目的儲存應用架構,如今也吸引越來越多的廠商投入這個產品領域。
我們可將當前的平行檔案系統產品,依問世時間先後,概分為3大族群:
首先,是1990到2000年代早期崛起的老牌產品,包括開源的Lustre、PVFS/OrangeFS、BeeGFS,以及商用的IBM GPFS/Spectrum Scale(現稱為Storage Scale)等。
其次,是2010年前後問世的中生代產品,包括開源的GlusterFS,以及DDN基於Lustre平臺的ExaScaler,還有Quobyte與Qumulo等幾家商用產品平臺。
第3個族群,則是2010年代後期到2020年代初期問世的新世代產品,最具代表性的,便是WEKA、VAST Data、Hammerspace等3家。
其中特別是第3個族群的3家新創廠商,憑藉他們發展的嶄新架構,引領這幾年來的AI儲存應用市場,在這股熱潮下,不僅促使Hitachi與HPE等兩大廠,陸續在2021與2023年將WEKA與VAST Data的平臺引進自身產品線,也吸引許多廠商發展新的平行檔案系統平臺。
例如,DDN於2023年底推出他們全新開發的Infinia平臺,到了2024年初,華為與Quantum也各自推出OceanFS平行檔案系統,以及Myriad平臺。
接著,Dell與NetApp也開始動作。在2024年5月的Dell Technologies World大會,Dell宣稱正在Project Lightning計畫當中,發展PowerScale的平行檔案系統版本;NetApp則在2024年9月的InSight大會,透露正在發展專門針對AI應用的ONTAP資料平臺。
進入2025年之後,又接連出現3款平行檔案系統新產品,先是Pure Storage在2025年4月推出FlashBlade//EXA,國產廠商普安也在這個時間點,推出採用平行存取架構的EonStor GSx系列。稍晚,Dell在8月底預告Project Lightning即將全面上市的消息,將為旗下分散式儲存平臺PowerScale提供平行存取功能。
而在今年問世的新產品,我們在5月發布的封面故事當中,已初步介紹Pure Storage的FlashBlade//EXA,有興趣了解讀者可翻閱相關文章,這裡我們把焦點放在普安(Infortrend)的EonStor GSx,以及Dell的Project Lightning。
普安的EonStor GSx
EonStor GSx是臺灣本土廠商第一款,應該也是唯一由本土廠商發展的平行檔案系統產品,核心是GSx儲存設備內含的普安平行檔案系統(Infortrend Parallel File System),搭配專屬用戶端主機代理程式,對GSx儲存叢集執行平行存取。
GSx支援最多10臺GSx設備組成叢集,目前有基於U.2 NVMe SSD的GSx 5000U、GSx 4000U,與基於SAS硬碟的GSx 5000與GSx 4000等4款節點硬體。普安宣稱GSx節點同時整合了metadata伺服器、I/O節點與儲存空間功能,意味著這套平行檔案系統應該是採用分散式metadata架構。在資料保護功能方面,GSx分為兩個層級,一為每臺GSx節點本身的RAID 5/6,二為跨叢集的遠端複製,用戶可透過EonOne網頁式管理軟體來部署與管理GSx。
普安宣稱每臺GSx節點最高可提供43 GB/s與16.5 GB/s的讀取與寫入效能,且效能還可隨節點數量增加而線性提升,換言之,在整個GSx叢集最大10節點組態中,可提供400GB/s與150GB/s等級的讀取與寫入傳輸率,表現頗為可觀。
在平行檔案系統產品領域,GSx目前只支援單一叢集最大10節點的規格,規模算是相當小,但我們認為原因可能是普安的策略,而非系統本身限制,他們藉此聚焦較小型的用戶應用環境,避開在中、大型環境與一線大廠產品競爭。
Dell的Project Lightning
Dell在去年5月透露,將在Project Lightning計畫裡面發展平行檔案系統,宣稱將為PowerScale的非結構化資料提供平行存取能力,並具備接近線速的效能,網路頻寬使用率達97%,為1千個GPU提供足夠的資料吞吐率,效能可達傳統全快閃、橫向擴展NAS的20倍。
時隔整整1年之後,Dell在Dell Technologies World 2025大會,透露Project Lightning近況,聲稱這將成為全球速度最快的平行檔案系統,以每組機架單元的隨機與循序存取效能為準,對比競爭對手的平行檔案系統,Dell產品的資料吞吐率可高出2倍。
根據Dell公布的簡報顯示,Project Lightning是位於兩套儲存平臺(PowerScale與ObjectScale)之上的軟體層,而這也意味著:Project Lightning將為這兩套分散式的儲存平臺提供平行存取能力。
Dell表示,已向部分客戶和合作夥伴提供Project Lightning的封閉預覽版,並且預定推出基於 Project Lightning軟體、PowerEdge XE GPU伺服器,以及PowerScale儲存叢集的高效能解決方案,當中將整合KV快取與Nvidia推論傳輸庫(Inference Xfer Library,NIXL),用於執行推論作業負載。
稍後在8月,Dell預告 Project Lightning將全面上市,可透過用戶端軟體層,將存取操作分散到PowerScale叢集的所有節點,為多個用戶端節點提供基於平行存取的巨量I/O效能,從而為AI、HPC與分析工作負載,提供一致的高速存取、高平行性和低延遲,並且具有分散式metadata,不會形成效能瓶頸。
不同的發展策略
我們預期Project Lightning的正式發布時間點,最遲應該會落在2026年Dell Technologies World大會,待NetApp發展的ONTAP for AI計畫也正式推出之後,所有一線大廠都將在平行檔案系統這個領域全部到齊。
另一方面,從不同廠商的平行檔案系統產品發展路線,我們也能看出3條迥然有別的策略——(1)透過OEM直接引進其他廠商平臺(2)自行發展新平臺(3)以既有儲存叢集產品延伸發展。
HPE與Hitachi都採取最簡單的OEM方式,直接引進VAST Data與WEKA的平臺。華為、DDN、Quantum、普安,則選擇發展全新的平行檔案系統平臺。
至於Dell與NetApp,則以既有的PowerScale與ONTAP平臺為基礎,發展出支援平行存取的衍生版本,算是基於現有產品平臺、使其平行檔案系統化的折衷路線。
普安的EonStor GSx平行檔案儲存系統

GSx儲存設備內含普安自身的平行檔案系統,搭配專屬的用戶端主機代理程式,對GSx儲存叢集執行平行存取,最大可支援10節點叢集。圖片來源/Infortrend
Dell的Project Lightning

Project Lightning是位於PowerScale與ObjectScale等兩大分散式儲存平臺上的軟體層,可透過用戶端軟體對儲存叢集發起平行存取作業,Dell號稱這是當前最快的平行檔案系統。圖片來源/Dell
