AI & Big Data 10月09日 12:10
AI时代平行文件系统发展与新产品动态
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

随着AI应用的蓬勃发展,平行文件系统正成为AI时代备受瞩目的存储架构。文章梳理了平行文件系统从1990年代至今的三大发展族群:老牌产品(Lustre, GPFS等)、中生代产品(GlusterFS, Quobyte等)以及2010年代后期涌现的新世代产品(WEKA, VAST Data, Hammerspace等)。特别是新世代产品,凭借创新架构引领了AI存储市场,并促使HPE、Hitachi等大厂引入其技术。近期,DDN、华为、Quantum、Dell、NetApp、Pure Storage及普安等厂商纷纷推出或预告其平行文件系统新品,展现了OEM引入、自主研发及现有平台延伸等不同的发展策略,预示着AI存储领域的竞争将更加激烈。

📊 **平行文件系统迎来AI发展新机遇**:AI应用的普及为平行文件系统提供了广阔的应用舞台,使其成为AI时代的关键存储架构。文章回顾了平行文件系统从早期开源和商业产品,到中生代和新世代产品的演进历程,特别强调了以WEKA、VAST Data和Hammerspace为代表的新世代产品,它们凭借创新的架构,成功驱动了AI存储市场的增长,并吸引了主流厂商如HPE和Hitachi的合作。

🚀 **新产品涌现,市场竞争加剧**:近期,多家厂商纷纷推出或预告其平行文件系统产品。DDN推出了Infinia平台,华为和Quantum发布了OceanFS和Myriad平台。Dell正通过Project Lightning为其PowerScale提供平行存取能力,NetApp也在开发针对AI的ONTAP数据平台。Pure Storage的FlashBlade//EXA和普安(Infortrend)的EonStor GSx系列也加入了新一代产品行列,显示出市场对高性能、AI优化存储解决方案的强劲需求。

💡 **厂商策略多样化,满足不同市场需求**:面对AI存储市场的机遇,厂商采取了不同的发展策略。HPE和Hitachi选择直接OEM引入VAST Data和WEKA的平台;华为、DDN、Quantum和普安则选择自主研发全新的平行文件系统;而Dell和NetApp则采取了折衷路线,在现有的PowerScale和ONTAP平台上进行功能延伸,开发支持平行存取的衍生版本。这些不同的策略反映了厂商对市场定位和资源投入的考量,旨在满足不同规模和需求的客户。

隨著AI應用盛行,平行檔案系統有了大展所長的舞臺,一躍成為AI時代最受矚目的儲存應用架構,如今也吸引越來越多的廠商投入這個產品領域。

我們可將當前的平行檔案系統產品,依問世時間先後,概分為3大族群:

首先,是1990到2000年代早期崛起的老牌產品,包括開源的Lustre、PVFS/OrangeFS、BeeGFS,以及商用的IBM GPFS/Spectrum Scale(現稱為Storage Scale)等。

其次,是2010年前後問世的中生代產品,包括開源的GlusterFS,以及DDN基於Lustre平臺的ExaScaler,還有Quobyte與Qumulo等幾家商用產品平臺。

第3個族群,則是2010年代後期到2020年代初期問世的新世代產品,最具代表性的,便是WEKA、VAST Data、Hammerspace等3家。

其中特別是第3個族群的3家新創廠商,憑藉他們發展的嶄新架構,引領這幾年來的AI儲存應用市場,在這股熱潮下,不僅促使Hitachi與HPE等兩大廠,陸續在2021與2023年將WEKA與VAST Data的平臺引進自身產品線,也吸引許多廠商發展新的平行檔案系統平臺。

例如,DDN於2023年底推出他們全新開發的Infinia平臺,到了2024年初,華為與Quantum也各自推出OceanFS平行檔案系統,以及Myriad平臺。

接著,Dell與NetApp也開始動作。在2024年5月的Dell Technologies World大會,Dell宣稱正在Project Lightning計畫當中,發展PowerScale的平行檔案系統版本;NetApp則在2024年9月的InSight大會,透露正在發展專門針對AI應用的ONTAP資料平臺。

進入2025年之後,又接連出現3款平行檔案系統新產品,先是Pure Storage在2025年4月推出FlashBlade//EXA,國產廠商普安也在這個時間點,推出採用平行存取架構的EonStor GSx系列。稍晚,Dell在8月底預告Project Lightning即將全面上市的消息,將為旗下分散式儲存平臺PowerScale提供平行存取功能。

而在今年問世的新產品,我們在5月發布的封面故事當中,已初步介紹Pure Storage的FlashBlade//EXA,有興趣了解讀者可翻閱相關文章,這裡我們把焦點放在普安(Infortrend)的EonStor GSx,以及Dell的Project Lightning。

 普安的EonStor GSx 

EonStor GSx是臺灣本土廠商第一款,應該也是唯一由本土廠商發展的平行檔案系統產品,核心是GSx儲存設備內含的普安平行檔案系統(Infortrend Parallel File System),搭配專屬用戶端主機代理程式,對GSx儲存叢集執行平行存取。

GSx支援最多10臺GSx設備組成叢集,目前有基於U.2 NVMe SSD的GSx 5000U、GSx 4000U,與基於SAS硬碟的GSx 5000與GSx 4000等4款節點硬體。普安宣稱GSx節點同時整合了metadata伺服器、I/O節點與儲存空間功能,意味著這套平行檔案系統應該是採用分散式metadata架構。在資料保護功能方面,GSx分為兩個層級,一為每臺GSx節點本身的RAID 5/6,二為跨叢集的遠端複製,用戶可透過EonOne網頁式管理軟體來部署與管理GSx。

普安宣稱每臺GSx節點最高可提供43 GB/s與16.5 GB/s的讀取與寫入效能,且效能還可隨節點數量增加而線性提升,換言之,在整個GSx叢集最大10節點組態中,可提供400GB/s與150GB/s等級的讀取與寫入傳輸率,表現頗為可觀。

在平行檔案系統產品領域,GSx目前只支援單一叢集最大10節點的規格,規模算是相當小,但我們認為原因可能是普安的策略,而非系統本身限制,他們藉此聚焦較小型的用戶應用環境,避開在中、大型環境與一線大廠產品競爭。

 Dell的Project Lightning 

Dell在去年5月透露,將在Project Lightning計畫裡面發展平行檔案系統,宣稱將為PowerScale的非結構化資料提供平行存取能力,並具備接近線速的效能,網路頻寬使用率達97%,為1千個GPU提供足夠的資料吞吐率,效能可達傳統全快閃、橫向擴展NAS的20倍。

時隔整整1年之後,Dell在Dell Technologies World 2025大會,透露Project Lightning近況,聲稱這將成為全球速度最快的平行檔案系統,以每組機架單元的隨機與循序存取效能為準,對比競爭對手的平行檔案系統,Dell產品的資料吞吐率可高出2倍。

根據Dell公布的簡報顯示,Project Lightning是位於兩套儲存平臺(PowerScale與ObjectScale)之上的軟體層,而這也意味著:Project Lightning將為這兩套分散式的儲存平臺提供平行存取能力。

Dell表示,已向部分客戶和合作夥伴提供Project Lightning的封閉預覽版,並且預定推出基於 Project Lightning軟體、PowerEdge XE GPU伺服器,以及PowerScale儲存叢集的高效能解決方案,當中將整合KV快取與Nvidia推論傳輸庫(Inference Xfer Library,NIXL),用於執行推論作業負載。

稍後在8月,Dell預告 Project Lightning將全面上市,可透過用戶端軟體層,將存取操作分散到PowerScale叢集的所有節點,為多個用戶端節點提供基於平行存取的巨量I/O效能,從而為AI、HPC與分析工作負載,提供一致的高速存取、高平行性和低延遲,並且具有分散式metadata,不會形成效能瓶頸。

不同的發展策略

我們預期Project Lightning的正式發布時間點,最遲應該會落在2026年Dell Technologies World大會,待NetApp發展的ONTAP for AI計畫也正式推出之後,所有一線大廠都將在平行檔案系統這個領域全部到齊。

另一方面,從不同廠商的平行檔案系統產品發展路線,我們也能看出3條迥然有別的策略——(1)透過OEM直接引進其他廠商平臺(2)自行發展新平臺(3)以既有儲存叢集產品延伸發展。

HPE與Hitachi都採取最簡單的OEM方式,直接引進VAST Data與WEKA的平臺。華為、DDN、Quantum、普安,則選擇發展全新的平行檔案系統平臺。

至於Dell與NetApp,則以既有的PowerScale與ONTAP平臺為基礎,發展出支援平行存取的衍生版本,算是基於現有產品平臺、使其平行檔案系統化的折衷路線。


 普安的EonStor GSx平行檔案儲存系統 

GSx儲存設備內含普安自身的平行檔案系統,搭配專屬的用戶端主機代理程式,對GSx儲存叢集執行平行存取,最大可支援10節點叢集。圖片來源/Infortrend


 Dell的Project Lightning 

Project Lightning是位於PowerScale與ObjectScale等兩大分散式儲存平臺上的軟體層,可透過用戶端軟體對儲存叢集發起平行存取作業,Dell號稱這是當前最快的平行檔案系統。圖片來源/Dell

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

平行文件系统 AI存储 存储架构 WEKA VAST Data Hammerspace Dell Project Lightning 普安EonStor GSx Pure Storage FlashBlade//EXA DDN Infinia 华为OceanFS Quantum Myriad NetApp ONTAP for AI Parallel File System AI Storage Storage Architecture
相关文章