過去幾年來，原本局限於高效能運算（HPC）領域應用的平行檔案系統，在AI熱潮帶動下，不僅應用範圍大為擴展，延伸到一般企業應用環境，也帶來產品迅速進化，發展出一系列針對AI應用的新功能，還吸引更多廠商投入平行檔案系統這個領域。
我們今年5月初的封面故事《新世代分散式儲存平臺興起》，初步介紹這幾年炙手可熱的新世代平行檔案系統平臺。相較於問世已有二十多年的老一代平行檔案系統，過去5、6年出現的新一代平行檔案系統，在部署管理便利性、可靠性／安全性，以及資料服務功能方面，都有根本性的提升。
接下來的短短幾個月內，平行檔案系統這個領域又出現多項關鍵新發展，包括突破既有外部儲存框架，整合於GPU伺服器端的部署架構，支援大型語言模型推理的快取應用，還有因應AI環境的檔案系統基礎架構改造，另外還出現數家新投入平行檔案系統領域的廠商。
邁向興盛的平行檔案系統
AI應用需要搭配擁有強大擴展能力的儲存設備，以便存放規模不斷擴大的訓練資料；AI應用也需要搭配擁有高傳輸效能的儲存設備，以便及時回應AI應用的需求，以盡可能高的傳輸速度，將資料傳送給GPU運算，或是寫入檢查點、保存運算狀態。
而擴展能力與傳輸頻寬，正是平行檔案系統的長處所在。平行檔案系統的底層，可透過多節點的叢集架構，提供數百PB到EB等級的擴展能力；平行檔案系統對於個別用戶端的存取，則能透過多條存取路徑、由多個節點同時執行資料的讀取與寫入，藉此匯聚出高達數百GB/s甚至TB/s等級的龐大傳輸頻寬。
相較之下，其他類型的儲存平臺，只要底層不是基於叢集架構而成，擴展能力都無法與平行檔案系統相比。至於橫向擴展（Scale-Out）類型NAS與物件儲存系統，雖然底層也是基於多節點叢集架構，擁有與平行檔案系統相當的擴展能力，但是，缺乏用戶端對多儲存節點同時平行存取能力，傳輸頻寬無法與平行檔案系統相比。
換言之，平行檔案系統是當前唯一兼具高擴展能力，以及高傳輸效能的儲存平臺，能同時滿足AI應用在儲存空間擴展，以及傳輸頻寬等2方面的需求。
所以，這幾年來AI應用的風行，也間接帶動平行檔案系統的興盛發展，不僅讓長期以來只能困守傳統HPC應用的老牌平行檔案系統，如Lustre、GPFS/Spectrum Scale等，獲得新的發展機會，也讓新一代平行檔案系統供應商，如WEKA、VAST Data等，一躍成為AI時代的儲存市場寵兒。
平行檔案系統的新發展
為了因應AI應用的需求，過去幾個月的平行檔案系統領域，在功能、架構與市場生態等3個方面，都出現重要新發展，多家廠商先後推出搭配AI應用的新功能，與新的部署架構，也有新廠商推出新的平行檔案系統產品。
在功能的擴展方面，Hammerspace、WEKA等廠商先後發表新的GPU伺服器端部署與應用架構，利用GPU伺服器本身的SSD資源，建構出高效能、高可用性的儲存環境。而華為、WEKA、VAST Data，以及焱融科技（YanRong）等廠商，則是基於自身發展的平行檔案系統，推出用於輔助大型語言模型推論作業的KV快取卸載功能，將GPU HBM記憶體的KV快取工作負載，卸載到平行檔案系統儲存空間，顯著改善推論效能。
在系統架構演進方面，WEKA與VAST Data都針對AI應用環境需求，各自改造了自身產品架構，如前者的NeuralMesh微服務網格，可改善平行檔案系統在AI應用環境的部署與應用靈活性，以及後者的AI OS，以平行檔案系統做為核心，進一步構成涵蓋AI環境各方面應用的通用作業平臺。
在產品生態系方面，這幾個月也出現新參與者，如Pure Storage的FlashBlade//EXA，普安EonStor GSx，以及Dell基於PowerScale儲存平臺的Project Lightning平行存取軟體等，讓用戶有更多選擇。
而這一系列發展，可望在今年底到明年初開始發酵，帶動其他平行檔案系統供應商跟進發展類似的功能與架構，進而還有望吸引更多廠商投入這個領域，進一步擴大平行檔案系統生態系。
接下來，我們便逐一檢視這幾項新發展，其中在平行檔案系統的KV快取卸載功能方面，我們在6月的封面故事《大語言模型推理加速新思路：KV快取的擴展》，已有相關介紹，這裡將重點放在其他幾個面向，包括新推出的GPU端部署型態，新的架構，以及新產品。
平行檔案系統的兩大AI應用優勢
.png)
圖片來源／SNIA
AI應用對於儲存基礎設施的主要需求，在於：（1）足以應對訓練資料增長的擴展能力（2）能以盡可能快的速度，將資料饋送給GPU運算的高傳輸率。而這兩項要求正好都是平行檔案系統的優勢，從而促成平行檔案系統產品在當前的興盛發展趨勢。
一般而言，平行檔案系統的底層，是由多個儲存節點組成的叢集架構，可提供成千甚至上萬臺儲存節點的擴展能力，並透過stripe方式，將資料分割、分散存放到不同節點上，藉此分散存取負荷，避免形成高負荷的熱點，並改善可用性。
平行檔案系統的用戶端，則能藉由專門的用戶端軟體，提供同時存取多個儲存節點的能力，可從資料所在的多臺儲存節點上，透過多條I/O路徑同時直接存取這些資料。而透過跨多個節點的平行存取，能匯聚多條I/O的傳輸效能，從而得到極高的資料傳輸頻寬。
更多相關報導
