2月28日消息，DeepSeek開源周第五天，DeepSeek宣布開源了Fire-Flyer文件系統（3FS）。
Github地址：https://github.com/deepseek-ai/3FS
據介紹，3FS是一個高性能并行文件系統，能應對AI訓練和推理工作負載的挑戰(zhàn)，它利用現代SSD和RDMA網絡提供共享存儲層，能簡化分布式應用程序的開發(fā)。
在由180個存儲節(jié)點組成的大型測試集群上，3FS最終的總讀取吞吐量達到約6.6個TIB/S； KVCache 查詢每個客戶端節(jié)點達到40+GiB/s的峰值吞吐量。
DeepSeek列舉了3FS的主要功能和優(yōu)勢包括：
性能和可用性
* 分解式架構結合了數千個SSD的吞吐量和數百個存儲節(jié)點的網絡帶寬，使應用程序能夠以不受位置影響的方式訪問存儲資源。
* 強一致性實現帶有分配查詢（CRAQ）的鏈式復制以實現強一致性，從而使應用程序代碼簡單且易于推理。
* 文件接口開發(fā)由事務鍵值存儲（例如FoundationDB）支持的無狀態(tài)元數據服務。文件接口眾所周知且隨處可用。無需學習新的存儲API。
多樣化的工作負載
* 數據準備將數據分析管道的輸出組織成分層目錄結構，并有效地管理大量中間輸出。
* 數據加載器通過跨計算節(jié)點隨機訪問訓練樣本，消除了預取或混洗數據集的需要。
* 檢查點支持大規(guī)模訓練的高吞吐量并行檢查點。
* 用于推理的KVCache提供了一種基于DRAM的緩存的經濟高效的替代方案，可提供高吞吐量和更大的容量。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
