隨著人工智能(AI)和高性能計(jì)算(HPC)的快速發(fā)展,對(duì)網(wǎng)絡(luò)基礎(chǔ)設(shè)施的要求越來(lái)越高。傳統(tǒng)的以太網(wǎng)技術(shù)在面對(duì)大規(guī)模并行計(jì)算和海量數(shù)據(jù)傳輸時(shí)逐漸暴露出性能瓶頸。為了解決這些問(wèn)題,超級(jí)以太網(wǎng)(UltraEthernet)應(yīng)運(yùn)而生。超級(jí)以太網(wǎng)通過(guò)優(yōu)化網(wǎng)絡(luò)架構(gòu)和協(xié)議棧,大幅提升了網(wǎng)絡(luò)性能,為下一代人工智能工作負(fù)載提供了強(qiáng)大的支持。
超級(jí)以太網(wǎng)的背景與需求
人工智能與高性能計(jì)算的挑戰(zhàn)
現(xiàn)代人工智能模型的規(guī)模和復(fù)雜性不斷增加,例如,一些生成式AI模型的參數(shù)量已達(dá)到數(shù)萬(wàn)億個(gè)。這些模型的訓(xùn)練和推理需要在大規(guī)模計(jì)算集群上進(jìn)行,對(duì)網(wǎng)絡(luò)的帶寬、延遲和可擴(kuò)展性提出了極高要求。傳統(tǒng)的以太網(wǎng)技術(shù)在面對(duì)這些需求時(shí),往往無(wú)法滿足高性能計(jì)算和AI工作負(fù)載的苛刻要求。
超級(jí)以太網(wǎng)聯(lián)盟的成立
為了應(yīng)對(duì)這些挑戰(zhàn),2023年7月,Linux基金會(huì)宣布成立超級(jí)以太網(wǎng)聯(lián)盟(UltraEthernetConsortium,UEC),其創(chuàng)始成員包括英特爾、AMD、惠普企業(yè)、Arista、Broadcom、思科、Meta和微軟等。該聯(lián)盟的目標(biāo)是開(kāi)發(fā)一個(gè)基于以太網(wǎng)的開(kāi)放、可互操作、高性能的全通信堆棧架構(gòu),以滿足大規(guī)模人工智能和高性能計(jì)算的網(wǎng)絡(luò)需求。
超級(jí)以太網(wǎng)的技術(shù)特點(diǎn)
優(yōu)化的傳輸層協(xié)議
超級(jí)以太網(wǎng)聯(lián)盟計(jì)劃開(kāi)發(fā)一種新的傳輸層協(xié)議——超級(jí)以太網(wǎng)傳輸(UltraEthernetTransport,UET),以取代現(xiàn)有的基于以太網(wǎng)的RDMAoverConvergedEthernet(RoCE)協(xié)議。UET協(xié)議將支持以下特性:
多路徑和分組噴射:通過(guò)同時(shí)利用所有可用路徑傳輸數(shù)據(jù)包,實(shí)現(xiàn)更高效的網(wǎng)絡(luò)利用率。
靈活的傳輸順序:允許數(shù)據(jù)包亂序傳輸,減少尾延遲。
現(xiàn)代擁塞控制機(jī)制:優(yōu)化網(wǎng)絡(luò)擁塞管理,確保在高負(fù)載下仍能保持低延遲。
增強(qiáng)的物理層和鏈路層
超級(jí)以太網(wǎng)不僅優(yōu)化了傳輸層協(xié)議,還對(duì)物理層和鏈路層進(jìn)行了改進(jìn)。這些改進(jìn)包括更高的帶寬、更低的延遲以及更高效的信號(hào)傳輸技術(shù)。通過(guò)這些優(yōu)化,超級(jí)以太網(wǎng)能夠在硬件層面大幅提升網(wǎng)絡(luò)性能,滿足大規(guī)模AI和HPC工作負(fù)載的需求。
軟件層的優(yōu)化
超級(jí)以太網(wǎng)的軟件層優(yōu)化主要體現(xiàn)在對(duì)AI和HPC工作負(fù)載的深度支持上。聯(lián)盟正在開(kāi)發(fā)相關(guān)的API和數(shù)據(jù)結(jié)構(gòu),以確保超級(jí)以太網(wǎng)能夠無(wú)縫集成到現(xiàn)有的AI框架和HPC庫(kù)中。這意味著用戶無(wú)需對(duì)現(xiàn)有的工作負(fù)載進(jìn)行大規(guī)模修改,即可遷移到超級(jí)以太網(wǎng)架構(gòu)。
超級(jí)以太網(wǎng)的應(yīng)用案例
數(shù)據(jù)中心網(wǎng)絡(luò)優(yōu)化
超級(jí)以太網(wǎng)在數(shù)據(jù)中心的應(yīng)用主要體現(xiàn)在對(duì)網(wǎng)絡(luò)架構(gòu)的優(yōu)化上。通過(guò)采用超級(jí)以太網(wǎng)技術(shù),數(shù)據(jù)中心能夠?qū)崿F(xiàn)更高的網(wǎng)絡(luò)利用率和更低的延遲。例如,騰訊云在實(shí)踐中通過(guò)優(yōu)化網(wǎng)絡(luò)架構(gòu),實(shí)現(xiàn)了超過(guò)90%的網(wǎng)絡(luò)利用率。這種優(yōu)化不僅降低了數(shù)據(jù)中心的運(yùn)營(yíng)成本,還顯著提升了AI訓(xùn)練的效率。
大規(guī)模AI訓(xùn)練
在大規(guī)模AI訓(xùn)練場(chǎng)景中,超級(jí)以太網(wǎng)能夠顯著提升模型訓(xùn)練的速度和效率。通過(guò)支持多路徑傳輸和靈活的分組順序,超級(jí)以太網(wǎng)能夠更好地應(yīng)對(duì)大規(guī)模并行計(jì)算中的數(shù)據(jù)傳輸需求。例如,NVIDIA推出的BlueField-3SuperNIC和Spectrum-4交換機(jī)系統(tǒng),專為AI工作負(fù)載優(yōu)化,能夠提供高達(dá)400Gb/s的網(wǎng)絡(luò)帶寬。
高性能計(jì)算
超級(jí)以太網(wǎng)在高性能計(jì)算中的應(yīng)用主要體現(xiàn)在對(duì)計(jì)算集群的優(yōu)化上。通過(guò)采用超級(jí)以太網(wǎng)技術(shù),計(jì)算集群能夠?qū)崿F(xiàn)更高的計(jì)算效率和更低的延遲。例如,惠普企業(yè)(HPE)正在利用超級(jí)以太網(wǎng)技術(shù)優(yōu)化其高性能計(jì)算解決方案,以滿足大規(guī)模科學(xué)計(jì)算和工程模擬的需求。
超級(jí)以太網(wǎng)的優(yōu)勢(shì)
高性能
超級(jí)以太網(wǎng)通過(guò)優(yōu)化傳輸層協(xié)議和物理層技術(shù),大幅提升了網(wǎng)絡(luò)的帶寬和延遲性能。例如,NVIDIA的SuperNIC能夠提供高達(dá)800Gb/s的網(wǎng)絡(luò)帶寬,顯著提升了AI工作負(fù)載的效率。
可擴(kuò)展性
超級(jí)以太網(wǎng)的架構(gòu)設(shè)計(jì)使其能夠輕松擴(kuò)展以滿足大規(guī)模計(jì)算需求。通過(guò)支持多路徑傳輸和靈活的分組順序,超級(jí)以太網(wǎng)能夠在大規(guī)模計(jì)算集群中實(shí)現(xiàn)高效的負(fù)載均衡。
互操作性
超級(jí)以太網(wǎng)聯(lián)盟致力于開(kāi)發(fā)一個(gè)開(kāi)放、可互操作的網(wǎng)絡(luò)架構(gòu)。這意味著不同的硬件和軟件供應(yīng)商能夠在其基礎(chǔ)上開(kāi)發(fā)兼容的產(chǎn)品,從而推動(dòng)整個(gè)行業(yè)的技術(shù)創(chuàng)新。
成本效益
超級(jí)以太網(wǎng)在提升性能的同時(shí),還注重成本效益。通過(guò)優(yōu)化網(wǎng)絡(luò)架構(gòu)和協(xié)議棧,超級(jí)以太網(wǎng)能夠在不增加過(guò)多成本的情況下,顯著提升網(wǎng)絡(luò)性能。例如,騰訊云通過(guò)優(yōu)化網(wǎng)絡(luò)架構(gòu),實(shí)現(xiàn)了超過(guò)90%的網(wǎng)絡(luò)利用率,顯著降低了數(shù)據(jù)中心的運(yùn)營(yíng)成本。
超級(jí)以太網(wǎng)的未來(lái)展望
技術(shù)創(chuàng)新
超級(jí)以太網(wǎng)聯(lián)盟正在不斷推進(jìn)技術(shù)創(chuàng)新,以滿足未來(lái)人工智能和高性能計(jì)算的需求。例如,聯(lián)盟正在開(kāi)發(fā)新的傳輸層協(xié)議和優(yōu)化的物理層技術(shù),以進(jìn)一步提升網(wǎng)絡(luò)性能。
行業(yè)合作
超級(jí)以太網(wǎng)的發(fā)展離不開(kāi)行業(yè)的廣泛合作。聯(lián)盟成員包括英特爾、AMD、惠普企業(yè)、Arista、Broadcom、思科、Meta和微軟等。這些行業(yè)巨頭的合作將推動(dòng)超級(jí)以太網(wǎng)技術(shù)的快速普及和應(yīng)用。
市場(chǎng)前景
隨著人工智能和高性能計(jì)算市場(chǎng)的快速增長(zhǎng),超級(jí)以太網(wǎng)的市場(chǎng)前景廣闊。研究公司650Group預(yù)計(jì),數(shù)據(jù)中心AI網(wǎng)絡(luò)市場(chǎng)規(guī)模將在未來(lái)幾年內(nèi)顯著增長(zhǎng)。超級(jí)以太網(wǎng)技術(shù)的普及將為相關(guān)企業(yè)帶來(lái)巨大的市場(chǎng)機(jī)會(huì)。
總結(jié)
超級(jí)以太網(wǎng)的興起為下一代人工智能和高性能計(jì)算工作負(fù)載提供了強(qiáng)大的支持。通過(guò)優(yōu)化傳輸層協(xié)議、增強(qiáng)物理層和鏈路層以及優(yōu)化軟件層,超級(jí)以太網(wǎng)能夠顯著提升網(wǎng)絡(luò)性能。在數(shù)據(jù)中心、大規(guī)模AI訓(xùn)練和高性能計(jì)算等領(lǐng)域,超級(jí)以太網(wǎng)已經(jīng)展現(xiàn)出顯著的優(yōu)勢(shì)。隨著技術(shù)創(chuàng)新的不斷推進(jìn)和行業(yè)的廣泛合作,超級(jí)以太網(wǎng)將在未來(lái)發(fā)揮更大的作用。
- 愛(ài)立信在Telstra商用5G-A站點(diǎn)部署自動(dòng)載波聚合技術(shù)
- 江蘇曙光云計(jì)算被軍采拉入“黑名單”
- 愛(ài)立信在Telstra商用5G-A站點(diǎn)部署自動(dòng)載波聚合技術(shù)
- 中國(guó)通信建設(shè)第三工程局被軍采按下暫停鍵
- 聚焦“四新”、預(yù)演未來(lái):上海移動(dòng)民生路旗艦店煥新再出發(fā)
- 預(yù)算13.36億元!垣信衛(wèi)星采購(gòu)7次一箭多星火箭發(fā)射服務(wù)
- C114直播預(yù)告|云啟WETELE系列云課堂第十期:探討數(shù)據(jù)價(jià)值潛能即將開(kāi)講
- Dell'Oro報(bào)告:5G SA部署加速 推動(dòng)5G核心網(wǎng)市場(chǎng)增長(zhǎng)率提高
- Dell'Oro報(bào)告:5G SA部署加速 推動(dòng)5G核心網(wǎng)市場(chǎng)增長(zhǎng)率提高
- 廣電5G發(fā)力 華數(shù)傳媒上半年?duì)I收同比增長(zhǎng)2.07% 凈利同比增長(zhǎng)4.63%
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。