在今日的華為開發(fā)者大會2025（HDC 2025）上，華為云新一代昇騰AI云服務無疑成為了焦點?；贑loudMatrix384超節(jié)點的新一代昇騰AI云服務全面上線，為大模型應用提供了“澎湃算力”，標志著AI算力限制的打破，全對等互聯(lián)引領云端AI新時代。
隨著大模型訓練和推理對算力需求的爆炸式增長，傳統(tǒng)計算架構已難以支撐AI技術的代際躍遷。華為云新一代昇騰AI云服務基于CloudMatrix384超節(jié)點，首創(chuàng)將384顆昇騰NPU和192顆鯤鵬CPU通過全新高速網(wǎng)絡MatrixLink全對等互聯(lián)，形成一臺超級“AI服務器”。這一創(chuàng)新性的架構，實現(xiàn)了單卡推理吞吐量躍升到2300Tokens/s的驚人成績。
CloudMatrix384超節(jié)點架構的優(yōu)勢在于其強大的性能和靈活性。它能夠更好地支持混合專家MoE大模型的推理，實現(xiàn)“一卡一專家”，一個超節(jié)點可以支持384個專家并行推理，提升效率。同時，超節(jié)點還可以支持“一卡一算力任務”，靈活分配資源，提升任務并行處理，減少等待，將算力有效使用率（MFU）提升50%以上。
與新浪的合作，基于CloudMatrix384昇騰AI云服務，為“智慧小浪”智能服務體系構建了統(tǒng)一的推理平臺。通過軟硬協(xié)同調優(yōu)，NPU利用率提升超過40%，使得新浪能夠為數(shù)百萬用戶高效提供推理服務，模型上線速度成倍加快。
在科研領域，中國科學院基于CloudMatrix384超節(jié)點打造了自己的模型訓練框架，快速構建了中國科學院AI forScience科研大模型，這是對擺脫國外高性能AI算力平臺依賴的重要一步。這一創(chuàng)新性的嘗試，無疑將推動我國科研領域的發(fā)展。
在互聯(lián)網(wǎng)領域，360打造的納米AI搜索，為用戶提供超級AI搜索服務，也已開啟了CloudMatrix384超節(jié)點的測試。隨著云計算和AI技術的融合，未來納米AI搜索將為用戶帶來更加智能、高效的搜索體驗。
總的來說，華為云新一代昇騰AI云服務無疑為AI開發(fā)者們提供了一個全新的平臺。它打破了AI算力的限制，引領了云端AI的新時代。通過全對等互聯(lián)的架構，昇騰AI云服務能夠更高效地處理大規(guī)模模型訓練和推理任務，提升資源利用率和交付效率。這種創(chuàng)新的云服務模式，將為華為云帶來更多的市場份額，也將為整個AI生態(tài)帶來巨大的推動力。
我們期待著華為云新一代昇騰AI云服務在未來的表現(xiàn)，相信在不斷的創(chuàng)新和發(fā)展中，它將為全球的AI開發(fā)者提供更強大、更靈活、更高效的云端AI算力，推動人工智能技術的進一步發(fā)展。
（免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
