大模型混合云，到了系統(tǒng)性創(chuàng)新突圍的關鍵時刻

文 | 智能相對論

作者 | 陳泊丞

亞馬遜與Anthropic、微軟與OpenAI以及華為云提出的大模型混合云概念等等種種信號都在表明，云計算與大模型深度融合發(fā)展的趨勢已是業(yè)內(nèi)共識。

目前，以生成式AI為導向，越來越多的公司開始加速大模型技術(shù)在云計算平臺上的部署和應用，而又反向推動云計算產(chǎn)業(yè)的迭代與升級。

從底層的基礎設施到中間層的平臺服務再到頂層的場景應用，云計算正經(jīng)歷著顯著變革。以亞馬遜云科技為例，作為全球云計算巨頭，他家的云產(chǎn)品正全面為大模型的部署與應用做好技術(shù)層面的鋪墊。

一、在底層，打造以GPU和自研芯片為代表的基礎設施，用于基礎模型的訓練以及在生產(chǎn)環(huán)境中運行推理。

二、在中間層，推出Amazon Bedrock，基于完全托管的服務，允許用戶輕松接入經(jīng)過嚴格篩選的第三方品牌大模型，如AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI等，以及亞馬遜自有品牌的大模型Amazon Titan。

三、在頂層，通過基礎模型構(gòu)建開箱即用的生成式AI應用程序如Amazon Q等，讓用戶無需任何專業(yè)知識即可快速上手生成式AI。

由此來看，生成式AI的發(fā)展正在改變云計算本身的產(chǎn)業(yè)格局，整個市場的競爭也到了前所未有的變革階段。

生成式AI，重構(gòu)了云

秉持著亞馬遜云科技類似觀點和行動的，還有本土的云廠商們。

百度集團副總裁侯震宇此前便提出，大模型將驅(qū)動云計算的創(chuàng)新，并重塑云計算的產(chǎn)業(yè)格局，在驅(qū)動了底層IT基礎設施的重構(gòu)，也帶來了上層應用開發(fā)模式的變革。

而華為云發(fā)布的國內(nèi)業(yè)界首個大模型混合云——華為云Stack 8.3，則是把混合云與大模型相結(jié)合，更具體地反饋出了云服務發(fā)展的新方向——通過提供算力平臺、云服務、開發(fā)套件和專業(yè)服務等完整的AI生產(chǎn)鏈，打通了從基礎設施到應用開發(fā)的技術(shù)路徑，幫助政企客戶一站式建立專屬大模型能力，成了云服務的進階能力。

而這種能力的進階，基于大模型混合云的技術(shù)發(fā)展而言，其本質(zhì)是一種應用場景的特化。

比如，云邊協(xié)同技術(shù)在大模型混合云上的延續(xù)應用與創(chuàng)新，其目的是為了解決AI大模型逐步應用到煤礦生產(chǎn)、電力巡檢、工業(yè)質(zhì)檢等工業(yè)場景中所暴露出來的邊緣實時推理需求。

一方面，工業(yè)場景對AI應用的需求比其他場景更多，且效率要求也更高，低延時、高敏捷、廣泛部署都需要做好邊緣管理和應用工作。另一方面，當AI大模型走向工業(yè)場景應用，其版本迭代、功能升級就不可避免地進入邊用邊學、邊升級邊應用的階段。

由此，云邊協(xié)同成為關鍵，需平衡計算資源、優(yōu)化數(shù)據(jù)流動、提升處理效率和增強服務質(zhì)量，支撐了多樣化、高要求的AI應用場景。

華為混合云提出的云邊協(xié)同方案基于混合云的ModelArts AI開發(fā)平臺和盤古大模型，形成了一站式的場景化模型訓練工作流。再通過采集原始生產(chǎn)樣本數(shù)據(jù)和模型運行中產(chǎn)生的存疑樣本數(shù)據(jù)，使用工作流高效訓練模型，并統(tǒng)一管理模型版本，有效實現(xiàn)了AI模型邊用邊學、快速迭代、持續(xù)升級、能適應新的工況和數(shù)據(jù)變化。

再說數(shù)據(jù)問題，其中數(shù)據(jù)存儲就困擾著AI大模型訓練效率。隨著AI大模型參數(shù)量的增加，訓練集群規(guī)模也不斷擴大，而傳統(tǒng)存儲從架構(gòu)上就已經(jīng)難以應對超大規(guī)模AI集群數(shù)據(jù)快讀、Checkpoint快存、故障快速恢復的需求。

面對這樣的特定需求，華為云不得不在存儲架構(gòu)上來尋求突破，基于于OBS數(shù)據(jù)湖、SFS Turbo高性能并行文件系統(tǒng)和AI Turbo加速的創(chuàng)新三層架構(gòu)，從而系統(tǒng)地應對大模型訓練場景的挑戰(zhàn)。

總的來說，只是為了應對AI大模型的各類場景問題，云服務就需要從底層基礎設施到頂層應用來全面創(chuàng)新，提出對應的解決方案以進一步推動AI大模型的發(fā)展。那么，擺在大模型混合云面前的技術(shù)難點并不會太少，近年來華為云一直在通過系統(tǒng)性的創(chuàng)新解決大模型應用的關鍵堵點，其發(fā)布的大模型混合云十大創(chuàng)新技術(shù)就包括了除云邊協(xié)同、數(shù)據(jù)存儲之外還有增強AI網(wǎng)絡、算子加速、統(tǒng)一數(shù)據(jù)編碼、多樣性算力調(diào)度等等。

事實上，拋開華為云提出的大模型混合云這樣系統(tǒng)的概念不談，業(yè)內(nèi)對于云與大模型的結(jié)合已經(jīng)達成共識，并致力于提供各類技術(shù)方案，來解決大模型在云上的各種訓練、推理、應用等需求。

像京東云推出了一套大模型的完整工具，包括支撐大模型應用的基礎設施——言犀AI開發(fā)計算平臺、向量數(shù)據(jù)庫、混合多云操作系統(tǒng)云艦、高性能存儲平臺云海、軟硬一體虛擬化引擎京剛等核心產(chǎn)品，對應的就是在云的基礎上推動大模型的產(chǎn)業(yè)化發(fā)展。

大模型混合云的系統(tǒng)性突圍

亞馬遜云科技、華為云、京東云、百度智能云等諸多廠商面向今天爆發(fā)的大模型時代，無一不在致力于打造完整的技術(shù)解決方案，把底層、中間層、頂層等一系列的流程和服務包辦，從而讓大模型能在云上持續(xù)部署和應用，釋放價值。

大模型混合云這一概念的提出，更是把云廠商的這種綜合解決方案帶向了更加系統(tǒng)的階段。而這種系統(tǒng)性的形成，不僅要求云廠商要在技術(shù)上聚力，還要面向場景進行廣泛探索。

“對政府來說，他們關心的可能并不是簡單解決內(nèi)部節(jié)約一個客服人員、運維人員的問題，而是更多站在產(chǎn)業(yè)布局角度，通過大模型帶動整個產(chǎn)業(yè)的發(fā)展。”眾數(shù)信科創(chuàng)始人兼CEO吳炳坤在接受媒體采訪時說道。

基于云服務行業(yè)的發(fā)展趨勢，這種產(chǎn)業(yè)的系統(tǒng)性發(fā)展實際上就需要借助云技術(shù)的系統(tǒng)性升級來實現(xiàn)——這是一種大格局的體現(xiàn)。對此，從傳統(tǒng)的多云策略來看，大模型混合云的提出更能展現(xiàn)出未來云服務的大格局。

多云策略側(cè)重于使用多個云服務提供商的服務，以避免供應商鎖定，同時優(yōu)化成本或利用各服務商的優(yōu)勢。而大模型混合云雖然也可能涉及多個云環(huán)境，但其核心在于構(gòu)建一個高度整合、優(yōu)化的大規(guī)模數(shù)據(jù)處理和AI模型運行環(huán)境，不單純?yōu)榱朔稚⒎諄碓矗菫榱藢崿F(xiàn)特定的技術(shù)和業(yè)務目標。

比如，華為云Stack的多云協(xié)同架構(gòu)，就允許行業(yè)大模型在公有云上進行訓練，同時還能結(jié)合企業(yè)本地數(shù)據(jù)在混合云中微調(diào)，然后在邊緣云進行推理，從而滿足不同場景下的計算需求。

這樣做的本質(zhì)不是為了分散“云”，而是基于原生混合云能力，讓用戶可以將大模型從本地延伸到邊緣和公有云，實現(xiàn)全場景跨云部署，達到應用效率、安全性能等結(jié)果的最優(yōu)化。

因此，總結(jié)來說，大模型混合云是針對特定領域（特別是需要處理大規(guī)模數(shù)據(jù)和復雜AI模型的場景）優(yōu)化的混合云架構(gòu)，它集成了公有云的彈性與私有云的安全控制，以及可能的多云服務，以滿足高性能計算和AI應用的特殊需求。

這種集成實現(xiàn)的技術(shù)系統(tǒng)性將在接下來的時間內(nèi)成就產(chǎn)業(yè)的系統(tǒng)性發(fā)展，也就是“不是簡單解決內(nèi)部節(jié)約一個客服人員、運維人員的問題，而是更多站在產(chǎn)業(yè)布局角度，通過大模型帶動整個產(chǎn)業(yè)的發(fā)展?！?/p>

因此，基于這樣的系統(tǒng)性發(fā)展，接下來大模型+混合云的發(fā)展將形成了較為顯著的幾大趨勢。

一、在算力調(diào)度上，大模型的訓練和推理通常需要大量的計算資源。隨著模型規(guī)模的增長，對算力的需求也在增加?；旌显骗h(huán)境下的算力調(diào)度和優(yōu)化技術(shù)會持續(xù)發(fā)展，以支持更高效的大模型訓練和推理。

二、在云邊協(xié)同上，隨著物聯(lián)網(wǎng)（IoT）設備的普及，邊緣計算變得越來越重要。混合云架構(gòu)將支持更緊密的云邊協(xié)同，使大模型能夠在邊緣進行實時推理，減少延遲并提高響應速度。

三、在基礎設施上，AI-Native存儲和網(wǎng)絡技術(shù)將繼續(xù)演進，以支持更高效的模型訓練和推理過程。例如，高性能存儲支持多級緩存機制，實現(xiàn)Checkpoint秒級存取，以及訓練故障分鐘級恢復。

四、在模型應用上，企業(yè)可以通過混合云環(huán)境中的本地數(shù)據(jù)對預訓練的大模型進行微調(diào)，以適應特定業(yè)務場景的需求，同時保持數(shù)據(jù)的私密性。

五、在業(yè)務部署上，不同行業(yè)（如金融、醫(yī)療、制造等）將利用混合云上的大模型來解決特定的業(yè)務挑戰(zhàn)，促進業(yè)務創(chuàng)新和流程自動化。同時，大模型在混合云環(huán)境中更容易實現(xiàn)規(guī)?；渴穑貏e是在那些分布廣泛的企業(yè)和行業(yè)中，如能源、交通、制造等領域。

六、在生態(tài)建設上，大模型和混合云的結(jié)合將促進更多生態(tài)合作伙伴的加入，共同開發(fā)解決方案和服務，擴大整個生態(tài)系統(tǒng)。同時，隨著大模型混合云應用的增多，相關標準和協(xié)議也將逐步制定和完善，以提高不同系統(tǒng)間的互操作性和兼容性。

寫在最后

現(xiàn)如今，大模型擁有了數(shù)億乃至數(shù)十億的參數(shù)量，這為生成式AI的發(fā)展提供了前所未有的計算規(guī)模和復雜度。更多的參數(shù)意味著模型可以學習到更深層次、更精細的數(shù)據(jù)特征，從而在文本生成、圖像合成、音頻創(chuàng)作等多個領域生成更高質(zhì)量和多樣性的內(nèi)容，很好地推動了生成式AI的高質(zhì)量發(fā)展。

而這樣的能力對于產(chǎn)業(yè)而言，正是未來產(chǎn)業(yè)轉(zhuǎn)型升級的一大關鍵。云計算同樣作為產(chǎn)業(yè)升級的底層技術(shù)，與生成式AI的協(xié)同將以更全面、完整的形態(tài)來實現(xiàn)這一目標。但是，在這個過程中，云如何與生成式AI背后的大模型進行結(jié)合，將是關鍵性問題。

生成式AI這趟“順風車”，亞馬遜云科技、華為云、京東云、百度智能云等云廠商都想搭，但是搭起來卻是得費些心思咯。

*本文圖片均來源于網(wǎng)絡

生成海報

免責聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關。文章僅供讀者參考，并請自行核實相關內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。