網(wǎng)宿科技：邊緣計(jì)算將在大模型時(shí)代迎來(lái)更多用武之地

7月17日消息，近日，在全球邊緣計(jì)算大會(huì)上，網(wǎng)宿科技、分享了網(wǎng)宿邊緣計(jì)算對(duì)于大模型時(shí)代的思考與探索。

網(wǎng)宿科技邊緣智能平臺(tái)資深架構(gòu)師陳云輝表示，在未來(lái)大模型將成為一種基礎(chǔ)設(shè)施，每個(gè)行業(yè)甚至每個(gè)企業(yè)都會(huì)有屬于自己的大模型。而如何更好地將大模型落地到具體應(yīng)用場(chǎng)景、提升生產(chǎn)力，是產(chǎn)業(yè)共同探索的方向，也是網(wǎng)宿邊緣計(jì)算的機(jī)會(huì)所在。

邊緣計(jì)算如何在大模型時(shí)代發(fā)揮價(jià)值？在陳云輝看來(lái)，邊緣計(jì)算可以從微調(diào)訓(xùn)練和邊緣推理兩大場(chǎng)景切入。

眼下，大模型和AIGC正引領(lǐng)全球科技新浪潮，而由于從零開(kāi)始訓(xùn)練模型面臨周期長(zhǎng)，GPU需求大、成本高等問(wèn)題，大模型的使用范式主要為 “預(yù)訓(xùn)練 + 微調(diào)訓(xùn)練+提示詞工程”，即基于預(yù)訓(xùn)練好的大模型進(jìn)行領(lǐng)域知識(shí)微調(diào)訓(xùn)練或使用提示詞工程，再應(yīng)用到具體的場(chǎng)景，從而降低成本。

“這種模式可以加快AIGC創(chuàng)新步伐，但大模型的參數(shù)量巨大，進(jìn)行所有參數(shù)的微調(diào)成本非常高，LoRA成為有效的解決方法之一。網(wǎng)宿邊緣計(jì)算可以支持LoRA、QLoRa等輕量微調(diào)訓(xùn)練方法，大大降低大模型個(gè)性化、領(lǐng)域化的適配成本，促進(jìn)AIGC在垂直應(yīng)用場(chǎng)景的落地。”陳云輝分析道。

不僅如此，隨著多模態(tài)AI的發(fā)展以及AIGC在更多領(lǐng)域的應(yīng)用，AIGC生成的內(nèi)容將涵蓋圖片、語(yǔ)音以及視頻，AI推理相對(duì)訓(xùn)練的成本占比將提升，對(duì)流量需求將越來(lái)越高。同時(shí)，伴隨AIGC模型領(lǐng)域化、小型化、輕量化技術(shù)的發(fā)展，未來(lái)AIGC對(duì)算力要求也將持續(xù)降低。

“因而大模型推理運(yùn)算可以從中心下沉到邊緣，實(shí)現(xiàn)更低的帶寬成本、更快的響應(yīng)速度。網(wǎng)宿在邊緣側(cè)有得天獨(dú)厚的優(yōu)勢(shì)，可以很好地賦能邊緣推理場(chǎng)景?！标愒戚x表示。

作為領(lǐng)先的邊緣計(jì)算服務(wù)商，網(wǎng)宿邊緣計(jì)算擁有顯著的資源協(xié)同優(yōu)勢(shì)，可以與CDN業(yè)務(wù)在機(jī)房、算力、帶寬、調(diào)度等方面充分協(xié)同，并且網(wǎng)宿基于全球2800個(gè)節(jié)點(diǎn)打造的輕量化邊緣智能平臺(tái)，節(jié)點(diǎn)分布廣泛，平臺(tái)運(yùn)營(yíng)經(jīng)驗(yàn)豐富，可以復(fù)用到大模型場(chǎng)景。

得益于以上優(yōu)勢(shì)，網(wǎng)宿科技探索了面向大模型與AIGC時(shí)代的產(chǎn)品形態(tài)，并逐步落地。據(jù)悉，網(wǎng)宿科技基于網(wǎng)宿邊緣智能平臺(tái)，針對(duì)大模型推理、訓(xùn)練等場(chǎng)景，構(gòu)建了邊緣CPU算力平臺(tái)、開(kāi)源大模型訓(xùn)練部署平臺(tái)，并輸出垂直領(lǐng)域的解決方案，以適應(yīng)市場(chǎng)需求和技術(shù)發(fā)展，讓大模型賦能百業(yè)。

其中，網(wǎng)宿邊緣GPU算力平臺(tái)基于網(wǎng)宿廣泛分布的節(jié)點(diǎn)資源，提供輕量化算力資源，支持GPU虛擬化，可滿(mǎn)足輕量AI任務(wù)場(chǎng)景的需求，如AI推理、深度學(xué)習(xí)、圖形可視化等。

網(wǎng)宿開(kāi)源大模型訓(xùn)練部署平臺(tái)基于開(kāi)源預(yù)訓(xùn)練大模型，提供包含模型微調(diào)訓(xùn)練、性能評(píng)估、部署監(jiān)控、輕量化推理等功能的端到端大模型服務(wù)平臺(tái)，可降低大模型應(yīng)用落地成本，幫助客戶(hù)打造自己專(zhuān)屬的的大模型。

此外，網(wǎng)宿提供垂直領(lǐng)域的解決方案，包括開(kāi)箱即用的基于私有大模型的企業(yè)知識(shí)庫(kù)解決方案，可以服務(wù)企業(yè)內(nèi)部與外部客戶(hù)，以及針對(duì)電商領(lǐng)域的圖像生成解決方案，如AI模特等，幫助垂直領(lǐng)域降本增效。

陳云輝表示，“以上三種產(chǎn)品形態(tài)分別對(duì)應(yīng)Iaas、PaaS 、SaaS層，未來(lái)我們希望打造全棧解決方案，降低AIGC的使用門(mén)檻。我們相信，隨著大模型和AIGC的廣泛應(yīng)用，網(wǎng)宿邊緣智能平臺(tái)將迎來(lái)更多用武之地?！?/p>

值得一提的是，此次會(huì)上，陳云輝還重點(diǎn)展示了網(wǎng)宿邊緣智能平臺(tái)在AI應(yīng)用場(chǎng)景的實(shí)踐經(jīng)驗(yàn)。

網(wǎng)宿邊緣智能平臺(tái)基于網(wǎng)宿豐富的節(jié)點(diǎn)管理和調(diào)度能力，針對(duì)邊緣計(jì)算場(chǎng)景提供云邊一體化協(xié)同托管方案，可以一站式納管各類(lèi)架構(gòu)的邊緣設(shè)備，將云上應(yīng)用延伸到邊緣，滿(mǎn)足客戶(hù)對(duì)邊緣計(jì)算資源的遠(yuǎn)程管控、數(shù)據(jù)處理、分析決策、AI應(yīng)用等訴求。目前該平臺(tái)已經(jīng)服務(wù)于智能養(yǎng)殖、智能換電、智能勘測(cè)、智能安防等AI應(yīng)用場(chǎng)景，成功幫助客戶(hù)節(jié)約建設(shè)成本、提升運(yùn)營(yíng)效率。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。