丨劃重點(diǎn)
1. 大型模型的每次訓(xùn)練成本通常在數(shù)百萬美元以上,是一個(gè)非常消耗財(cái)力和計(jì)算資源的過程。
2. 參數(shù)是構(gòu)成模型本身的要素,類似大腦神經(jīng)元數(shù)量等指標(biāo),參數(shù)量大小決定了模型的復(fù)雜程度,但不意味著參數(shù)越大越好。
3. 大模型應(yīng)用普遍存在計(jì)算能力的不足、數(shù)據(jù)的問題、大模型訓(xùn)練所需的工具鏈以及缺乏專業(yè)團(tuán)隊(duì)和經(jīng)驗(yàn)四個(gè)問題。
4. 模型即服務(wù)意味著用戶只用關(guān)注模型本身,而無需關(guān)心模型本身底層的各類復(fù)雜算法和工程化的過程。
丨概述
ChatGPT爆火7個(gè)月,盡管關(guān)注度略有下降,但“現(xiàn)象級產(chǎn)品”已經(jīng)不足以形容這款來自人工智能時(shí)代的產(chǎn)品。
在很多人看來,以GPT為代表的大模型,是人類到達(dá)通用人工智能(AGI)時(shí)代的橋梁,無論是谷歌、微軟這樣的巨頭,還是剛剛成立的初創(chuàng)團(tuán)隊(duì),都希望押寶大模型賽道,拿到通往未來時(shí)代的門票,“萬模大戰(zhàn)”的局面就此誕生。
盡管人們對大模型、人工智能巨大的變革能力存在共識,但是在具體的模型、算法、數(shù)據(jù)和算力等領(lǐng)域存在不同的觀點(diǎn)和看法。
7月5日20:00,《亮見》獨(dú)家邀請到了騰訊云TI平臺產(chǎn)品負(fù)責(zé)人 侯方,直播解讀大模型數(shù)據(jù)、算力價(jià)值、應(yīng)用場景探索以及平臺對大模型創(chuàng)業(yè)的賦能理念。
在侯方看來,大模型的訓(xùn)練是一個(gè)成本非常高業(yè)務(wù),模型的參數(shù)量需要跟應(yīng)用場景匹配,越合適越好,算力則是越大越好,“大型模型的參數(shù)量越大,就需要更多的訓(xùn)練過程來填充這些參數(shù),這也意味著成本更高”。
與此同時(shí),侯方也分享了與客戶共同推動(dòng)大模型應(yīng)用方面的難題,包括 “計(jì)算能力的不足、數(shù)據(jù)的問題、大模型訓(xùn)練所需的工具鏈以及缺乏專業(yè)團(tuán)隊(duì)和經(jīng)驗(yàn)。”,與此同時(shí)他也提出了自己對大模型應(yīng)用的建議,他說,“從目前實(shí)際的經(jīng)驗(yàn)來看,第一個(gè)需要解決的問題是確定適用的場景。”
侯方認(rèn)為會(huì)有越來越多的平臺加入到賦能的行列當(dāng)中,推出以模型即服務(wù)為代表的行業(yè)大模型精選商店,幫助解決客戶在模型和算力方面的難題,他也呼吁更多的團(tuán)隊(duì)選擇這樣的形式踏入大模型時(shí)代的門檻,以解決企業(yè)大模型落地的成本和效率方面的問題。
以下為直播文字精華:
01
參數(shù)量越適合越好,算力越大越好
劉興亮:先科普一下大模型的參數(shù)量越大是否意味著越好?
侯方:大型模型看起來非常智能、復(fù)雜,實(shí)際上我們可以簡單地理解它只是一系列矩陣。這些矩陣在數(shù)學(xué)中表示各種值,通過大量的矩陣運(yùn)算,完成整個(gè)智能的實(shí)現(xiàn)。
關(guān)于參數(shù)規(guī)模,自從ChatGPT問世以來,人們迅速開始進(jìn)行比較。大家驚嘆于巨大的參數(shù)量,也意識到它產(chǎn)生了大量的智能涌現(xiàn)。
就模型本身而言,并不是說參數(shù)越大越好,也不是說參數(shù)越小越好,最重要的是要看你要解決什么問題。在不同問題場景下,你可能需要一個(gè)更大、更專業(yè)、更聚焦的模型,也可能只需要一個(gè)很小的模型。
所以,就參數(shù)量而言,從我的觀點(diǎn)來看,適合的才是最好的。
劉興亮:大模型參數(shù)是過去理解的數(shù)據(jù)嗎?如果用一句話來解釋可能是什么?
侯方:簡單來說,大型模型通過學(xué)習(xí)數(shù)據(jù)并將其轉(zhuǎn)化為其內(nèi)部的參數(shù),這是相對直觀的解釋。
數(shù)據(jù)是指我們用于大型模型學(xué)習(xí)的語料,也就是我們提供給它的知識,而參數(shù)則是構(gòu)成模型本身的要素,類似于我們大腦中的神經(jīng)元數(shù)量等指標(biāo),參數(shù)量的大小一定程度上體現(xiàn)的是模型的復(fù)雜程度。
需要注意的是,訓(xùn)練大型模型的成本與數(shù)據(jù)、參數(shù)息息相關(guān)。模型訓(xùn)練涉及的數(shù)據(jù)量會(huì)影響訓(xùn)練成本,學(xué)習(xí)100條知識與學(xué)習(xí)1000萬條知識的成本完全不同,因此數(shù)據(jù)規(guī)模對成本產(chǎn)生影響;而模型的參數(shù)量越大,就需要更多的訓(xùn)練數(shù)據(jù)和訓(xùn)練時(shí)間,這也意味著成本會(huì)更高。
從ChatGPT中可以看出,大型模型的每次訓(xùn)練成本通常在數(shù)百萬美元以上,所以這是一個(gè)非常消耗財(cái)力和計(jì)算資源的過程。
大模型發(fā)展進(jìn)程圖,來源:新智元
劉興亮:說到大模型,算力是躲不開的話題,到底什么是算力,對于模型來說,它的價(jià)值在哪?
侯方:一般來說算力越大越好。
算力多意味著模型訓(xùn)練本身的耗時(shí)就會(huì)變短,訓(xùn)練模型,大模型的智能涌現(xiàn)過程有一些大力出奇跡的過程,所以如果你擁有更多的算力資源,那就在模型訓(xùn)練本身就有更多嘗試的可能性。
算力是指在AI大模型訓(xùn)練中的計(jì)算能力,通常指的是GPU卡,也就是用于圖形處理的顯卡。這些顯卡在并行計(jì)算方面非常擅長,并且內(nèi)置了芯片和處理單元。當(dāng)然,CPU也可能提供一定的算力,因?yàn)樗怯?jì)算單元的一種形式,這就是算力的意義。
02
大模型應(yīng)用的四個(gè)難題
劉興亮:現(xiàn)如今企業(yè)對于大模型的需求體現(xiàn)在哪些方面?
侯方:自從大模型問世以來,我們與客戶交流和合作的頻次顯著增多。大家的想法和創(chuàng)意變得無限多樣化,我們也在不斷滿足各種各樣的需求。
在我之前接觸的客戶中,有幾個(gè)典型的例子,最常見的一個(gè)例子是客服領(lǐng)域應(yīng)用,以提升智能客服的體驗(yàn)和效率。許多企業(yè)都會(huì)面臨類似的問題,無論是銷售部門還是其他后勤支持部門,客服的升級是我們目前接觸最多的一類客戶需求。
客服領(lǐng)域涉及許多方面,不僅僅是直接生成答案,它還包括準(zhǔn)確性的要求,以及完成各種具體的任務(wù),比如預(yù)訂酒店、預(yù)訂機(jī)票等等。
除了客服領(lǐng)域,我們還接觸到了許多生成類的需求,比如寫小說、撰寫公文、報(bào)告、視頻腳本和營銷文案等等,這個(gè)領(lǐng)域的需求非常廣泛多樣,因?yàn)橐獙懙臇|西種類繁多,這是第二類需求。
第三類需求逐漸偏向?qū)I(yè)領(lǐng)域,包括編程、研報(bào)撰寫、會(huì)議紀(jì)要等等。
劉興亮:企業(yè)現(xiàn)在在應(yīng)用大模型方面,遇到的核心難題會(huì)是什么?
侯方:由于ChatGPT 的出現(xiàn),大家一開始都會(huì)有比較高的預(yù)期,認(rèn)為大模型能夠解決所有的問題。單我們與客戶合作時(shí)常常遇到以下四個(gè)難點(diǎn):計(jì)算能力的不足、數(shù)據(jù)的問題、大模型訓(xùn)練所需的工具鏈以及缺乏專業(yè)團(tuán)隊(duì)和經(jīng)驗(yàn)。
首先是資源問題,特別是計(jì)算能力。許多企業(yè)想要進(jìn)行大規(guī)模的模型訓(xùn)練,但他們自身的計(jì)算能力有限。例如,我們遇到過一些客戶只有兩張顯卡的機(jī)器,但他們想要處理更多復(fù)雜的任務(wù)。這不是因?yàn)樗麄儧]有足夠的資金,而是在這個(gè)領(lǐng)域的積累或儲(chǔ)備相對不足,而當(dāng)前市場環(huán)境下比較難找到可用的計(jì)算資源,算力供不應(yīng)求已經(jīng)成為一個(gè)普遍的現(xiàn)象。
第二個(gè)問題是數(shù)據(jù)。許多企業(yè)希望訓(xùn)練自己的模型,但卻面臨數(shù)據(jù)量不足,或者數(shù)據(jù)質(zhì)量不夠好的問題,而模型訓(xùn)練非常依賴于數(shù)據(jù)的質(zhì)量和數(shù)量。此外,數(shù)據(jù)的清洗、配比和預(yù)處理等一系列工程任務(wù)也需要大量的工作,數(shù)據(jù)工程本身也具有一定難度。
第三個(gè)問題是大模型訓(xùn)練所需的工具鏈。大模型訓(xùn)練需要一套完整的工具鏈,因?yàn)檫@個(gè)涉及到對于高性能算力、高性能存儲(chǔ)、多機(jī)多卡調(diào)度能力、加速框架等等。
最后一個(gè)問題是缺乏專業(yè)團(tuán)隊(duì)和經(jīng)驗(yàn)。大模型的雖然越來越多,但很多企業(yè)缺乏將其落地的專業(yè)團(tuán)隊(duì)和經(jīng)驗(yàn),在實(shí)際落地的時(shí)候,會(huì)面臨模型選型、數(shù)據(jù)處理、訓(xùn)練方法選擇等問題。
劉興亮:你會(huì)給企業(yè)管理者在應(yīng)用大模型方面提什么建議?
侯方:從目前的經(jīng)驗(yàn)來看,首要解決的是確定適用的場景。我們在與各個(gè)客戶的交流中發(fā)現(xiàn),這是我們共同面臨的第一個(gè)關(guān)鍵問題。
由于大模型技術(shù)還比較新穎,沒有人能夠斷言自己的大模型在某個(gè)特定場景下就是絕對最佳選擇,這需要我們不斷摸索和實(shí)踐。
其次是算力、數(shù)據(jù)、平臺工具的建設(shè),這些都是需要考慮的關(guān)鍵因素。
最后是一個(gè)比較普遍的建議,即擁抱大模型。由于大模型對于許多軟件和業(yè)務(wù)設(shè)計(jì),包括解決特定場景下問題的方法,都提出了全新的思路和交互方式。
03
人工智能讓互聯(lián)網(wǎng)“又行了”
劉興亮:有哪些原因和客觀條件促成了現(xiàn)在的大模型的創(chuàng)業(yè)潮?
侯方:大模型技術(shù)的出現(xiàn)是整個(gè)技術(shù)領(lǐng)域中的一次根本性變革。
過去,我們更加注重算法,而隨后逐漸發(fā)展到深度學(xué)習(xí)階段,這個(gè)階段數(shù)據(jù)的作用開始凸顯,但算法在其中仍然占有相對較高的比重。
隨著大模型的出現(xiàn),會(huì)發(fā)現(xiàn)只要提供數(shù)據(jù)和算力,模型就能自主學(xué)習(xí)很多東西。在這種情況下,算法本身的重要性在逐步降低,從技術(shù)的發(fā)展路徑來看,這是一個(gè)非常大的變革和進(jìn)化。
而從應(yīng)用的角度來看,過去幾年,AI在企業(yè)中的落地場景越來越多,應(yīng)用也越來越廣泛,并且融入到人們的生活中,接觸度也越來越高。
在以上幾個(gè)因素的推動(dòng)下,人們開始堅(jiān)定地?fù)肀?a href="http://m.intimacywithspirit.com/AI_1.html" target="_blank" class="keylink">AI和大模型技術(shù)。
劉興亮:AIGC的價(jià)值到底是什么,它給互聯(lián)網(wǎng)行業(yè)帶來什么樣的變化?
侯方:大模型最大的特點(diǎn)是生成式,通過將大量的數(shù)據(jù)和知識映射到數(shù)學(xué)空間中,通過多個(gè)維度對這些知識進(jìn)行解構(gòu)。一旦知識被解構(gòu),它們就可以通過重新組合產(chǎn)生現(xiàn)實(shí)中的各種作品,如藝術(shù)繪畫、文字或其他創(chuàng)作。
大模型的運(yùn)行依賴于大量的計(jì)算過程,這意味著它能夠以一種非常結(jié)構(gòu)化的方式學(xué)習(xí)和創(chuàng)造,利用上千億個(gè)維度進(jìn)行隨機(jī)組合,從而產(chǎn)生令人難以置信的作品,這就是為什么有時(shí)候它創(chuàng)作的畫作或文案讓人感到驚訝,而人類自己往往無法想到或?qū)懗鲞@樣的作品。
因此,AI和大模型技術(shù)在內(nèi)容創(chuàng)作領(lǐng)域,尤其是內(nèi)容生成方面,將帶來許多新的技術(shù),輔助或替代人類的創(chuàng)作過程,使我們能夠更加聰明地生成內(nèi)容,這確實(shí)是一種非常有效的狀態(tài)。
AIGC的上中下游,來源:《AIGC+AI生成內(nèi)容產(chǎn)業(yè)展望報(bào)告》量子位智庫
劉興亮: 在算力和數(shù)據(jù)上,小團(tuán)隊(duì)其實(shí)不占優(yōu)勢,選擇成熟的開源大模型進(jìn)行訓(xùn)練難道不香嗎?
侯方:實(shí)際上,現(xiàn)在很多企業(yè)都會(huì)嘗試開源模型,大模型的發(fā)展離不開開源社區(qū)的貢獻(xiàn)。
不過,使用開源模型進(jìn)行訓(xùn)練存在一些門檻,需要一定的算法知識和行業(yè)經(jīng)驗(yàn)。
從落地的可行性的角度來看,更建議的做法是選擇云廠商提供的行業(yè)大模型,這些模型通常會(huì)針對特定行業(yè)進(jìn)行優(yōu)化,會(huì)更適合解決企業(yè)的實(shí)際問題。
04
讓大模型創(chuàng)業(yè)變成“逛超市”?
劉興亮:我知道騰訊行業(yè)大模型不久前也剛剛發(fā)布,騰訊云也推出了大模型精選商店,并且提出了模型及服務(wù)(MaaS)的概念,應(yīng)該是在行業(yè)較早的提出這種行業(yè)大模型的模式,那什么是大模型精選商店,什么是模型即服務(wù)?
騰訊云Maas,打造一站式行業(yè)大模型精選商店
侯方:先從MAAS開始說起,這個(gè)概念其實(shí)很有趣,也是一個(gè)不斷演變的過程。
從最開始的基礎(chǔ)設(shè)施及服務(wù)(Infrastructure and Services,簡稱IaaS),到后面的 PaaS,再到現(xiàn)在的 MaaS,都是在讓云服務(wù)本身變成越來越簡單,以前使用的服務(wù)需要客戶業(yè)務(wù)系統(tǒng)自己開發(fā)實(shí)現(xiàn),隨著 MaaS 服務(wù)的普及,會(huì)越來越降低大家使用 AI 服務(wù)的門檻。
MaaS在AI和大模型領(lǐng)域里有很多重要的意義,它意味著我們可以將底層的內(nèi)部工作完全包裝起來,用戶只需關(guān)注一個(gè)問題:向模型請求某些東西,模型直接提供對應(yīng)的服務(wù)。
目前行業(yè)內(nèi)有模型領(lǐng)域有大量的可供選擇,不完全統(tǒng)計(jì)已經(jīng)超過800個(gè)模型。面對如此多的選擇,我們需要思考如何選擇和應(yīng)用模型,類似的問題在算法模型方面也存在。因此,騰訊的思路是在TI平臺上精選了各個(gè)行業(yè)的大模型,類似“模型超市”的概念,根據(jù)客戶場景和行業(yè)特性進(jìn)行精選,以提供最適合的模型。
劉興亮:模型商店給客戶提供的核心價(jià)值是什么?
侯方:多個(gè)行業(yè)的高質(zhì)量大模型,相應(yīng)的配套工具,更低成本,更高效地幫助企業(yè)應(yīng)用大模型,這是大模型精選商店的三個(gè)核心價(jià)值。
劉興亮:從實(shí)際的觀察來看,行業(yè)大模型是目前AI大模型技術(shù)落地的有效路徑嗎?
侯方:行業(yè)大模型是目前來看比較有效的路徑之一,在面對一些普遍性的挑戰(zhàn),包括算力、數(shù)據(jù)時(shí),行業(yè)大模型提供了一個(gè)較好的解決方案。然而我們很難確定未來五年或十年的發(fā)展方向,因?yàn)榇竽P偷漠a(chǎn)業(yè)革命才剛剛開始,它將演化成何種狀態(tài)還不得而知。
劉興亮:AI大模型商業(yè)化落地有哪些方式?
侯方:行業(yè)大模型是一個(gè)有效的方式,因?yàn)樵谏虡I(yè)化落地中,我們除了解決問題外,還要考慮到ROI,這是商業(yè)化中大家都關(guān)注的核心問題。
我認(rèn)為,在商業(yè)化落地中,一個(gè)關(guān)鍵因素是創(chuàng)造出能夠解決客戶問題的價(jià)值,無論是商業(yè)提供方還是商業(yè)需求方。只有這樣,商業(yè)化落地才能持久發(fā)展。商業(yè)化落地不僅涉及解決客戶問題,還涉及人們情感和交流需求等方面。雖然這種場景可能不一定是行業(yè)大模型所涉及的,但它確實(shí)也是一個(gè)非常好的商業(yè)化落地場景。
免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀點(diǎn),與極客網(wǎng)無關(guān)。文章僅供讀者參考,并請自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。
- 美團(tuán)閃購618戰(zhàn)報(bào):只懂流量和配送,做不好零售
- 老外破防了!在美國只吃荔枝罐頭的他,竟在中國實(shí)現(xiàn)“鮮荔自由”:8元一斤敞開吃!
- “內(nèi)亂”之后的榮耀,新品發(fā)布提速,打響“重返前三”之戰(zhàn)
- 國產(chǎn)手機(jī)不斷玩文字游戲,難怪消費(fèi)者拋棄它們,蘋果成為大贏家
- 殲35上艦,歐洲破防,認(rèn)為是規(guī)則破壞者,全球軍事格局大變
- 微信推出“問一問主持人”功能,知乎和百度知道慌不慌?
- 警惕重蹈日本AI的覆轍
- 技術(shù)深耕為矛,用戶共創(chuàng)為盾,追覓撕開掃地機(jī)紅海戰(zhàn)場
- 后互聯(lián)網(wǎng)時(shí)代,AI之于家裝行業(yè)的啟示
- 齊向東:網(wǎng)絡(luò)安全突圍的動(dòng)力來自生成式人工智能
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。