7月3日消息,軟件領(lǐng)域國(guó)際頂會(huì)ISSTA 2025(International Symposium on Software Testing and Analysis)公布了最高獎(jiǎng)項(xiàng)-杰出論文獎(jiǎng),通義靈碼軟件工程大模型SWE-GPT從500多篇投稿論文中脫穎而出,成為唯一獲得該獎(jiǎng)項(xiàng)的企業(yè)論文。
軟件開發(fā)是大模型落地最快的應(yīng)用場(chǎng)景之一,但現(xiàn)有模型主要基于靜態(tài)代碼數(shù)據(jù)進(jìn)行訓(xùn)練,缺乏對(duì)軟件開發(fā)過程中動(dòng)態(tài)交互、工具使用、迭代問題解決和演化特性的深入理解,影響了其在真實(shí)場(chǎng)景中的實(shí)用性。
據(jù)介紹,通義靈碼SWE-GPT基座模型為通義千問Qwen2.5,在后訓(xùn)練階段進(jìn)一步模擬人類程序員的認(rèn)知過程,學(xué)習(xí)軟件工程領(lǐng)域復(fù)雜問題的端到端多步驟解決過程。同時(shí),團(tuán)隊(duì)創(chuàng)新性采用合成數(shù)據(jù)進(jìn)行迭代模型訓(xùn)練,通過模擬真實(shí)軟件開發(fā)中的動(dòng)態(tài)交互與迭代問題解決過程(如代碼庫理解、故障定位和補(bǔ)丁生成),有效解決現(xiàn)有基礎(chǔ)大模型的局限性。
在模型訓(xùn)練階段,為了增強(qiáng)訓(xùn)練過程的魯棒性,通義靈碼團(tuán)隊(duì)還采用了課程學(xué)習(xí)的方法,隨著迭代的進(jìn)行,逐步加入當(dāng)前模型未能解決的問題,循序漸進(jìn)提高訓(xùn)練樣本的復(fù)雜度,確保模型鞏固基礎(chǔ)能力。
此前的實(shí)驗(yàn)結(jié)果顯示,在權(quán)威基準(zhǔn)SWE-bench-Verified(500項(xiàng)真實(shí)GitHub任務(wù))測(cè)試中, SWE-GPT 72B以 30.20%問題解決率刷新開源紀(jì)錄,較Llama 3.1 405B提升22.76%,接近同時(shí)期閉源模型GPT-4o的效果。不僅如此,輕量級(jí)SWE-GPT 7B模型以 18.20%的解決率超越Llama 3.1 70B(17.20%),展現(xiàn)了小尺寸模型在復(fù)雜軟件維護(hù)任務(wù)中的實(shí)用價(jià)值。
更重要的是,SWE-GPT是一個(gè)通用框架,可以進(jìn)行持續(xù)拓展,比如以其為基礎(chǔ)引入思考能力和測(cè)試時(shí)擴(kuò)展(test-time scaling),小尺寸(32B)模型在SWE-bench-Verified上可以達(dá)到46%的問題解決率,接近業(yè)界領(lǐng)先的閉源模型 Claude 3.5 Sonnet v2 (46.20%) 和 OpenAI o1 (45.60%) 。
ISSTA評(píng)審委員會(huì)專家點(diǎn)評(píng)稱:“ SWE-GPT是一種新穎的以「軟件開發(fā)流程為中心」的大語言模型,它提出的數(shù)據(jù)合成方案真實(shí)模擬了實(shí)際軟件開發(fā)過程,這是AI輔助軟件開發(fā)領(lǐng)域前進(jìn)的重要一步?!?/p>
通義靈碼算法負(fù)責(zé)人李永彬表示:“基于大模型的軟件工程智能化領(lǐng)域的研究和應(yīng)用正在快速發(fā)展,僅靠現(xiàn)有基礎(chǔ)模型仍無法滿足真實(shí)場(chǎng)景的需求,SWE-GPT為AI 輔助軟件開發(fā)提出了新范式?!?/p>
ISSTA是軟件工程領(lǐng)域最具影響力的學(xué)術(shù)會(huì)議之一,該會(huì)議匯聚了學(xué)術(shù)界和工業(yè)界在軟件測(cè)試、程序分析、代碼質(zhì)量保障等技術(shù)的前沿研究與應(yīng)用。本屆ISSTA共收到550篇投稿,最終錄用107篇,其中僅有9篇被評(píng)為杰出論文。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )