AI訓(xùn)練的新篇章：中科大創(chuàng)新成果引領(lǐng)知識(shí)準(zhǔn)確率提升
在人工智能領(lǐng)域，一項(xiàng)由中國(guó)科學(xué)技術(shù)大學(xué) MIRA 實(shí)驗(yàn)室的王杰教授團(tuán)隊(duì)提出的創(chuàng)新框架 —— 知識(shí)圖譜驅(qū)動(dòng)的監(jiān)督微調(diào)（KG-SFT），引發(fā)了業(yè)界的廣泛關(guān)注。這一成果以獨(dú)特的視角，將知識(shí)圖譜與大語(yǔ)言模型（LLMs）相結(jié)合，實(shí)現(xiàn)了在特定領(lǐng)域的知識(shí)理解和處理能力的顯著提升。
在人工智能訓(xùn)練過(guò)程中，數(shù)據(jù)是基礎(chǔ)，但數(shù)據(jù)的質(zhì)量和精準(zhǔn)度同樣重要。尤其在特定領(lǐng)域，如醫(yī)學(xué)、邏輯等專業(yè)領(lǐng)域，由于涉及的專業(yè)知識(shí)復(fù)雜且密集，傳統(tǒng)的機(jī)器學(xué)習(xí)模型往往難以理解和處理。而王杰教授團(tuán)隊(duì)的 KG-SFT 框架，正是針對(duì)這一難題提出的一種創(chuàng)新解決方案。
KG-SFT 框架的核心在于將知識(shí)圖譜與監(jiān)督微調(diào)相結(jié)合，通過(guò)生成問(wèn)答背后的邏輯嚴(yán)密的推理過(guò)程解釋來(lái)增強(qiáng) LLMs 對(duì)知識(shí)和邏輯的理解。這一創(chuàng)新方法通過(guò)精準(zhǔn)提取知識(shí)關(guān)聯(lián)、生成流暢的解釋以及確保解釋的正確性三個(gè)關(guān)鍵組件，實(shí)現(xiàn)了對(duì) LLMs 的有效提升。
首先，Extractor 組件負(fù)責(zé)精準(zhǔn)提取知識(shí)關(guān)聯(lián)。這一步驟揭示了 Q&A 對(duì)背后的知識(shí)關(guān)聯(lián)和邏輯，為后續(xù)的解釋生成提供了基礎(chǔ)。通過(guò)命名實(shí)體識(shí)別（NER）和多條推理路徑的檢索，Extractor 能夠有效地從大規(guī)模知識(shí)圖譜中獲取與問(wèn)題相關(guān)的知識(shí)。
接下來(lái)，Generator 組件利用圖結(jié)構(gòu)重要性評(píng)分算法對(duì)推理子圖中的實(shí)體和關(guān)系進(jìn)行評(píng)分，選擇高分部分作為重要內(nèi)容。然后，使用大型語(yǔ)言模型生成流暢的解釋草稿。這些解釋不僅邏輯清晰，而且能夠幫助 LLMs 更好地理解問(wèn)題和答案之間的關(guān)系。
最后，Detector 組件確保解釋的正確性。通過(guò)自然語(yǔ)言推理模型和重新引導(dǎo)機(jī)制，Detector 能夠標(biāo)記并糾正可能存在的知識(shí)沖突，從而提高解釋的可靠性。
在實(shí)驗(yàn)結(jié)果方面，KG-SFT 在多個(gè)領(lǐng)域和語(yǔ)言設(shè)置中均取得了顯著的性能提升。特別是在低數(shù)據(jù)醫(yī)學(xué)問(wèn)答任務(wù)上，KG-SFT 在英語(yǔ)場(chǎng)景中僅使用 5% 的訓(xùn)練數(shù)據(jù)就比傳統(tǒng)方法提高了近 14% 的準(zhǔn)確率。這一成果無(wú)疑驗(yàn)證了 KG-SFT 框架的有效性和廣泛適用性。
值得注意的是，KG-SFT 的創(chuàng)新之處不僅在于數(shù)據(jù)量的增加，更在于數(shù)據(jù)質(zhì)量的提升。通過(guò)生成高質(zhì)量的解釋，KG-SFT 幫助 LLMs 更好地理解和操縱知識(shí)，從而在特定領(lǐng)域?qū)崿F(xiàn)更優(yōu)的性能。這一方法不僅在低數(shù)據(jù)場(chǎng)景中表現(xiàn)出色，還展示了其作為插件式模塊與現(xiàn)有數(shù)據(jù)增強(qiáng)方法結(jié)合的潛力。
總的來(lái)說(shuō)，KG-SFT 框架的出現(xiàn)無(wú)疑為 AI 訓(xùn)練開(kāi)辟了新的道路。它以專業(yè)知識(shí)圖譜為媒介，將 LLMs 的理解和推理能力提升到了新的水平。這一成果不僅在學(xué)術(shù)界引起了廣泛關(guān)注，也為產(chǎn)業(yè)界提供了新的可能性。未來(lái)，我們期待看到更多基于 KG-SFT 框架的創(chuàng)新應(yīng)用在各個(gè)領(lǐng)域中落地生根，為人類的生活帶來(lái)更多便利和智慧。
在以“僅用5%訓(xùn)練數(shù)據(jù)，知識(shí)準(zhǔn)確率提升14%，讓AI訓(xùn)練更高效”為主題的微信公眾號(hào)文章中，我們看到了中國(guó)科學(xué)技術(shù)大學(xué)的創(chuàng)新成果如何引領(lǐng)著 AI 訓(xùn)練的新方向。無(wú)論是從論文的實(shí)驗(yàn)結(jié)果，還是從論文作者的個(gè)人背景來(lái)看，KG-SFT 框架都展現(xiàn)出了強(qiáng)大的潛力和廣闊的應(yīng)用前景。我們期待著這種創(chuàng)新方法能夠在未來(lái)得到更廣泛的應(yīng)用，推動(dòng)人工智能的發(fā)展邁向新的高度。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
