標題：清華聯(lián)手上海AI實驗室破解AI推理熵難題，引領強化學習新紀元
隨著人工智能技術的飛速發(fā)展，大型語言模型（LLMs）在推理能力上的突破，強化學習（RL）的應用范圍也從單一任務擴展到更廣泛的場景。然而，強化學習中的策略熵問題，成為了訓練中的關鍵難題。為了解決這一問題，上海人工智能實驗室聯(lián)合清華大學、伊利諾伊大學香檳分校等學府，組建國際團隊研發(fā)新方法，通過Clip-Cov和KL-Cov技術有效應對策略熵崩潰問題。
一、強化學習中的熵值問題
強化學習中，策略熵是反映了模型在利用已知策略和探索新策略之間的平衡。當策略熵過低時，模型可能會過度依賴已有策略，喪失探索能力。這一探索-利用權衡是強化學習的基礎，如何控制策略熵成為訓練中的關鍵難題。
二、新方法的提出與實驗結果
為了解決策略熵崩潰問題，研究團隊提出了一個經(jīng)驗公式：R = ?a exp H + b，其中H代表策略熵，R為下游任務表現(xiàn)，a和b為擬合系數(shù)。這一公式揭示了策略性能與熵值之間的權衡關系，并指出熵耗盡是性能瓶頸。
研究進一步分析了熵動態(tài)變化，發(fā)現(xiàn)其受動作概率與logits變化協(xié)方差的驅(qū)動。為此，團隊創(chuàng)新性地提出了Clip-Cov和KL-Cov兩種技術，分別通過裁剪高協(xié)方差token和施加KL懲罰來維持熵水平。
實驗基于Qwen2.5模型和DAPOMATH數(shù)據(jù)集，覆蓋數(shù)學任務。結果顯示新方法在7B和32B模型上分別提升了2.0%和6.4%的性能，尤其在AIE24和AIE25等高難度基準測試中，32B模型性能提升高達15.0%。這一結果證明了新方法的有效性和優(yōu)越性。
三、開源模型與算法優(yōu)化
研究團隊在包括Qwen2.5、Mistral、LLaMA和DeepSeek在內(nèi)的11個開源模型上進行了測試，涵蓋數(shù)學和編程任務的8個公開基準測試。訓練采用veRL框架和零樣本設置，結合GRPO、REINFORCE++等算法優(yōu)化策略性能。這些測試結果進一步驗證了新方法的有效性和通用性。
四、未來發(fā)展方向
新方法的提出不僅解決了策略熵崩潰問題，也為強化學習在語言模型中的擴展提供了理論支持。未來，我們應進一步探索熵管理策略，以推動更智能語言模型的發(fā)展。此外，我們還應關注強化學習在其他領域的廣泛應用，如自動駕駛、醫(yī)療診斷等，這些領域需要更高效、更智能的優(yōu)化算法。
五、結語
清華聯(lián)手上海AI實驗室破解AI推理熵難題，這一突破性的研究成果將引領強化學習進入新紀元。我們期待更多類似的研究出現(xiàn)，推動人工智能技術的不斷發(fā)展，為人類社會帶來更多的便利和進步。
參考文獻：
（此處省略實際參考文獻）
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
