【中國，深圳，2025年3月21日】在華為中國合作伙伴大會——鯤鵬伙伴產業(yè)峰會上，華為聯(lián)合 openEuler 社區(qū)發(fā)布全棧式 AI 推理方案。通過這套方案，企業(yè)和開發(fā)者可在鯤鵬+xPU硬件上，分鐘級實現(xiàn)模型部署、天級實現(xiàn) AI 助手開發(fā)，推理性能相較于其他開源方案提升10%-50%。該方案從開發(fā)、運行、運行全流程助力企業(yè)實現(xiàn)規(guī)模部署，實現(xiàn)數智化轉型，推動 AI 普惠千行百業(yè)。
sysHAX+GMEM：釋放鯤鵬+xPU算力潛能
如今，大模型已經從模型訓練階段轉向模型推理和智能體開發(fā)階段，操作系統(tǒng)作為連接軟件和硬件的基礎軟件，在使能模型推理和智能體開發(fā)上發(fā)揮著不可代替的作用。在硬件上，目前 openEuler 社區(qū)已經適配了昇騰、寒武紀、摩爾線程、天數等xPU，并通過 sysHAX，GMEM 等技術實現(xiàn)推理任務吞吐量提升10%-50%：
- sysHAX：通過 NUMA 親和性優(yōu)化模型參數、KVCache調度、適配鯤鵬SVE指令集等方式，動態(tài)調度鯤鵬CPU與異構算力資源，智能分配 decode 任務，使推理任務吞吐量提升10%-30%。
- GMEM：通過加速器透明超分技術，將主機內存擴展至TB級，大模型推理吞吐量提升50%，提供OS原生malloc接口，僅需百行代碼即可接將設備接入 GMEM，開發(fā)效率提升10倍。
oeDeploy：一鍵分鐘級部署模型推理環(huán)境
oeDeploy 一鍵式軟件編排部署工具是 openEuler 社區(qū)的開源項目，該項目通過編寫配置文件即可實現(xiàn)AI框架、驅動、第三方組件部署，極大的簡化軟件部署流程。oeDeploy 已經支持一鍵式部署 DeepSeek，將原本需3-5天的部署流程縮短至分鐘級，極大的提高 DeepSeek 的部署效率。
歡迎開發(fā)者貢獻自己編寫的 oeDeploy 配置文件
EulerCopilot+RAG：天級開發(fā)一個智能體
RAG 即檢索增強生成技術。RAG+大模型可以很好的彌補基礎模型缺失行業(yè)數據、企業(yè)數據的不足，使大模型更懂企業(yè)業(yè)務，是一種非常高效的開發(fā)行業(yè)智能體應用的方法。openEuler Copilot System 平臺已經支持 RAG，并對 RAG的智能語料治理、多級檢索優(yōu)化等環(huán)節(jié)進行優(yōu)化，回答準確率高達 90%。企業(yè)和開發(fā)者可在本地部署 openEuler Copilot System，并輸入行業(yè)數據，天級實現(xiàn)企業(yè)智能體應用的開發(fā)。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
