作業(yè)幫受邀出任稀土開發(fā)者大會架構專場出品人 并暢談大模型推理技術實踐

6月28日至29日,集行業(yè)前瞻性與實踐性為一體的稀土開發(fā)者大會在京成功舉辦。憑借對前沿科技的持續(xù)探索與深入研究,作業(yè)幫應邀參會,不僅重點參與了架構專題的建設,還針對行業(yè)熱點的大模型技術做了重點分享。

作業(yè)幫線上業(yè)務中心負責人鄭長帥受邀出任架構設計和業(yè)務穩(wěn)定性建設出品人,立足行業(yè),鄭長帥深入參與了本場會議架構議題的選材與建設,作業(yè)幫業(yè)務中臺技術負責人熊定云與聲網、小紅書、海達數(shù)據(jù)庫等技術負責人場景化的還原了頭部科技企業(yè)在架構技術方面的實踐經驗。

穩(wěn)定性是系統(tǒng)架構治理的一個重要環(huán)節(jié)。每個業(yè)務都有各自領域的特點和發(fā)展階段,相應地也會遇到穩(wěn)定性挑戰(zhàn)和治理決策的問題。作業(yè)幫的架構呈現(xiàn)多元化差異化、跨平臺多角色強協(xié)同等特點,容量、功能、數(shù)據(jù)、容錯容災、高頻活動的保障便成為了作業(yè)幫架構治理的關鍵任務點。

在架構專場,熊定云從作業(yè)幫架構的整體思考出發(fā),圍繞作業(yè)幫的架構治理方案的設計思路、方法、效果進行了詳細闡述,講解途中穿插實際案例,深入淺出地還原作業(yè)幫架構治理的實踐之路。在分享最后,熊定云強調,對系統(tǒng)的穩(wěn)定性要時刻保持敬畏之心,關注業(yè)務或系統(tǒng)中產生的新變量,持續(xù)迭代認知、堅持必要投入。

此外,作為最早開始教育垂類大模型研發(fā)的企業(yè),作業(yè)幫AI Infra架構師喬顯杰還在大模型部署與推理專題分享了作業(yè)幫大模型推理加速的實踐經驗。前沿科技的探索離不開底層技術的持續(xù)開發(fā),隨著大模型的發(fā)展,參數(shù)量和計算量越來越大,這些年GPU的算力也在不斷發(fā)展,英偉達每次數(shù)據(jù)中心產品更新的算力都在5-10倍。因此如何充分利用GPU算力是大模型工程的重點。

喬顯杰提到,大模型推理優(yōu)化的重點,是如何充分利用GPU算力資源。因此,避免充分冗余計算、減少非Gemm計算時間、最大化Gemm算力則成為大模型推理優(yōu)化的關鍵步驟。喬顯杰通過開源框架的選擇、量化方式的探索等幾個方面詳細分享了作業(yè)幫大模型的推理實踐。

稀土開發(fā)者大會是由稀土掘金技術社區(qū)主辦,本屆大會主題為“代碼不止,掘金不停”,面向開發(fā)者社區(qū)的中堅力量,集結近百位國內外技術大咖,旨在幫助開發(fā)者拓寬技術視野,傳播前沿的技術理念,打造一場業(yè)界標桿級的開發(fā)者技術盛宴。

免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現(xiàn)的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。

2024-07-04
作業(yè)幫受邀出任稀土開發(fā)者大會架構專場出品人 并暢談大模型推理技術實踐
6月28日至29日,集行業(yè)前瞻性與實踐性為一體的稀土開發(fā)者大會在京成功舉辦。憑借對前沿科技的持續(xù)探索與深入研究,作業(yè)幫應邀參會,不僅重點參與了架構專題的建設,還針對行業(yè)熱點的大模型技術做了重點分享。

長按掃碼 閱讀全文