FBEC2023 | 普羅米修斯CEO張煜：數(shù)字生命——大模型可驅(qū)動的體積視頻

FBEC2023未來商業(yè)生態(tài)鏈接大會暨第八屆金陀螺獎于2023年12月8日在深圳福田大中華喜來登酒店6樓盛大召開，本次大會由廣東省游戲產(chǎn)業(yè)協(xié)會、深圳市互聯(lián)網(wǎng)文化市場協(xié)會指導，陀螺科技主辦，中國光谷、游戲陀螺、VR陀螺、陀螺財經(jīng)、陀螺電競聯(lián)合主辦。

大會以“合力共生·韌者行遠”為大會主題，以具有行業(yè)前瞻洞察的“航行者”為視角，破冰之旅為主線，關注AI、元宇宙、XR、游戲、電競、數(shù)字經(jīng)濟等科技與互聯(lián)網(wǎng)前沿領域，全方位呈現(xiàn)科技前沿成果，聚焦時代與商業(yè)熱點議題，探討新科技、新商業(yè)、新模式的未來價值，與真正的勇者共赴劇變革新下的凜冬破冰之旅！

FBEC2023分會場A：全球3D技術應用論壇邀請到普羅米修斯視覺CEO張煜帶來主題為“數(shù)字生命——大模型可驅(qū)動的體積視頻”的精彩演講。張煜指出，普羅米修斯視覺在相機矩陣采集系統(tǒng)領域已深耕10年，全棧解決方案均為自研。

以下為演講實錄：

大家好，我是普羅米修斯的CEO張煜，我們公司主要做大模型可驅(qū)動的體積視頻。首先介紹一下我們公司，普羅米修斯視覺是一家專注于研究體積視頻技術及應用的高新技術企業(yè)，核心技術團隊由清華大學博士團隊和香港科技大學博士團隊等頂尖院校的高精尖人才組成，我們在相機矩陣采集系統(tǒng)領域已深耕10年，是全國唯一一家全棧解決方案都是自研的企業(yè)。迄今為止擁有發(fā)明專利70多項，目前估值不到10億，董事長是北航軟件學院的創(chuàng)始院長孫偉。

現(xiàn)在我跟大家分享一下公司做了10年的比較成熟的解決方案，其中一個核心方向是專業(yè)相機矩陣的同步、標定、采集+傳輸、存儲的全棧解決方案。它涵蓋以下四個特點，亞毫秒級別的同步、亞像素級別標定、萬兆網(wǎng)絡的傳輸和采集，以及高速固態(tài)硬盤存儲。

第一個特點是相機同步，整套系統(tǒng)支持從5fps到120fps的可自主調(diào)節(jié)采集，相機從幾臺、幾十臺到幾百臺都可以支持毫秒級別同步的采集方式。這是我們自研的一套同步系統(tǒng)，它是一個波形發(fā)生器，精度可達到亞毫秒級別，最高支持120fps的曝光。而且算法會自動糾正隨著時間帶來的累計誤差，保障長時間采集拍攝過程中的穩(wěn)定同步。

第二個特點是自動標定，行業(yè)人士都知道，幾百臺相機的標定是很麻煩的問題，我們已經(jīng)自研超高精度標定算法，所有相機全局收斂，全局誤差小于0.5個像素，而且整個過程全自動化，10分鐘以內(nèi)就能完成幾百個相機的同步標定。

第三個特點是高速采集+傳輸，從相機輸出、傳輸網(wǎng)絡到存儲系統(tǒng)輸入都是萬兆網(wǎng)架構，保證海量數(shù)據(jù)采集傳輸順暢無延時，無卡頓。

第四個特點是存儲系統(tǒng)，在存儲上，我們采用了M.2高速固態(tài)硬盤采集系統(tǒng) + 企業(yè)級HHD硬盤陣列，既保證高速采集，又確保存儲可靠。

這個產(chǎn)品主要有四大應用場景，第一是無標記點動捕人體骨骼數(shù)據(jù)采集，第二是三維人體動態(tài)模型重建數(shù)據(jù)采集，第三是三維人體動態(tài)點云數(shù)據(jù)采集，第四是語音表情動態(tài)數(shù)據(jù)采集。

在可選相機里面，我們同時支持卷簾快門相機以及全局快門相機。有些應用對深度有要求，因此我們還提供一個模組，這個模組由兩個IR相機、彩色相機和隨機散斑投射器的POD組成，可以完成非常準確的深度采集。該模組適用于三維建模，點云采集，像流行的NeRF、NeuS等都可以通過這個方式采集數(shù)據(jù)。

在可選軟件包里，首先講下IR雙目的stereo，這就是一個典型的IR相機拍出來的圖像，身上的散斑都是我們研發(fā)的一些非均勻散斑，通過這種散斑和自研的stereo的一些算法可以做到高精度的深度計算，之后再用基于神經(jīng)網(wǎng)絡的方式讓它變得更加精確。

圖片上顯示的是一個骨骼檢測軟件包，可實現(xiàn)全身骨骼點檢測以及高精度的臉部掃描。在通過多相機的擬合和檢測后，骨骼點和臉部的表情點會非常準，這個軟件包比較適合一些動捕人體骨骼數(shù)據(jù)采集的需求。

除了關鍵點的采集，我們還支持比較典型的SMPL和SMPLX的一些參數(shù)人體模型的采集。關于臉部的關鍵參數(shù)模型等，整套系統(tǒng)也同樣支持。所以不管是全身還是臉部都可以采用這套相機矩陣，通過增減或者選不同的模塊去實現(xiàn)。

接下來介紹一些成功案例，港科大有我們一套動態(tài)的重建及應用元實驗室數(shù)字人重建拍攝系統(tǒng)。深圳第二高級技術學院、江西軟件職業(yè)技術大學、貴州盛華職業(yè)技術學院、北京容積視覺有限公司等，他們的整套方案也是我們提供的。

最后總結一下，公司研發(fā)的這套相機矩陣采集系統(tǒng)的相機數(shù)量從幾臺到幾百臺可選，相機類型不僅可選2K、4K、卷簾快門、全局快門，紅外IR相機都是可選的，占地面積7米乘7米，可拍攝范圍是5米乘3米高的圓柱體。

此外，我們產(chǎn)品有三大優(yōu)勢，超過10年的產(chǎn)品研發(fā)，迭代，大量客戶長期使用，系統(tǒng)穩(wěn)定，好用，完整；清華，港科大博士團隊從底層研發(fā)，底層可控可定制，算法水平屬國際第一梯隊；軟硬件全國產(chǎn)，成本可控有優(yōu)勢。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。