騰訊混元發(fā)布并開源圖生視頻模型 上線對(duì)口型與動(dòng)作驅(qū)動(dòng)等玩法

3月7日消息，據(jù)騰訊混元官方公眾號(hào)消息，騰訊混元發(fā)布圖生視頻模型并對(duì)外開源，同時(shí)上線對(duì)口型與動(dòng)作驅(qū)動(dòng)等玩法，并支持生成背景音效及2K高質(zhì)量視頻。

根據(jù)官方介紹，基于圖生視頻的能力，用戶只需上傳一張圖片，并簡(jiǎn)短描述希望畫面如何運(yùn)動(dòng)、鏡頭如何調(diào)度等，混元即可按要求讓圖片動(dòng)起來(lái)，變成5秒的短視頻，還能自動(dòng)配上背景音效。

此外，上傳一張人物圖片，并輸入希望“對(duì)口型”的文字或音頻，圖片中的人物即可“說(shuō)話”或“唱歌”；使用“動(dòng)作驅(qū)動(dòng)”能力，還能一鍵生成同款跳舞視頻。

目前用戶可以通過(guò)混元AI視頻官網(wǎng)體驗(yàn)，企業(yè)和開發(fā)者可在騰訊云申請(qǐng)使用API接口使用。

此次開源的圖生視頻模型，是混元文生視頻模型開源工作的延續(xù)，模型總參數(shù)量保持 130 億，模型適用于多種類型的角色和場(chǎng)景，包括寫實(shí)視頻制作、動(dòng)漫角色甚至CGI角色制作的生成。

開源內(nèi)容包含權(quán)重、推理代碼和LoRA訓(xùn)練代碼，支持開發(fā)者基于混元訓(xùn)練專屬LoRA等衍生模型。目前可以在Github、HuggingFace等主流開發(fā)者社區(qū)下載體驗(yàn)。（周小白）

生成海報(bào)