11月3日-11月5日期間,時尚虛擬偶像、QQ炫舞系列虛擬代言人星瞳在杭州競鵝酒店(騰訊電競聯(lián)名店)舉辦線下生日活動,期間騰訊先鋒與星瞳IP、競鵝酒店展開技術(shù)合作,共同解鎖沉浸感十足的“AI虛實互動體驗”,邀請線下觀眾與星瞳在虛擬場景中實時“斗舞”。這也是騰訊先鋒基于其虛實互動技術(shù)打造的“云渲染+虛實互動”新玩法的線下首發(fā)落地。
未來,騰訊先鋒虛實互動技術(shù)還將通過TV客戶端觸達更廣泛的用戶,帶來更具趣味性、專業(yè)性的大屏健身交互體驗。
打破虛實界限,邀你與星瞳共舞
(相關(guān)資料圖)
從2018年首次亮相,到與國樂大師方錦龍先生同臺表演,再到參與國產(chǎn)原創(chuàng)動漫形象舞臺競演節(jié)目《2060》,虛擬人星瞳從虛擬世界走來,以愈發(fā)鮮活的形象與現(xiàn)實世界產(chǎn)生互動。
而競鵝酒店是騰訊電競與歐愉科技共同打造的電競酒店品牌,酒店擁有濃厚的虛擬人及虛實互動氛圍,擁有國內(nèi)首個電競虛擬主理人V姐全方位服務(wù)、電競主題數(shù)字互動體驗、正版電競IP主題房等一系列電競數(shù)字IP體驗空間。這次生日活動就落地在競鵝酒店,借助騰訊先鋒自研的虛實互動技術(shù),觀眾首次以“真實形象”進入星瞳的世界,與她共舞一曲。
在互動環(huán)節(jié),參與體驗的觀眾只需站在互動區(qū)域,其真人形象就能夠通過手機攝像頭投射在虛擬場景中,其在現(xiàn)實世界中的一舉一動也會實時同步至屏幕中,舞蹈挑戰(zhàn)開始后,系統(tǒng)通過判斷觀眾的骨骼姿勢進行打分評級。
簡單易上手且自由度極高的操作,極具沉浸感、趣味性的交互玩法讓觀眾直呼過癮,同時無需穿戴設(shè)備和綠幕背景,僅通過普通手機攝像頭就能在虛擬世界實時互動的低門檻體驗,也讓觀眾對這一技術(shù)走進自家客廳充滿了期待。為了打造優(yōu)質(zhì)的AI虛實互動體驗,騰訊先鋒在其自研虛實互動技術(shù)里綜合應(yīng)用了諸多技術(shù)能力,包括實時無綠幕摳圖、姿態(tài)估計與動作捕捉、實時云端視頻流媒體AI通用處理架構(gòu)。
其中,實時無綠幕摳圖技術(shù),繞過了設(shè)備的限制,能夠在云端進行實時4K視頻發(fā)絲級摳圖。換句話說,無需綠幕或設(shè)備算力,只需普通的手機攝像頭,也能在虛擬世界中實時呈現(xiàn)高質(zhì)量的真實人物形象,并且?guī)士蛇_60FPS,足以滿足普通用戶在虛擬場景實時互動的需求。
而在姿態(tài)估計與動作捕捉方面取得的技術(shù)突破,則進一步降低了AI虛實互動體驗的門檻,不僅擺脫了對特殊場地和拍攝設(shè)備的依賴,也無需額外的可穿戴設(shè)備,僅通過手機或是普通的RGB攝像頭,即可實現(xiàn)包括身體、手部和表情在內(nèi)的高精度動作捕捉以及虛擬形象表演驅(qū)動。結(jié)合深度神經(jīng)網(wǎng)絡(luò)的視覺AI動捕技術(shù)和端云協(xié)同的多視角拍攝與計算能力,能夠進一步提高精度及穩(wěn)定性,精準(zhǔn)還原肢體律動。同樣,該技術(shù)也是完全基于云端計算,無需額外算力。
上述兩大技術(shù)能力都對“云”提出了極高的要求,面對隨之而來的延時、畫質(zhì)、跨終端等實際問題,騰訊先鋒打造了實時云端視頻流媒體AI通用處理架構(gòu),整合硬件編解碼和高效神經(jīng)網(wǎng)絡(luò)推理框架,構(gòu)建了完整的視頻流媒體處理與云端低延遲AI計算方案,并且支持先鋒云游戲kunpeng、ampere、x86+nvidia gpu等多種平臺, 適配不同gpu集群部署,支持邊緣節(jié)點部署調(diào)度。 在騰訊先鋒云游戲云計算能力的加持下,“云渲染+虛實互動”玩法的鏈路延遲基本可穩(wěn)定在100毫秒以下,并且可實現(xiàn)單機64路視頻流的實時動作捕捉,使得用戶隨時隨地在虛擬世界進行交互成為可能。
多場景創(chuàng)新融合,探索云游戲技術(shù)的無限可能
多年來,騰訊先鋒在云游戲領(lǐng)域進行了深入的探索,在關(guān)鍵技術(shù)、應(yīng)用場景、內(nèi)容生態(tài)等方面積累了豐碩的成果,并持續(xù)豐富用戶的娛樂互動體驗,不斷拓寬云游戲的可能性。
云游戲的愿景之一就是降低設(shè)備門檻,打破不同設(shè)備間的隔閡,讓用戶隨時隨地獲得極致的體驗。在服務(wù)玩家的過程中,騰訊先鋒持續(xù)發(fā)力無縫跨場景連接,圍繞縮短內(nèi)容到用戶的“距離”,進行了全方位的優(yōu)化,跨端解決方案日趨完善:支持手Q、微信登錄一鍵授權(quán),打通移動、PC、TV大屏等多終端的游戲體驗,是國內(nèi)少有的全終端云游戲生態(tài)平臺。同時通過定制化游娛套裝, 騰訊先鋒解決了移動游戲在大屏端的交互問題,讓用戶體驗更加“絲滑”,促進多用戶場景的滲透。
基于多年來沉淀的云游戲技術(shù)能力,騰訊先鋒也在不斷拓展技術(shù)的邊界,尋求新的突破。此前,騰訊先鋒參與了“云游長城”項目中“數(shù)字長城”的制作,為其提供云游戲技術(shù)支持,幫助數(shù)以億計的數(shù)字資產(chǎn)成功“上云”,并通過獨有的云游戲傳輸流控算法在移動端打造3A級的觀看效果和交互體驗。這也是全球首次將云游戲技術(shù)應(yīng)用于人類文化遺產(chǎn)保護。
今年9月,高新視頻互動場景創(chuàng)新國家廣播電視總局實驗室正式啟動,在上海市廣播電視局的指導(dǎo)下,騰訊先鋒將聯(lián)合行業(yè)共建單位聚焦高新視頻云互動數(shù)字場景創(chuàng)新應(yīng)用開展相關(guān)研究,為豐富高新視頻內(nèi)容供給、培育智慧廣電新視聽提供重要支撐。
騰訊先鋒還在積極拓展云互動與社交、演藝、文創(chuàng)、運動等領(lǐng)域的創(chuàng)新融合,打造低門檻的虛實互動體驗。此次與星瞳IP的技術(shù)合作,為大眾打開了近距離接觸云游戲技術(shù)的新窗口,以極致的用戶體驗又一次刷新了外界對于這一技術(shù)的認(rèn)知與想象空間。
未來,云游戲技術(shù)將被應(yīng)用于更多數(shù)字場景之中。借助云游戲技術(shù),用戶可以與數(shù)字人、KOL等同場景實時互動,或是與身處不同空間的用戶同屏互動,抑或是豐富XR領(lǐng)域的內(nèi)容生態(tài),提升可玩性,解鎖更多創(chuàng)新玩法。
可以預(yù)見,在云游戲技術(shù)的底盤之上,不僅可以誕生各種各樣的游戲服務(wù),持續(xù)提升用戶娛樂體驗,也可以與更多非游戲行業(yè)創(chuàng)新結(jié)合,以豐富的形態(tài)滲透進大眾生活,帶來全新的數(shù)字體驗,釋放無限可能。