對于真實度要求很高的動作捕捉技術而言，這意味著精度和實時性都要受到挑戰(zhàn) 。目前已有的移動端AI技術，只能實現實時動作捕捉的一部分功能，包括人體/人臉檢測、和基于2D/3D骨骼關鍵點的姿態(tài)估計技術，也就是我們常見的“火柴人”算法 。
文章插圖
但“火柴人”算法顯然沒有3D Mesh貼合度高，因此團隊決定，將3D Mesh搬到移動端上，自研一基于3D Mesh的移動端姿態(tài)估計算法 。
文章插圖
這算法相當于重建人體表面的7000多個特征點，以及15000多個三角面片，不僅能夠還原人體的基本動作，還能預測出人體的高矮胖瘦 。
文章插圖
除此之外，團隊還從3個方面，對模型進行了整體優(yōu)化 。其一，從動作捕捉精度和模型大小兩方面，對自研模型進行調試 。據微視團隊表示，移動端已有的基于3D骨骼關鍵點的驅動閥，雖然可以驅動虛擬人體，在同一場景下做各種動作，但這算法存在一些不足，需要自行調整 。例如，算法偶爾會出現不正常的抖動，包括虛擬人物突然“形變”的情況，如下圖腳掌翻轉 。為此，團隊還給算法加上了平滑濾波，使得人物動作看起來更真實，進一步升模型精度，避免像下面這種抖動 。
文章插圖
△腳掌不正常的翻轉抖動同時，在精度以外，團隊還要保證在移動端實現3D Mesh 。為了做到這一點，除了在其他模型方面盡可能整合壓縮以外，團隊也對模型本身進行了一個簡化 。其二，從數據采集來看，團隊也下了不少功夫 。由于移動端3D Mesh數據需針對性采集，微視團隊搭建了自動化的數據采集系統(tǒng)，幫助快速采集到高質量動捕數據 。
文章插圖
雖然Kinect的實時動作捕捉效果一般，但用于數據采集還是非常不錯的，三臺結合起來就能獲得完整的深度信息 。
文章插圖
為了確保模型的泛化性，除了盡可能多找18~60歲的不同人物數據進行采集以外，程序員們還采用了數據增強和半監(jiān)督學習來增強模型的泛化能力 。在數據增強這塊，為了加強模型辨認人體與周圍環(huán)境的能力，程序員們將獲取到人體的mask信息進行取，隨機貼到其他背景的圖片上，創(chuàng)造出更多不同背景信息的圖片；同時，團隊也采用了神經渲染、GAN等技術，來生成更多的訓練數據 。在半監(jiān)督學習上，程序員們結合輔助任務，對2D關鍵點模型進行訓練、升模型的泛化能力 。其三，就是團隊對實時性和特效渲染做的兼顧 。模型結構的整體設計和優(yōu)化都只是“基本操作”，例如將串聯運行的模型改成并聯運行等；在推理上，團隊還基于優(yōu)圖的TNN移動端深度推理框架，實現了模型的高效推理，最終將模型的推理時間從15ms降低到了11ms 。這里面的一個難點，就是要確保渲染效果和移動端性能（實時性）的兼顧，既要讓畫面看起來比較精致，又不能讓軟件運行速度太慢 。因此，團隊先采用了自研3D渲染引擎增強光影效果，并利用SSAO、IBL等技術增強陰暗角落處的陰影質量，使得整體渲染效果與目前主流手游非常接近；
文章插圖
同時又進一步適配不同機型，采取分級策略，確保在各種手機上都能取得不錯的運行性能 。
以上關于本文的內容，僅作參考！溫馨提示：如遇健康、疾病相關的問題，請您及時就醫(yī)或請專業(yè)人士給予相關指導!
「愛刨根生活網」www.malaban59.cn小編還為您精選了以下內容，希望對您有所幫助：- 如果你是李詩情會放棄救人嗎 你選擇自保還是救人
- 《今生有你》是根據什么小說改編的 《今生有你》講述了什么故事
- 壓歲果是什么意思 可以用什么水果做壓歲果
- 女性戶外運動注意事項
- 經常做提肛運動的好處
- 秋冬跑步減肥的好處
- 利用跑步機減肥的小技巧
- 夏至基本介紹 夏至是什么意思
- 螞蟻搬家公司電話是多少 搬家公司電話號碼是多少
- 掉幀是什么意思 掉幀怎么理解