在居然裝飾與每平每屋·設(shè)計(jì)家“數(shù)字+”產(chǎn)品發(fā)布暨“尋找國(guó)民好設(shè)計(jì)”設(shè)計(jì)挑戰(zhàn)賽(華北區(qū))啟動(dòng)新聞發(fā)布會(huì)上，阿里巴巴每平每屋平臺(tái)業(yè)務(wù)負(fù)責(zé)人、每平每屋設(shè)計(jì)家CEO石梵正式發(fā)布了每平每屋與淘系技術(shù)合作自研的AI視頻建模技術(shù)及其應(yīng)用產(chǎn)品Object Drawer。Object Drawer是業(yè)界首個(gè)基于神經(jīng)渲染的3D建模產(chǎn)品，推理速度相較于nerf算法提升了1萬(wàn)倍。

　　基于此項(xiàng)技術(shù)，消費(fèi)者不需要依賴特定設(shè)備，只需要手機(jī)環(huán)繞目標(biāo)商品進(jìn)行視頻拍攝，就可以完成自動(dòng)重建，所生成的三維建模效果達(dá)到高精模型還原度，還能夠把目標(biāo)商品放到自己家的真實(shí)戶型中進(jìn)行展示。

　　而這個(gè)家居黑科技從何而來(lái)?背后工具支撐有多強(qiáng)大?讓我們一探究竟。

　　VR/AR賽道崛起 家居家裝3D建模需求暴漲

　　元宇宙源于1992年尼爾·斯蒂芬森的《雪崩》，這本書(shū)描述了一個(gè)平行于現(xiàn)實(shí)世界的虛擬世界，Metaverse，隨著VR/AR應(yīng)用的發(fā)展，在現(xiàn)實(shí)世界家裝家居領(lǐng)域，正在大量地運(yùn)用VR、3D、虛擬現(xiàn)實(shí)等技術(shù)，云化的3D拍攝素材庫(kù)、場(chǎng)景庫(kù)已經(jīng)成為商家的數(shù)字化基建的重要環(huán)節(jié)，經(jīng)營(yíng)者希望解脫了拍攝策劃、3D創(chuàng)作的困擾，云素材能夠信手拈來(lái)，隨時(shí)開(kāi)拍。另一方面，市場(chǎng)上家居家裝商品3D建模需求持續(xù)增加，家居家裝商品建模需求可能達(dá)到現(xiàn)在的100倍以上。

　　目前市面上的商品3D建模主要依賴于手工建模，建模時(shí)長(zhǎng)需要幾小時(shí)甚至幾天時(shí)間，費(fèi)用動(dòng)輒數(shù)百到數(shù)千元，不僅對(duì)建模環(huán)境、拍攝設(shè)備提出了諸多要求，為了提升目標(biāo)商品的形狀、紋理、材質(zhì)的展示細(xì)節(jié)，還需要大量人工作業(yè)進(jìn)行高精度還原和細(xì)節(jié)修復(fù)。

　　關(guān)鍵核心技術(shù)突破 推理速度提升10000倍

　　近幾年，神經(jīng)渲染技術(shù)正在飛速發(fā)展。Google初代的NeRF及其衍生技術(shù)利用神經(jīng)隱式表達(dá)來(lái)存儲(chǔ)場(chǎng)景的物理幾何以及材質(zhì)紋理信息，端到端的優(yōu)化渲染效果，但在實(shí)際應(yīng)用中仍存在許多問(wèn)題，主要包括:第一，推理速度、訓(xùn)練速度慢，1幀高清圖推理時(shí)間超過(guò)50秒，一個(gè)物體的建模時(shí)間長(zhǎng)達(dá)2天以上。第二，細(xì)致紋理無(wú)法還原。第三，部分視角渲染效果不理想。第四，無(wú)法直接導(dǎo)入圖形學(xué)工具，不支持顯式使用，例如CAD場(chǎng)景搭配設(shè)計(jì);此外，由于只能還原拍攝場(chǎng)景的光照也使得NeRF模型無(wú)法支持環(huán)境光照變化的場(chǎng)景應(yīng)用。

　　而每平每屋與淘系技術(shù)共研AI視頻建模技術(shù)及其承載產(chǎn)品Object Drawer通過(guò)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，探索幾何先驗(yàn)，預(yù)存部分信息，在保證渲染質(zhì)量的前提下，其推理速度可以達(dá)到每秒200幀，在手機(jī)上可達(dá)到每秒30幀，從而實(shí)現(xiàn)了實(shí)時(shí)高清可交互的三維模型，且相比NeRF算法推理速度提升了10000倍。模型的訓(xùn)練時(shí)間從2天壓縮到僅需要4小時(shí)，模型大小僅需要20M，同時(shí)，對(duì)于任意視角查看，商品3D模型都達(dá)到實(shí)拍照片的展示效果，實(shí)現(xiàn)了3D建模一直追求的自動(dòng)高精度還原。 Object Drawer不需要依賴特定設(shè)備，只需要手機(jī)環(huán)繞目標(biāo)商品進(jìn)行視頻拍攝，就可以完成AI人工智能的自動(dòng)重建，所生成的3D建模效果達(dá)到高精模型還原度。目前，這項(xiàng)技術(shù)已經(jīng)面向手淘、天貓部分家居家裝商家開(kāi)放。

　　攻克復(fù)雜光照遷移、紋理細(xì)節(jié)還原等難題

　　為了反應(yīng)物理渲染作用于3D粗模型的光照效果，如反射，陰影等，Object Drawer將物理渲染反應(yīng)在物體上的逼真光照效果遷移到神經(jīng)渲染生成的物體視角圖上，通過(guò)融合得到具有光照效果的神經(jīng)渲染結(jié)果，進(jìn)一步用得到的帶有光照效果的高清合成圖替代物理渲染結(jié)果中的粗模投影以實(shí)現(xiàn)逼真的場(chǎng)景渲染效果。在實(shí)驗(yàn)數(shù)據(jù)的結(jié)果表明，Object Drawer能夠適應(yīng)各種復(fù)雜光源條件以及細(xì)節(jié)的陰影效果的遷移，視覺(jué)效果遠(yuǎn)超其他替代方案。

Object Drawer建模時(shí)不同光照遷移效果

　　在還原紋理細(xì)節(jié)方面，對(duì)于家居家裝商品的模型來(lái)說(shuō)，紋理細(xì)節(jié)還原度非常重要，通常需要達(dá)到照片級(jí)的還原才能支持實(shí)際渲染相關(guān)產(chǎn)品。Object Drawer優(yōu)化了模型表達(dá)，在大幅度加速模型訓(xùn)練時(shí)間的同時(shí)，第一次做到了高清精細(xì)紋理還原，如布料線條等細(xì)節(jié)都能清晰可見(jiàn)。

模型與真實(shí)商品紋理細(xì)節(jié)對(duì)比圖

　　每平每屋與淘系技術(shù)攜手推出基于AI視頻建模技術(shù)的應(yīng)用產(chǎn)品Object Drawer對(duì)神經(jīng)輻射場(chǎng)技術(shù)進(jìn)行了全面的改進(jìn)和升級(jí)，實(shí)現(xiàn)了家居家裝商品自動(dòng)化高精度建模流程，未來(lái)，每平每屋作為阿里巴巴旗下家居家裝賽道的創(chuàng)新業(yè)務(wù)，會(huì)持續(xù)加大科研技術(shù)投入，從「商品模型-戶型-設(shè)計(jì)」及其他各個(gè)步驟，幫助商家、設(shè)計(jì)師、消費(fèi)者降低3D場(chǎng)景創(chuàng)作的門檻，將科技注入家裝家居和居住全鏈路的每一個(gè)環(huán)，以科技優(yōu)化每個(gè)人對(duì)居住空間的體驗(yàn)、體感與審美，構(gòu)建數(shù)智化的全新居住模式。