基于神經(jīng)網(wǎng)絡(luò)的實(shí)時(shí)光照估計(jì)與渲染方法及系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN202110639919.5 申請(qǐng)日 -
公開（公告）號(hào) CN113096228A 公開（公告）日 2021-07-09
申請(qǐng)公布號(hào) CN113096228A 申請(qǐng)公布日 2021-07-09
分類號(hào) G06T15/10（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 徐迪;李臻;毛文濤;孫立 申請(qǐng)（專利權(quán)）人 上海影創(chuàng)信息科技有限公司
代理機(jī)構(gòu) 上海段和段律師事務(wù)所 代理人 李佳俊;郭國(guó)中
地址 200120上海市浦東新區(qū)自由貿(mào)易試驗(yàn)區(qū)芳春路400號(hào)1幢301-462室
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種基于神經(jīng)網(wǎng)絡(luò)的實(shí)時(shí)光照估計(jì)與渲染系統(tǒng)，包括相機(jī)讀取模塊：用于端側(cè)設(shè)備的實(shí)時(shí)相機(jī)視頻流獲??；神經(jīng)網(wǎng)絡(luò)推理模塊：利用輕量級(jí)網(wǎng)絡(luò)用于生成光照估計(jì)的結(jié)果，利用球諧光波系數(shù)去渲染虛擬物體；虛擬物體加載模塊：用于加載三維虛擬物體，作為光照結(jié)果渲染的對(duì)象；球諧光波實(shí)時(shí)渲染與融合模塊：利用球諧光波系數(shù)去渲染虛擬物體用于實(shí)現(xiàn)跨平臺(tái)的渲染與融合。本發(fā)明通過采用輕量級(jí)神經(jīng)網(wǎng)絡(luò)，根據(jù)視頻序列幀計(jì)算出球諧光波系數(shù)，從而達(dá)成實(shí)時(shí)高效的光照估計(jì)；同時(shí)，通過采用虛實(shí)融合的渲染模塊，對(duì)三維虛擬物體進(jìn)行實(shí)時(shí)渲染，并將其顯示于相機(jī)視頻流之前，從而實(shí)現(xiàn)了虛擬物體與真實(shí)背景的實(shí)時(shí)融合。