黃銳教授團(tuán)隊(duì)在IEEE Sensors Journal發(fā)表文章并被選為當(dāng)期Featured Article

2021-12-18 新聞

近日，香港中文大學(xué)（深圳）理工學(xué)院的黃銳教授團(tuán)隊(duì)在《IEEE Sensors Journal》發(fā)表題為 “Unsupervised Monocular Depth Perception: Focusing on Moving Objects” 的文章，并從當(dāng)期的95篇文章中被選為唯一的Featured Article。? ?

點(diǎn)擊圖片，閱讀文章

?

01?《IEEE Sensors Journal》介紹

《IEEE Sensors Journal》于2001創(chuàng)刊，是傳感器工程和技術(shù)領(lǐng)域的權(quán)威期刊，征稿涉及信號(hào)處理與分析、通信、網(wǎng)絡(luò)與廣播技術(shù)、元件、電路、器件與系統(tǒng)以及機(jī)器人與控制系統(tǒng)等和傳感器技術(shù)密切相關(guān)的主題?！禝EEE Sensors Journal》的2021年影響因子為3.301，JCR分區(qū)Q1。自2020年以來(lái)，《IEEE Sensors Journal》每期會(huì)選出一篇特色文章（Featured Article），以此來(lái)推廣熱點(diǎn)話(huà)題和優(yōu)秀文章，被選出的文章將在6個(gè)月內(nèi)免費(fèi)開(kāi)放（Open Access）。

?

02? 研究背景

作為一種靈活的被動(dòng) 3D 感知手段，從單目視頻中無(wú)監(jiān)督學(xué)習(xí)場(chǎng)景的深度正成為一個(gè)重要的研究課題。這種方法利用目標(biāo)視圖與其相鄰源視圖的合成視圖之間的光度誤差作為損失，而不依賴(lài)于真實(shí)的深度標(biāo)簽，因此有非常好的推廣性。盡管這種方法已經(jīng)在駕駛場(chǎng)景有了很多的研究，但現(xiàn)實(shí)世界場(chǎng)景中的場(chǎng)景動(dòng)態(tài)因素仍然對(duì)學(xué)習(xí)產(chǎn)生不利影響。并且，仍沒(méi)有文獻(xiàn)量化地評(píng)測(cè)各種深度估計(jì)方法在駕駛場(chǎng)景下對(duì)運(yùn)動(dòng)物體的效果，這對(duì)自動(dòng)駕駛是至關(guān)重要的。

圖1：無(wú)監(jiān)督深度估計(jì)方法通常會(huì)對(duì)向車(chē)輛估計(jì)得過(guò)近

?

03?研究概要

本文是機(jī)器人會(huì)議IROS 2020論文的拓展版，在會(huì)議論文中，黃銳教授團(tuán)隊(duì)已經(jīng)提出了解決無(wú)監(jiān)督深度估計(jì)在運(yùn)動(dòng)物體和遮擋上的問(wèn)題的一些方法，詳情可以參考IROS 2020 文章。在基于單目視頻訓(xùn)練的無(wú)監(jiān)督深度估計(jì)領(lǐng)域中，由運(yùn)動(dòng)物體引起的問(wèn)題經(jīng)常被研究者注意到并指出，但是，仍沒(méi)有對(duì)其進(jìn)行定量方面的研究。在本文中，黃銳教授團(tuán)隊(duì)，提出了進(jìn)一步提出將靜止背景和運(yùn)動(dòng)物體來(lái)分開(kāi)評(píng)測(cè)，從而更好的評(píng)價(jià)各種深度估計(jì)方法。具體來(lái)說(shuō)，在自動(dòng)駕駛領(lǐng)域的著名KITTI數(shù)據(jù)集的測(cè)試集中劃定了駕駛場(chǎng)景的五個(gè)不同的常見(jiàn)運(yùn)動(dòng)模式，并手動(dòng)標(biāo)記了它們以進(jìn)行詳細(xì)的定量研究。

圖2：被標(biāo)記的一些不同運(yùn)動(dòng)模式的物體樣本

評(píng)估表明，對(duì)于靜態(tài)背景、一般運(yùn)動(dòng)物體和相異運(yùn)動(dòng)車(chē)輛，在IROS 2020論文中所提出的離群點(diǎn)掩碼方法在深度估計(jì)準(zhǔn)確度（δ<1.25）上獲得了0.3%、1.8%和2.9%的提高，這表明離群點(diǎn)掩碼對(duì)運(yùn)動(dòng)物體，尤其是那些與相機(jī)不同的運(yùn)動(dòng)物體，更有效果。此外，我們還評(píng)估了一種深度監(jiān)督方法和一種基于立體圖像的無(wú)監(jiān)督方法，結(jié)果表明它們也受到動(dòng)態(tài)因素的影響，雖然程度較輕?；趩文恳曨l的無(wú)監(jiān)督方法與其他的兩種方法的在運(yùn)動(dòng)動(dòng)物體的比較大差距，說(shuō)明單目無(wú)監(jiān)督方法仍有一定的改進(jìn)空間。

考慮到另一個(gè)自動(dòng)駕駛數(shù)據(jù)集CityScapes提供也駕駛場(chǎng)景中物體的語(yǔ)義分割標(biāo)簽。黃銳教授團(tuán)隊(duì)也在CityScapes上也對(duì)背景和前景物體進(jìn)行了分開(kāi)的深度估計(jì)評(píng)測(cè)。雖然CityScapes上的被標(biāo)記的物體不一定運(yùn)動(dòng)的，評(píng)測(cè)的結(jié)果與KITTI上的結(jié)果是也類(lèi)似的。為了促進(jìn)進(jìn)一步的研究，本文的源代碼和標(biāo)記數(shù)據(jù)已經(jīng)開(kāi)源，詳情請(qǐng)參考以下鏈接：

https://github.com/HalleyJiang/DiPE

圖3：CityScapes 上的深度估計(jì)結(jié)果比較

?

04 作者介紹

香港中文大學(xué)（深圳）黃銳教授為本文的通訊作者

黃銳，香港中文大學(xué)（深圳）理工學(xué)院副教授，計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室主任，中國(guó)圖象圖形學(xué)學(xué)會(huì)學(xué)工委委員、青工委委員。黃教授在Subspace Analysis、Deformable Models、Probabilistic Graphical Models等方法和模型以及它們?cè)谟?jì)算機(jī)視覺(jué)、模式識(shí)別、圖像處理中的應(yīng)用等方向做過(guò)大量研究工作。目前研究興趣集中在計(jì)算機(jī)視覺(jué)在視頻監(jiān)控和機(jī)器人領(lǐng)域的應(yīng)用。黃教授已發(fā)表相關(guān)領(lǐng)域?qū)W術(shù)論文80余篇，主持過(guò)包括國(guó)家自然科學(xué)基金在內(nèi)的多項(xiàng)科研課題，曾獲2018年中國(guó)計(jì)算機(jī)學(xué)會(huì)科學(xué)技術(shù)獎(jiǎng)自然科學(xué)二等獎(jiǎng)。

本文的第一作者是2021年畢業(yè)于理工學(xué)院的蔣華烈博士

蔣華烈是黃銳教授的博士生，他的研究興趣集中于3D計(jì)算機(jī)視覺(jué)及其在虛擬現(xiàn)實(shí)和自主機(jī)器人的應(yīng)用, 目前已發(fā)表國(guó)際期刊和會(huì)議論文10余篇，包括 IEEE RAL和IROS等機(jī)器人領(lǐng)域旗艦期刊和會(huì)議。

本文的作者還包括黃銳教授的碩士生丁來(lái)言同學(xué)和理工學(xué)院的孫正隆教授。

?

文章轉(zhuǎn)自理工學(xué)院微信公眾平臺(tái)，鏈接為https://mp.weixin.qq.com/s/iyUqDMdBlG0Yekc5lQRZ-w