理工學(xué)院學(xué)生顧津錦在計(jì)算機(jī)頂級(jí)會(huì)議ECCV 2018上發(fā)表論文
? ? ? ? ?近日，香港中文大學(xué)（深圳）理工學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè)四年級(jí)學(xué)生顧津錦同學(xué)與商湯研究院和香港中文大學(xué)多媒體實(shí)驗(yàn)室團(tuán)隊(duì)的學(xué)術(shù)論文在2018歐洲計(jì)算機(jī)視覺(jué)大會(huì)（ECCV 2018）上發(fā)表。該論文提出了基于生成對(duì)抗網(wǎng)絡(luò)的增強(qiáng)超分辨率方法（ESRGAN）。更令人欣喜的是，ESRGAN 模型同時(shí)在 ECCV2018 的 PIRM-SR 比賽中獲得了最好的感知評(píng)分，取得了第一名。
?
論文介紹
? ? ? ? ????????發(fā)表會(huì)議：
? ? ? ? ?2018歐洲計(jì)算機(jī)視覺(jué)大會(huì)（ECCV 2018）
? ? ? ? ????????會(huì)議簡(jiǎn)介：
? ? ? ? ?ECCV，英文全稱(chēng)European Conference on Computer Vision，中文全稱(chēng)歐洲計(jì)算機(jī)視覺(jué)國(guó)際會(huì)議。ECCV每年的論文接受率為25-30%左右，每次會(huì)議在全球范圍會(huì)收錄論文300篇左右，收錄論文的主要來(lái)源是來(lái)自于美國(guó)、歐洲等頂級(jí)實(shí)驗(yàn)室及研究所，中國(guó)大陸的收錄論文數(shù)量在10-20篇之間。2018歐洲計(jì)算機(jī)視覺(jué)大會(huì)（ECCV 2018）在德國(guó)慕尼黑召開(kāi)，?ECCV兩年舉辦一次，與CVPR、ICCV共稱(chēng)為計(jì)算機(jī)視覺(jué)領(lǐng)域三大頂級(jí)學(xué)術(shù)會(huì)議。
? ? ? ? ????????論文題目：
? ? ? ? ?ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks
? ? ? ? ????????論文簡(jiǎn)介：
? ? ? ? ?基于生成對(duì)抗網(wǎng)絡(luò)的圖像超分辨率模型SRGAN能夠生成更多的紋理細(xì)節(jié)。然而，它恢復(fù)出來(lái)的紋理往往不夠自然，也常伴隨著一些噪聲。為了進(jìn)一步增強(qiáng)圖像超分辨率的視覺(jué)效果，本文深入研究并改進(jìn)了SRGAN的三個(gè)關(guān)鍵部分——網(wǎng)絡(luò)結(jié)構(gòu)、對(duì)抗損失函數(shù)和感知損失函數(shù)，提出了一個(gè)增強(qiáng)的ESRGAN模型。具體地，本文引入了一個(gè)新網(wǎng)絡(luò)結(jié)構(gòu)單元RRDB （Residual-in-Resudal Dense Block）；借鑒了相對(duì)生成對(duì)抗網(wǎng)絡(luò)（relativistic GAN）讓判別器預(yù)測(cè)相對(duì)的真實(shí)度而不是絕對(duì)的值；還使用了激活前的具有更強(qiáng)監(jiān)督信息的特征表達(dá)來(lái)約束感知損失函數(shù)。得益于以上的改進(jìn)，本文提出的ESRGAN模型能夠恢復(fù)更加真實(shí)自然的紋理，取得比之前的SRGAN模型更好的視覺(jué)效果。ESRGAN模型同時(shí)在ECCV2018的PIRM-SR比賽中獲得了最好的感知評(píng)分，取得了第一名。
?
作者檔案
? ? ? ? ?顧津錦
? ? ? ? ?學(xué)院：理工學(xué)院
? ? ? ? ?書(shū)院：逸夫書(shū)院
? ? ? ? ?專(zhuān)業(yè)：計(jì)算機(jī)科學(xué)與技術(shù)
? ? ? ? ?高中：天津市濱海新區(qū)塘沽一中
? ? ? ? ?個(gè)人主頁(yè)：http://www.jasongt.com/
? ? ? ? ?顧津錦是香港中文大學(xué)（深圳）理工學(xué)院本科四年級(jí)學(xué)生。他是 CUHK-Shenzhen能源互聯(lián)網(wǎng)實(shí)驗(yàn)室的研究助理，也是商湯集團(tuán)研究院的研究實(shí)習(xí)生。他同時(shí)也是香港中文大學(xué)（深圳）計(jì)算機(jī)協(xié)會(huì)的創(chuàng)始人之一。在此之前，他曾是上海交通大學(xué)圖像通信與網(wǎng)絡(luò)工程研究所的研究助理。他的研究興趣主要在于機(jī)器學(xué)習(xí)的理論和應(yīng)用，包括表征學(xué)習(xí)，流形學(xué)習(xí)和信息幾何在機(jī)器學(xué)習(xí)中的應(yīng)用。?他也對(duì)機(jī)器學(xué)習(xí)方法在計(jì)算機(jī)視覺(jué)和工業(yè)領(lǐng)域的應(yīng)用感興趣，包括基于學(xué)習(xí)的圖像和視頻處理，圖像和3D分割以及工業(yè)系統(tǒng)的控制和感知問(wèn)題。
?
?
對(duì) 話(huà)?
? ? ? ? ????????Q1:?能大概介紹一下你在這篇論文當(dāng)中所做的貢獻(xiàn)嗎？
? ? ? ? ????????A1:?我的論文名稱(chēng)是《ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks》，文章的主題是關(guān)于感知圖像超分辨率重建的。我們?cè)谖恼轮邢到y(tǒng)的分析了將生成式對(duì)抗網(wǎng)絡(luò)應(yīng)用在圖像超分辨中的幾個(gè)組成部件，包括網(wǎng)絡(luò)結(jié)構(gòu)、對(duì)抗損失函數(shù)和感知損失函數(shù)，并相應(yīng)提出了改進(jìn)方法，提出了增強(qiáng)型的?SRGAN。我們團(tuán)隊(duì)已經(jīng)在圖像超分辨領(lǐng)域的前沿研究和落地研究中努力了很長(zhǎng)時(shí)間，這篇文章其實(shí)相當(dāng)于是很長(zhǎng)時(shí)間積累起來(lái)的工程能力的一個(gè)簡(jiǎn)要的匯報(bào)。最終方法的性能我想是與每個(gè)人長(zhǎng)期的工程實(shí)踐分不開(kāi)的。
?
? ? ? ? ????????Q2:?能介紹一下你的同伴們?cè)谝黄鹱鲅芯康臅r(shí)候?qū)δ愕姆e極影響嗎？
? ? ? ? ????????A2:?商湯和香港中文多媒體實(shí)驗(yàn)室的同事給我最大的影響就是告訴我，做研究要穩(wěn)得住氣，要把研究踏踏實(shí)實(shí)的做完整。剛?cè)胄凶鲅芯康膬赡昕赡軙?huì)過(guò)于關(guān)注很?fancy?的想法，現(xiàn)在整個(gè)?CV?領(lǐng)域和人工智能領(lǐng)域都在風(fēng)口上，剛?cè)胄械哪贻p人可能會(huì)不自覺(jué)的被這股風(fēng)氣帶得浮躁。而加入商湯，真正的接觸最前沿的應(yīng)用研究非常的磨練人，在商業(yè)化產(chǎn)品化的要求下，你的研究?fancy?是一點(diǎn)用都沒(méi)有的，最基本的要求是?work，但是這個(gè)要求也是很多已經(jīng)發(fā)表的文章都達(dá)不到的。商湯教會(huì)我比較重要的一點(diǎn)就是，研究是為了解決問(wèn)題而做的，不是為了寫(xiě)漂亮的論文。在這個(gè)過(guò)程中，商湯科技和香港中文大學(xué)多媒體實(shí)驗(yàn)室還有深圳先進(jìn)院多媒體實(shí)驗(yàn)室的同事和老師都對(duì)我有很大的幫助。
?
? ? ? ? ????????Q3:?商湯研究院目前正在做一些哪些比較exciting的項(xiàng)目，是否可以介紹一下？
? ? ? ? ????????A3:?我屬于商湯研究院，人機(jī)物智能融合部門(mén)。我的研究小組在推動(dòng)前沿的人工智能影像處理算法的研究和產(chǎn)品化，包括圖像去噪、超分辨率重建、圖像去模糊、圖像生成等。國(guó)內(nèi)不少知名品牌手機(jī)（具體是哪些就先不說(shuō)了）的?AI?智能攝像算法就是出自我們研究組。我在組內(nèi)主要負(fù)責(zé)學(xué)術(shù)研究，是某研究項(xiàng)目的負(fù)責(zé)人，重點(diǎn)解決產(chǎn)品中亟待解決的學(xué)術(shù)問(wèn)題，然后把創(chuàng)新的解決方案寫(xiě)成論文提供給全世界的同行交流。我們還有許多其他的組，他們都在與視覺(jué)相關(guān)的各個(gè)研究方向推動(dòng)算法的前沿研究和產(chǎn)品化。商湯實(shí)驗(yàn)室的研究覆蓋面是很廣的，在視覺(jué)研究的各個(gè)方面都有研究組，這段時(shí)間也不斷地有非常先進(jìn)的前沿技術(shù)落地到手機(jī)上，這點(diǎn)我們都是非常自豪的。
?
?
?
? ? ? ? ????????Q4:?之后還有哪些學(xué)術(shù)上的目標(biāo)？
? ? ? ? ????????A4:?我個(gè)人的研究主要分為兩個(gè)大的方面：一個(gè)是圖像處理方面的研究，包括研究更加先進(jìn)且智能的感知圖像超分辨研究，還有先進(jìn)算法落地方面的研究；第二個(gè)是將先進(jìn)的生成式模型應(yīng)用在工業(yè)領(lǐng)域。這次發(fā)表的論文其實(shí)是感知圖像超分辨的一個(gè)階段性成果，接下來(lái)在這個(gè)方向我還會(huì)做一些更加?fancy?的工作。在圖像處理算法落地方面，我的研究主要關(guān)注實(shí)際問(wèn)題中的盲問(wèn)題，例如處理真實(shí)環(huán)境中復(fù)雜的未知噪音等。我們已經(jīng)解決了一些非常重要的實(shí)際問(wèn)題并將算法應(yīng)用在了手機(jī)產(chǎn)品上，接下來(lái)一年的時(shí)間我的目標(biāo)主要是將現(xiàn)有的技術(shù)突破總結(jié)成完整的學(xué)術(shù)工作并發(fā)表。我另一個(gè)非常自豪的研究就是工業(yè)傳感器數(shù)據(jù)的超分辨率感知。這個(gè)工作是在學(xué)校能源互聯(lián)網(wǎng)實(shí)驗(yàn)室進(jìn)行的，我們主要聚焦利用前沿的人工智能算法賦能工業(yè)系統(tǒng)，在無(wú)需大量升級(jí)現(xiàn)有工業(yè)傳感器的情況下進(jìn)一步實(shí)現(xiàn)工業(yè)信息化?，F(xiàn)在這個(gè)方面的第一篇文章的預(yù)印本已經(jīng)預(yù)發(fā)表在了?arxiv?上，歡迎大家去關(guān)注一下這個(gè)研究，我們接下來(lái)還會(huì)進(jìn)行一系列的后續(xù)研究。論文名稱(chēng)《Super-Resolution Perception of Industrial Sensor Data》
?
? ? ? ? ????????Q5:?在學(xué)校三年了，在理工學(xué)院感受最大的幫助是什么？
? ? ? ? ????????A5:?作為理工學(xué)院的學(xué)生，我非常感謝科研上給我?guī)?lái)非常多幫助的趙俊華教授。我開(kāi)始做研究的第一個(gè)老師就是理工學(xué)院的趙教授，在趙教授實(shí)驗(yàn)室里學(xué)到的最重要的并不是專(zhuān)業(yè)知識(shí)，而是如何做一個(gè)好的研究。正是因?yàn)橼w老師在研究的方法和視野上對(duì)我前瞻性的指導(dǎo)，我才能在商湯進(jìn)行獨(dú)立研究，所以我是非常感謝趙俊華教授的。
?
? ? ? ? ????????Q6:?能不能給想做科研的學(xué)弟學(xué)妹的一點(diǎn)建議呢？
? ? ? ? ????????A6:?第一點(diǎn)是要足夠的主動(dòng)，做研究要保持非常旺盛的好奇心和思維的發(fā)散能力，要花大量的時(shí)間在文獻(xiàn)閱讀和實(shí)驗(yàn)上。在研究的過(guò)程中不會(huì)有人持續(xù)地?push?你，但是要有自我的?push，而且經(jīng)過(guò)長(zhǎng)時(shí)間的堅(jiān)持，才能夠做出一定的成果。
第二點(diǎn)是不要太過(guò)于功利，尤其是?AI?或?CV?這樣的領(lǐng)域。這些領(lǐng)域?qū)φ撐姆浅？粗?，而且每年也有非常多的fancy?的文章被寫(xiě)出來(lái)，很多同學(xué)可能非常急于想寫(xiě)出自己的論文來(lái)申請(qǐng)學(xué)校或者找工作。但是工作的好壞是跟心態(tài)非常相關(guān)的，如果你一心只想不擇手段把論文發(fā)出去，那工作的質(zhì)量只能是很差的，甚至?xí)e(cuò)過(guò)發(fā)表的時(shí)間導(dǎo)致無(wú)法發(fā)表。然而如果你是真心要解決某一個(gè)問(wèn)題，在經(jīng)過(guò)長(zhǎng)時(shí)間的研究提煉之后，你能把問(wèn)題解決了，這樣的工作才是真正值得驕傲的工作。有很多同學(xué)會(huì)覺(jué)得一個(gè)人發(fā)表了幾篇?ECCV CVPR?很厲害，但是在真正做研究的人只會(huì)關(guān)注你真正解決了什么問(wèn)題，如果沒(méi)有解決問(wèn)題純靠?cook?和?trick?發(fā)表工作，那我們只能說(shuō)，灌水是可恥的。
最后一點(diǎn)是不要心急，我見(jiàn)到有很多想做?AI?做?CV?的同學(xué)，但是大多數(shù)可能都是看到身邊的同學(xué)都在做，心里慌了覺(jué)得自己也要做研究發(fā)論文才行。但是我覺(jué)得不要跟風(fēng)，尤其是低年級(jí)的同學(xué)，要早早對(duì)以后所從事的方向進(jìn)行評(píng)估和嘗試，但是不要隨波逐流看到別人在做什么就想上去做。即便是人工智能方向，也不止有?CV，NLP?這些方向，還有大量的有價(jià)值的研究領(lǐng)域值得去關(guān)注，要有自己獨(dú)特的眼界去選擇自己要做的事情。
?
文案：石天宇（2016級(jí)理工學(xué)院、逸夫書(shū)院）
