作為國內(nèi)計算機視覺人工智能領(lǐng)域的領(lǐng)先者，騰訊優(yōu)圖實驗室團隊在單目深度估計上取得了新的研究進展。

　　騰訊優(yōu)圖與廈門大學聯(lián)合團隊，共同提出了半監(jiān)督對抗單目深度估計，有望充分利用海量的無標簽數(shù)據(jù)所蘊含的信息，結(jié)合少量有標簽數(shù)據(jù)以半監(jiān)督的形式對網(wǎng)絡進行訓練。據(jù)悉，該研究成果已被人工智能領(lǐng)域最頂級的國際期刊TPAMI收錄。

　　長期以來，基于深度卷積神經(jīng)網(wǎng)絡的分類、回歸任務大多依賴大量的有標簽數(shù)據(jù)來對網(wǎng)絡進行訓練。而在實際的算法部署中，往往只有海量的無標簽數(shù)據(jù)以及非常少量的標簽數(shù)據(jù)。如何充分利用這些少量的標簽數(shù)據(jù)，使其達到和大量有標簽數(shù)據(jù)下訓練的模型相近的效果，對學術(shù)界和工業(yè)界來說一直都是一個難題。

　　據(jù)騰訊優(yōu)圖的研究員介紹，該項研究的核心難點在于，如何從無標簽數(shù)據(jù)中獲取監(jiān)督信息。傳統(tǒng)方法一般需要同一場景的圖像序列作為輸入，通過構(gòu)建立體幾何關(guān)系來隱式地對深度進行重建。這種方法要求同一場景至少包含兩張以上的圖像，一般需要雙目攝像頭或視頻序列才可以滿足。騰訊優(yōu)圖與廈門大學聯(lián)合團隊，提出在一個對抗訓練的框架中，解除圖像對判別器對真假樣本必須為同一圖像的要求，“真樣本對”采用有標簽數(shù)據(jù)的RGB圖像以及對應的真實深度圖，“偽樣本對”采用無標簽RGB圖像以及用生成器網(wǎng)絡預測出的深度圖，由判別器網(wǎng)絡區(qū)分預測出的深度圖與對應RGB直接是否符合真實的聯(lián)合概率分布，進而從無標簽數(shù)據(jù)中收獲監(jiān)督信息。與此同時，通過添加深度圖判別器，來約束預測的深度圖與真實深度圖的分布一致性。該方法輸入可以為任意無關(guān)聯(lián)圖像，應用場景更加廣泛。而從實驗結(jié)果也發(fā)現(xiàn)，當主流的深度估計網(wǎng)絡作為一個生成器網(wǎng)絡安插在半監(jiān)督框架中時，都可以收獲顯著的效果提升。

　　(圖1：騰訊優(yōu)圖與廈門大學聯(lián)合團隊提出的半監(jiān)督對抗框架。圖中的生成器網(wǎng)絡接收兩個判別器網(wǎng)絡的反饋來更新自己的網(wǎng)絡參數(shù)。)

　　在研究的量化指標上，利用半監(jiān)督對抗框架，當有標簽數(shù)據(jù)很少(500張)的情況下，僅使用250張無標簽RGB圖像就可以收獲優(yōu)于其他state-of-the-art方法的效果。當固定有標簽數(shù)據(jù)量(500張)，持續(xù)增加無標簽RGB圖像可以進一步對效果帶來提升，最終當利用五萬張無標簽RGB圖像后，該方法在各項指標上都遠超當前的state-of-the-art方法。

?

　　(表1：當有標簽數(shù)據(jù)很少(500張)的情況下，僅使用250張無標簽RGB圖像就可以收獲優(yōu)于其他SOTA方法的效果。)

　　(圖2：當固定有標簽數(shù)據(jù)量(500張)，持續(xù)增加無標簽RGB圖像可以進一步對效果帶來提升)

　　(圖3. 僅使用500張有標簽數(shù)據(jù)訓練的模型效果。從左到右依次為RGB圖像、真實深度圖和優(yōu)圖算法預測的深度圖。通過利用額外的無標簽RGB數(shù)據(jù)，優(yōu)圖算法僅使用少量數(shù)據(jù)就可以達到較好的視覺效果)

　　據(jù)騰訊優(yōu)圖的研究員介紹，該研究方法雖然以單目深度預測為實驗，但過程中發(fā)現(xiàn)對于語義分割任務也有相似的效果提升。與此同時，當模型訓練與算法部署的環(huán)境存在差異時(即存在Domain Shift)，若有標簽數(shù)據(jù)為源域中的數(shù)據(jù)，而無標簽數(shù)據(jù)為算法部署的目標域中的數(shù)據(jù)，該方法還可以起到Domain Adaptation的效果，提升模型在目標域的部署效果，該觀察也在非同源場景下的ReID任務中得到了初步的驗證。

　　總的來說，該項研究的核心在于充分挖掘無標簽樣本所蘊含的信息，減少對標簽數(shù)據(jù)的依賴，未來有望在場景重建、非同源場景ReID等多個方案中進行應用。