騰訊優(yōu)圖低光照圖像增強算法：挑戰(zhàn)谷歌與蘋果結果如何

互聯(lián)網(wǎng)時代，照片是人們交流和表達的重要方式之一，人們往往喜歡通過照片分享自己的所見所聞，然而很多時候，受低光照或背光環(huán)境影響，拍攝到的照片經(jīng)常會產(chǎn)生欠曝光的現(xiàn)象，常常導致拍了很多照片，卻難以挑選出能拿得出手的。近期，騰訊優(yōu)圖實驗室提出的“低光照圖像增強算法”，則有望解決這一痛點。

各大廠商紛紛推出夜拍神器，夜拍痛點仍難除

近幾年，各大手機廠商紛紛推出各種“夜拍神器”，企圖抓住該細分市場，在智能手機的紅海市場分一杯羹。

2018年11月，谷歌推出新的Pixel智能手機，同時宣布推出全新相機模式Night Sight。谷歌宣稱，使用Night Sight拍攝的照片比使用標準相機模式拍攝的照片要精準得多。然而，Night Sight拍攝照片所需的時間取決于場景和可用光線，通常需要一兩秒鐘才能讓手機啟動該模式工作。同時該模式可以使用的前期是仍需要一些光才能工作，如果在非常黑暗的環(huán)境中拍攝照片時，會得到一個像素混亂的結果。換句話說，這不是真正的暗光拍攝。

不到半年，在華為P30發(fā)布會上，華為消費者業(yè)務CEO余承東重點介紹了P30在拍照和攝像能力的提升，在夜拍上余承東調(diào)侃稱“三星的Galaxy拍不到銀行，但P30可以”。其現(xiàn)場展示的P30拍攝的銀河照片，也似有與拍攝“火星”的Pixel叫板之意。不過P30有個前提是拍攝場景不能有太大的亮暗差，這樣相機會避免過曝而導致暗處一團黑。

一度風靡全球的街機iPhone，因夜拍效果差長期受消費者詬病，最新一代的iPhoneX雖然宣稱在夜拍能力上增強不少，但仍有用戶吐槽夜拍照片局部放大后，由于過度曝光噪點很多。

目前，業(yè)內(nèi)有三種傳統(tǒng)夜景圖像增強算法。直方圖均衡化(Histogram equalization)，這種方法簡單的利用了圖像整體的統(tǒng)計性質(zhì)，通常不能對復雜場景達到理想效果?；赗etinex理論的增強算法，通常只能用單通道進行光照優(yōu)化，顏色無法很好地回復，在光照復雜的情況下還容易出現(xiàn)過曝的現(xiàn)象。這些傳統(tǒng)方法還容易在增加圖像亮度的同時，放大噪聲等瑕疵，影響圖像質(zhì)量。而基于深度學習的方法，通常是輸入圖像到標注圖像之間直接訓練回歸(regression)模型，由于數(shù)據(jù)本身的特性，這種方法得到的結果通常清晰度、對比度比較低，而且會有一些人工痕跡。

技術揭秘：低光照圖像增強，騰訊優(yōu)圖的“炫”科技

來自騰訊優(yōu)圖的研究員介紹說，該算法全稱為“基于深度學習優(yōu)化光照的暗光下的圖像增強”，通俗理解，是可以在移動端實時實現(xiàn)比美Adobe Lightroom專業(yè)調(diào)光效果的高端算法。已經(jīng)被計算機視覺國際頂級會議CVPR2019收錄。

在應用了騰訊優(yōu)圖低光照圖像增強算法后，原本黑乎乎的圖片立馬變得明亮清晰、色澤豐滿起來，其效果比起國際大牌的商業(yè)軟件也絲毫不遜，甚至更佳。

騰訊優(yōu)圖對傳統(tǒng)夜景圖像增強算法進行了分析，發(fā)現(xiàn)直方圖均衡化對復雜場景不理想; Retinex算法，顏色無法很好地恢復，光照復雜還容易過曝;深度學習的直接訓練回歸模型，清晰度、對比度較低，且有人工痕跡。

傳統(tǒng)辦法的欠缺，都在于過度重視“優(yōu)化圖片”，依靠各種技術指標，缺乏對“人”之體驗的終極關注。騰訊優(yōu)圖創(chuàng)新算法，在網(wǎng)絡中引入中間照明，將輸入與預期的增強結果相關聯(lián)，增強了網(wǎng)絡從專家修飾的輸入/輸出圖像學習復雜的攝影調(diào)整的能力。通俗理解，就是引入了專業(yè)美術人員優(yōu)化后的照片與原始照片對比，由機器自動學習，模擬出人類的智慧。騰訊優(yōu)圖引入了3000組原始圖片和專業(yè)美工調(diào)節(jié)后的圖像，并訓練網(wǎng)絡有效地學習各種照明條件的豐富多樣的調(diào)整。

在網(wǎng)絡結構的設計方面，該算法也采用創(chuàng)新的雙分支的網(wǎng)絡結構。網(wǎng)絡分成了全分辨率分支和低分辨率分支。其中低分辨率分支用于學習到全圖光照的整體信息，低分辨率圖像的使用，有助于增大網(wǎng)絡感受野，提高算法速度。低分辨率分支的結果將會傳遞給高分辨率網(wǎng)絡分支，用于重建全分辨率下的亮度圖，并最終得到增強后的圖像。此外，新的損失函數(shù)也進一步幫助網(wǎng)絡結構產(chǎn)生更加穩(wěn)定、清晰、顏色真實鮮艷的結果。因此，騰訊優(yōu)圖的低光照圖像增強算法，在增強結果中恢復清晰的細節(jié)，鮮明的對比度和自然色彩。

計算機視覺AI算法，不止是手機攝影

實驗室的創(chuàng)新算法，目前可以用于哪些場景呢?騰訊優(yōu)圖的算法研究員介紹，手機攝影或手機拍照效果優(yōu)化，依然是最重要的應用場景。該算法與手機硬件的結合，有望在夜景拍攝上取得進一步的突破，給消費者帶來更好的夜拍體驗。

自2012年開始，騰訊優(yōu)圖已在全球贏得就近700項專利，并多次刷新FDDB、MegaFace等多項國際頂級評測世界記錄。這些在人臉識別、圖像識別領域的科研探索，不但應用于美化圖片，還被廣泛應用于交通、醫(yī)療影像、自動駕駛、金融、社交、娛樂、零售等多個行業(yè)領域。

例如，基于騰訊優(yōu)圖AI算法研發(fā)的肺癌、宮頸癌及糖尿病視網(wǎng)膜病變篩查技術已經(jīng)通過騰訊覓影平臺上線，并逐步落地到全國多家醫(yī)院。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。