突破手機運存和功耗限制，Google攜手MIT打造實(shí)時(shí)AI“修圖師”

MIT和Google共同開(kāi)發(fā)一套實(shí)時(shí)圖像處理系統，融入了機器學(xué)習，且可在手機上運行該系統。

近日，MIT計算機科學(xué)與人工智能實(shí)驗室和Google研究團隊提出了一套系統，在不影響手機耗電量等性能的情況下，可以實(shí)時(shí)對照片細節進(jìn)行修復，讓拍照者立即得到HDR圖像。

高動(dòng)態(tài)范圍（HDR），就是利用每個(gè)曝光時(shí)間相對應最佳細節的LDR圖像來(lái)合成最終HDR圖像，它能夠更好地反映出真實(shí)環(huán)境中的視覺(jué)效果。

換言之，就是在拍照時(shí)，如果考慮高光區域的曝光，暗部細節就會(huì )丟失；而照顧暗部細節，高光區域就會(huì )過(guò)曝。為了解決這一問(wèn)題，可以利用相機連拍至少三種曝光度以上的照片，最后再用軟件合成一張保留所有細節的照片，此技術(shù)稱(chēng)為HDR技術(shù)。

據悉，早在16年的Google Pixel手機上，Google就開(kāi)發(fā)了相關(guān)算法和軟件，并顯著(zhù)改善了手機拍攝出的照片質(zhì)量。其中，復雜高動(dòng)態(tài)范圍（HDR）算法是其技術(shù)核心，它可以捕獲數字圖像中顏色丟失的微小變化，但是受限于智能手機硬件的處理能力，而未能發(fā)揮很好的作用。

而早在2015年，MIT的研究生Michael Gharbi就開(kāi)發(fā)了一個(gè)“轉換器”，它可以很好地解決Google面對的問(wèn)題，大大降低圖像處理所需的帶寬和功耗。

該“轉換器”的具體實(shí)現就是，讓手機向網(wǎng)絡(luò )服務(wù)器發(fā)送圖像的低分辨率版本，隨后服務(wù)器發(fā)送回一個(gè)針對性的轉換算法，將手機上低分辨率版本的圖像修改為高分辨率的圖像。“轉換器”使得智能手機能在短時(shí)間內進(jìn)行復雜的圖像處理，且不耗費大量的電量。

據了解，最新的這套系統是Google在MIT的這款“轉換器”之上，結合自己已有的系統開(kāi)發(fā)出來(lái)的。

對此，Gharbi說(shuō)：“Google聽(tīng)說(shuō)了我做的工作，于是他們自己做了后續的工作，合并了兩種方法。而現在我們要做的就是要讓算法自己學(xué)習和選擇，即融入AI，而無(wú)需人為向云端服務(wù)器發(fā)送圖像。目前來(lái)看，第一個(gè)目標就是加速和優(yōu)化程序，使其能在手機上運行。”

為了實(shí)現快速處理，團隊開(kāi)始從圖像的低分辨率版本來(lái)進(jìn)行處理，但因為高分辨率圖像中的各個(gè)像素的顏色值變化微小，而機器學(xué)習系統必須從自身的“粗糙輸出”辨識出圖像各像素點(diǎn)的細微顏色變化特征，以判斷出圖像處理算法的類(lèi)型，因此最大的難點(diǎn)依然是高分辨率采樣的簡(jiǎn)單實(shí)現。

為此，該團隊對機器學(xué)習系統進(jìn)行大量的訓練，在其輸出設置上，團隊沒(méi)有讓系統輸出完整的圖像，而是輸出表示圖像中像素點(diǎn)顏色修改程度的公式。在訓練中，根據輸出公式應用到原始圖像后的效果與潤飾后版本的近似程度，系統對機器學(xué)習性能進(jìn)行判斷，以此對其自身進(jìn)行優(yōu)化。

目前研究團隊已對機器學(xué)習系統進(jìn)行了5000張圖像數據集的訓練，其中每張圖像都具有五個(gè)不同的潤飾變體。

現在，在處理高分辨率圖像上，融入AI的HDR算法比原始算法快了100倍，這也就意味著(zhù)在很少的運存和電池電量的情況下，手機可以實(shí)時(shí)顯示HDR算法修過(guò)的圖像。

Google Research的Jon Barron表示，使用機器學(xué)習進(jìn)行計算機攝影的改進(jìn)是一項令人興奮的想法，但一直受限于手機的處理器能力和電源容量?，F在我們找到了避開(kāi)這些問(wèn)題的方法，并將會(huì )使用戶(hù)有很棒的實(shí)時(shí)攝影體驗。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！