為什麼 Google 單鏡頭 Pixel 手機拍照功能這麼強?關鍵在軟體與機器學習! | 科技應用 | 荊柯

過去 Google 所推出的 Pixel 系列手機,向來以優秀的拍照功能受到矚目,特別是不久前才在台灣相繼開賣的 Pixel 3 及 Pixel 3a 系列,所內建的夜視(night sight)模式,在極暗的場所依然能拍出明亮鮮豔的照片,其表現令人讚嘆,相關介紹可參考先前的「Pixel 3 拍照功能實測」文章。不過近年來,雙鏡頭、多鏡頭手機成為主要潮流,並且都在強調更高的像素、優秀的鏡頭和超大光圈,那麼仍採用單鏡頭的 Pixel 手機,為什麼還能擁有拍照手機市場的優勢呢?

001.jpg

為了解答大家的疑惑,Google 特別在台灣邀請到計算攝影的發明人、Google 工程師 Marc Levoy,同時也是 Pixel  智慧型手機的 HDR+ 模式、肖像模式和夜視功能開發團隊的重量級領導人,由他親自分享 Google 手機的相機技術。

009.jpg

在目前市場普遍以硬體導向的趨勢下,Marc Levoy 指出,未來 Google 的開發方針將走向以軟體來定義手機相機系統。Google 擁有軟體與機器學習的優勢,可以讓採用軟體定義(Software-defined)的相機,未來在圖片計算不再僅靠硬體執行計算攝影(Computational Photography),重要的是機器學習的導入,可以取代傳統的演算法,因為 Google 可以在訓練機器學習的過程中,投入龐大數據來加強演算的準確度。

002.jpg

在針對 Pixel 3 的四大拍攝功能:HDR+、肖像模式、高解析變焦、夜視模式進行說明之前,Marc Levoy 首先提到,手機相機應用程式執行時,理應遵守幾大基本原則,包含快速的執行速度、預設模式不能失敗、快門延遲時間要少於 150 毫秒、照片成像時間小於 5 秒,算是替優秀的手機拍照系統下了定義。

003.jpg

相信使用 Pixel 手機的使用者應該都會直接預設開啟 HDR+ 模式,無論是過亮或過暗的場所都可以獲得改善。Marc Levoy 解釋,其實在這個部分最難做到的地方是校準能力的克服。「包圍曝光」(Exposure Bracketing)是一般相機的 HDR+ 模式,是以捕捉從短曝光到長曝光的每一張影像進行疊合校準,但這種作法在手持晃動且未使用腳架的情況下,HDR+ 的成像會容易失敗,因此 Google 選擇了其它方案。

010.jpg

而 Google 的 HDR+ 是透過連續拍攝捕捉在相同曝光程度下的影像,以這些相似的影像進行校準與合併,提高校準的準確度,減少陰影處的雜訊,並且利用色調映射(Tonemap)增強陰影,降低亮處,儘管這會犧牲一些整體色調跟對比度,卻可以保留局部對比度,大幅提升 Pixel 手機 HDR+ 模式的拍照品質。

004.jpg

Pixel 手機的肖像模式,其實就是所謂的景深模式。在其他廠牌的手機要做到景深效果,主要是以雙鏡頭捕捉兩個影像,再以立體匹配演算法 (Stereo Matching) 去計算深度圖 (Depth Map),並選擇一個影像保持銳利,再模糊化其它的影像。那麼,只有單鏡頭的 Pixel 手機又是怎麼做到景深效果?重點在於軟體技術「機器學習」與硬體技術「雙像素」。

006.jpg

Marc Levoy 特別介紹了一則景深計算公式,並說明前鏡頭可透過機器學習執行肖像模式,但主鏡頭就比較複雜,因為要搭配「雙像素」技術,也就是「相位對焦」(PDAF),以此將鏡頭中的畫面分成左半與右半部的兩個世界,這時透過差距非常小的基線(Baseline)使影像立體化,加上 Google 擁有上千萬的影像數據庫,也可以讓機器學習輔助執行產生更好的表現。不過 Marc Levoy 坦言,這種透過運算的成像並不完全符合真實的情況,卻能讓新手輕鬆拍出近乎專業的景深照片。

011.jpg

Pixel 搭載的高解析變焦功能雖然沒有應用 AI 與機器學習,而是將連拍的多層影像合成為更高像素的影像,其效能與兩倍光學變焦的機種差不多。這種方式的基本原理就是「像素移位」(Pixel Shifting)。因為每張影像都擁有紅色、綠色和藍色三種顏色資訊,高解析變焦將高速拍下的影像,補足缺少的顏色資訊及合成出高解析度的影像。

因此,當 Pixel 手機同時拍攝了原始、水平、垂直,還有水平與垂直等 4 幀畫面之後,彼此相互補足原先缺少的像素;即使是在穩定的拍攝條件下,不受手震影響時,仍可藉由強制開啟光學影像穩定功能(Optical Image Stabilization),製造手震效果達到預期的拍攝效果。

007.jpg

而 Google 最自豪的夜視(night sight)模式,同樣是高速拍攝的方式執行,以快門捕捉 15 幀的畫面,再按手震程度或拍攝主體的移動狀態計算拍攝時間,動態或手震強,曝光就短,反之曝光就長,照片也會更清楚。Pixel 3 還結合了高解析變焦技術,並藉由學習式的白平衡調整影像色調。

008.jpg

Marc Levoy 透露,夜視模式的概念起源來自於啟蒙時代的畫家技巧,讓夜晚人眼無法辨識,但其實依然存在的色彩,以提升對比度、陰影投射成黑色、以黑暗環繞場景的方式,採色調映射(Tone Mapping)讓影像保有原有色彩,這也是難度相當高的挑戰。

012.jpg

在最後,Marc Levoy 特別解釋了一些疑惑,例如為什麼 Pixel 3 的相機沒有「專業模式」,原因是 Google 將手機著重在一般消費者,這屬於產品定位的規劃;而夜視模式是否開放給它牌手機,他則回覆有可能但目前無法確定;至於這麼強大的拍照技術是否有會應用到拍攝影片,Marc Levoy 說明這部分的投入有必要再加強硬體規格。但是談到以軟體來定義手機相機系統未來可能遭遇的瓶頸,重點將落在計算能力與記憶的提升,屆時就需要效能更強大的處理器去突破。



 
iPhone 粉絲同好社團 - 審查制
Facebook Group · Member Only
 Join Group 
 

我要留言