離開
進入Google工程師來台 揭秘Pixel手機相機技術
Google傑出工程師Marc Levoy今天到台灣Google總部分享計算攝影和機器學習在Google Pixel手機的應用，揭開Pixel手機相機的技術。（Google提供）
〔記者簡惠茹／台北報導〕Google傑出工程師Marc Levoy今天到台灣Google總部分享計算攝影和機器學習在Google Pixel手機的應用，揭開Pixel手機相機的技術，包含突破傳統的HDR+、機器學習和雙像素的單鏡頭拍攝模式、高解析變焦功能，以及夜拍模式運作原理，他也指出手機相機發展趨勢將以軟體為主，運用機器學習取代傳統演算法。
Marc Levoy表示，手機相機應用程式執行時需遵守的基本原則，包含執行上必須要很迅速，即時觀景器 （Live Viewfinder） 大於15幀率 （fps）、快門延遲時間小於150毫秒、照片成像時間小於5秒，即為4秒，並且不讓手機因執行過程中受阻而升高表面溫度。
另外，Marc Levoy指出，預設模式絕不能失敗，須具有可靠的曝光、對焦和白平衡，並且避免鬼影或視覺殘影；程式要能重視消費者在攝影時遇到的特殊情況，過去Google的機器學習偵測器可以捕捉9成以上出現在場景中的人臉，但是卻會忽視有戴墨鏡的人，不過現在已經解決這個問題；不過在特殊模式下，還是可以接受偶發的失敗，特別是幽默的拍攝結果。
在手機相機系統的發展趨勢，Marc Levoy認為是以軟體定義為主的相機，在圖像計算上不再單靠具固定功能的硬體，而是運用計算攝影，整合連拍的幀數，導入機器學習，運用機器學習技術取代傳統的演算法，且在訓練機器學習的過程中獲得許多訓練用的數據，有助提升執行的準確度。
Google Pixel手機相機應用中的HDR+技術，Marc Levoy說明，是透過捕捉在相同曝光程度下的連拍影像，並且避免亮處過度曝光，進行校準與合併時，相同曝光程度下的連拍影像，由於影像相似因此更容易校準，同時採用色調映射 （Tonemap）增強陰影，降低亮處，選擇犧牲整體色調和對比度，以保留局部對比度。
而Google Pixel 2 和Pixel 3 手機在僅有單一個後置鏡頭的條件下，透過兩項技術達到景深的效果，Marc Levoy表示，首先利用機器學習技術分割影像中的人物，當使用Pixel手機自拍時，前置鏡頭雖然沒有搭載「雙像素 （Dual-pixels）」科技，但仍可透過機器學習執行肖像模式，並運用卷積神經網路（Convolutional Neural Network, CNN）預估圖像中每一個像素的人物，利用超過100萬張標籤過的人物和配件照片進行機器學習模型訓練，使AI模型可以框出人像。
Marc Levoy說，第二個是運用相機中的硬體技術「雙像素 （Dual pixels）」預估深度圖 （Depth Map），當使用Pixel 手機對一般物件進行拍攝時，因物件非人物，因此無法使用機器學習，但仍可透過擁有「雙像素」的後置鏡頭技術完成。
Google在Pixel 3 手機相機中推出高解析變焦功能，Marc Levoy指出，雖然此功能背後並沒有搭載人工智慧及機器學習技術，但它可將多層影像合成為更高像素的照片，不僅提升照片細節的呈現之外，解析度與許多搭載2x光學變焦鏡頭的智慧型手機不相上下，
Marc Levoy表示，而其中像素移位 （Pixel Shifting）為基本原理，影像是由一個個像素所組成，而每一個影像擁有紅色、綠色和藍色三種顏色資訊，高解析變焦透過連續拍攝多禎照片，以彌補缺失的顏色資訊，以合並成出更高解析度的數位照片，數位照片中的三分之二的顏色資訊都是重建出來的。
Marc Levoy說明Google手機的夜拍模式技術，他指出，在按下快門後，觀景器將會靜止不動幾秒鐘，高速捕捉最多15幀畫面，根據手震程度與畫面中是否有移動物件來衡量所需拍攝時間，也就是所謂的移動測量，當手震越強或是拍攝移動物件時，會縮短曝光時間，導致幀數越少、畫質越不清晰。反之，拍攝靜止物件時，曝光時間就越長，因此幀數增加，照片成果也更清晰。
Marc Levoy表示，接著透過學習式白平衡 （Learning-based White Balancing） 調整影像色調，藉由計算攝影的自動調整，仍可保持景物最真實的色調，Google從古典的畫作中發現三大特徵，作為開發夜視功能的考量要素，分別是強化對比度、將陰影投射成黑色，以及用黑暗環繞場景。
