選題、拍攝、後製 沉浸式報導的製作挑戰

LINE分享給朋友

【聯合報新媒體研究報告】

2016年被稱做VR 元年,眾多大廠紛紛投入虛擬實境的軟硬體開發,這個新技術也在內容與新聞產業引發廣泛討論,紐約時報、英國衛報、CNN等媒體紛紛投入資源,摸索這項新技術在新聞領域的應用,紐時有Daily 360 Project、衛報讓人驚艷的監獄VR、CNN也有開闢專區有系統的嘗試。


到底VR與360影像的魅力何在?好的文字敘述讓讀者彷彿進入新聞現場,而好VR作品則是把你帶回現場。這也是眾家媒體爭相投入資源的原因。目前,在新聞上最常見的應用是360影像,聯合報在360影像的製作經驗不少,包括太平島揭密、五月天大安森林公園演唱會、划龍舟體驗、神明上凱道等題材。


不過,我們同時也在思考:這個技術還有沒有更多的互動性?怎麼做才能讓人真的身歷其境?這樣的形式是否能完全取代文字,成為主要的故事表現方法?

從監獄到太空再到機廠 選題的奇幻旅程

「什麼題目需要用360 VR來說?」「為什麼讀者在這個場景中四面八方都要看?」「如何用360VR說一個完整的故事?」萬事起頭難,題材的選擇是一開始最難突破的地方,這次在選題就是一次關卡,途中還歷經多次換題(倒地)。


過去報系拍攝的360影像,多是針對特定活動,或呈現單一場景,通常不是「主」新聞,而是讓新聞更吸睛的視覺形式,不是負責敘說一個完整故事。這次的挑戰在於,我們要用一支360VR影音,說完整個故事。


紐約時報360VR團隊的負責人Graham Roberts今年六月曾來台開課,當時有學員將他的製作經驗分享成文章,為360影像適合的主題類型定義出幾個原則:帶觀眾去沒去過的地方、關注重要的議題,以及特別的影像。


何謂重要的議題或許見仁見智,但沒去過或難以到達的地方,定義相形容易一些,也是我們心中對360影像的期待—希望能夠帶觀眾去一個不是那麼容易去、場景也夠特殊的地方。


發想題目的過程中,我們曾經想過監獄,也曾考慮過太空(這些都是很難去的地方吧?)但後來都因為一些因素,發現難以執行或不那麼適合。最後鏡頭轉到了市民大道上、長年負責照顧火車健康的台北機廠。


會想到台北機廠,源自於製作團隊之一的妤庭長期關注,加上今年7月,台北機廠首度打開大門,開放民眾登記參觀,但一周只開放兩天、一天兩梯次的稀少名額,讓前三個月的申請開放不到三天就搶光,還有許多人無緣見到這個高齡82歲的「火車醫院」。


此外,台北機廠廠區範圍相當大,有工場、員工澡堂、餐廳、移車台等多元豐富的場景,裡面發生的故事不勝枚舉,是個很適合在空間裡說故事的地方。綜合考量後,就決定以台北機廠為題拍攝聯合報首支故事型360VR影音的題材。


沒有現場如何豐富畫面?

在拍攝之前,我們就已經預想到,台北機廠現在已遷廠,現場只有空蕩的廠房、留下來的機具,沒有「人」在場景中,也沒有正在發生的事件。但團隊想要述說的,不只是台北機廠的「功能」,更多的是老員工們在這個地方經歷的事物、發生的故事,如何將這些現在已難以拍攝到的元素重現,是這次的一大挑戰。


紐約時報去年製作的《The Modern Olympic Games》,運用舊照片、場景還原過去奧運現場,是我們這次參考的做法。透過台鐵退休員工以及報系資料庫,我們找到了一些當時工場內工作的舊照片;無法用舊照片還原、但很需要畫面輔助的故事橋段,則透過插畫師的插畫重現。


360影像的特性在於「探索」,讓讀者不只能看一個角度的現場,而是全景呈現,因此場景與故事的連結、畫面的可看性要放入場景選擇的考量。因為沒有現場動態,與攝影師討論後,考量畫質選擇拍攝360照片、再將各場景串連為影片。至於內容,規畫採訪多位老員工,將他們的受訪內容整理、收攏為腳本後,再對應進場景,以老員工的聲音輔佐旁白,來說機廠的故事。


不過,儘管美術已用盡洪荒之力、將所有可用素材都運用進場景內,故事腳本寫完後,畫面上感覺還是少了點「人味」,第一批讀者(也就是親愛的同事們),建議還是需要有人在畫面裡走動,於是,我們再將已退休的廠長、老員工,帶到機廠內,現場說故事、拍攝360影片。


事後思考,為什麼最初規劃時沒有第一時間選擇讓老員工現場錄影,一是高估了後製能夠補足現場的能力,二是考量錄製聲音,腳本內容、長度可以較精準掌握,但「第一手」的畫面,還是最能打動人心的。


不過,360影像拍攝畢竟與一般平面、影音拍攝不太一樣,接下來,就與大家分享我們前進機廠六次(連同場勘、採訪、拍攝、補拍),各種拍攝現場的大小事。

沒有規則 拍攝與收音從頭摸索

這次製作,團隊造訪台北機廠總計六次,負責人笑說:你們應該是來最多次、跟這裡最熟的媒體了。為什麼要跑這麼多次?算了一算,一次PM場勘熟悉機場建物與環境、兩次採訪退休員工與實景走訪、一次在腳本初擬後的拍攝畫面場勘、兩次正式錄影、拍攝與採訪。


整個流程搞得好像很複雜,其實原因出在需要與「後製」搭配。台北機廠在遷廠後,人離開、工具機台能搬的也差不多都搬走,留下一座空蕩蕩沒有人聲的廠房。要如何在人去樓空的機廠中找到看點,「老照片再現」成為展現退休員工記憶的方法。為了讓過去的景象在現在的場景中合理的擺放,我們推敲老照片的位置,希望這樣的呈現方式能讓讀者融入當下,讓退休員工的回憶更具體。

回歸最直接的觀看感受

拍攝360影像,討論最多的是「沒了導演視角,畫面訊息要怎麼傳遞?」過去熟悉的呈現方式,都因為「無死角」的影像特性被打破。沉浸式的體驗環境,「探索」成為繼續看下去的動力,讓影像中的故事線索越多,讀者的探索意願也會越高。


Graham Roberts曾在工作坊分享他們拍攝時,攝影機擺放位置的兩種思考方式:中心式觀看與邊界式觀看。兩者各有優缺點,拍攝者必須釐清自己的拍攝重點何在。

兩種拍攝方法我們這次專題都有用上,中心式觀看適合故事與環景畫面都很豐富的橋段,像是影片中的鍛冶工場、客車工場等部分,讓讀者可以旋轉畫面,想像當時的工作場景。而邊界式觀看,適合畫面重點聚焦一面的場景,像是技工養成所的部分,讓讀者的視線集中。


除了擺放位置之外,還有一些拍攝小技巧:
1. 重要物件擺中間:目前的360攝影機都需要使用軟體縫合360度的畫面,也因此在縫合處特別容易變形或影像斷裂,建議將畫面重點擺在鏡頭正中央,就能避免這個問題發生。
2. 與人同高:既然是沉浸式,就要想像讀者看出去的角度就是攝影機的高度。太高,像浮在空中,太低,週遭物件又會有壓迫感,除非有特殊的畫面設計,不然多半建議以平均讀者高度為最舒服的觀看視野。
3. 重要物件別離鏡頭太遠:這次雖然錄影畫質達到4K,但這只是360度影像的基本要求,距離鏡頭太遠的物件,在畫面終還是會看不清楚,如果有一個很重要的物件一定要讓讀者看到,那記的別把鏡頭放離它太遠。

環景聲音的收音初體驗

聲音,在新聞敘事中是個很新的領域,過去的文字與影像,重視的都是視覺陳述,聲音多半是配角。不過,試想現實生活中,聲音是個重要的互動方式,聲音的方向性,是我們判斷如何因應外在變化的重要線索。


進到虛擬實境中,讀者身處的環境被置換成虛擬的影像世界,是否聲音也會成為互動的重要方法呢?我們試問:能不能讓聲音的遠近與方向,隨著螢幕畫面轉動而變化?


但怎麼做實在毫無概念,每天聽音樂如果沒有特別留意,不會注意聲音到底從哪個方向來。爬完諸多資料,可以確定的是雙軌以上的收音方式是必備,必須讓聲音分別收音,成為獨立的音軌,才能被放在不同的角度,傳進左邊跟右邊的耳朵。這篇非常詳細的解釋我們在環境中的聲音遠近如何產生。


環繞音效就是模仿我們聽到現場聲音的感覺,借用假人頭的概念,讓聲音有方向感,現場環境音的收音就盡可能模仿讀者聽到聲音的方向,讓原音進來有前後差易。例如車流聲,畫面如果面對馬路,麥克風就也要面對馬路,收進來的聲音在耳機上聽,就會像是車流在你面前從左邊往右邊流動。



後製期的網頁考驗

這次專題呈現,分為360網頁和影片兩部分,其中影片是主要的報導,網頁則是做為前導功能,讓讀者可以透過網頁體驗360環景觀看,並透過每個場景中的按鈕,「穿梭」到下一個場景,先看看機廠內的環境。


技術上,工程師這次主要透過A-frame來打造Web VR體驗,過程中因應現在多數讀者的使用習慣,陸續面對許多需要調整和解決的問題,工程師將這一個多月與網站「搏鬥」的過程都寫成一篇血淚交織(?)的文章,大家可以點進專文,能對這次的Web VR技術有更完整的認識。

網頁:向左轉向右轉 各有擁護者的移動邏輯

除了工程師偉廷在文中提到的幾個問題,「畫面的移動邏輯」,也是一個一開始壓根沒想到的討論點。下方是我們最後的選擇:

若是習慣看YouTube、FB觀看360的讀者,應該會覺得網頁滑動方向「怪怪」,畫面的移動怎麼與沒有跟著手指拖曳的方向跑?這樣的設定,是以「轉動」為邏輯,畫面移動方向跟著視線跑,但拿給對面同事測試時,他立刻感覺到不對勁,因為跟社群平台上的「拖曳」邏輯不一樣。


那到底該以哪種滑動邏輯為主?給了多位使用者測試,反應一半一半,兩種移動邏輯都各有擁護者,工程師也說,這在工程界目前沒有定論。最後我們嘗試與國外Web VR一致,以「轉動」為邏輯設定畫面跑的方向。


老實說,兩位PM使用兩種邏輯時都覺得很自然,一直很遲鈍、難以發現差異,都是被周遭的大家提醒。所謂的「怪」,或許只是因為不習慣,但讀者究竟會不會被製作者的設定「制約」,也很令人好奇,如果你滑動後有任何想法,很歡迎回饋給我們!

網頁UX的重大考驗

由於這次的網頁,需要讀者與場景裡的按鈕互動,才能順利到下一幕,對許多人而言,是較不熟悉的網頁使用方式,如何將UX體驗做到最好,是我們直到上線前最後一刻都還在調整的「大魔王」。


給使用者測試的過程中,有人在首頁就卡住,因為不知道圓圓的那顆是按鈕,要按了它才能進到場景中;也有人進到場景後,不知道怎麼樣才可以繼續閱讀,在場景裡轉了半天不知所措,這些都是製作過程中,需要持續改善的地方。


不知道首頁圓圓的那顆要點按,我們就將按鈕增加閃爍效果,改動按鈕上的字讓點擊指令更明確(原本是「探索360網頁」)。


場景內,原本直接套用國外製作Web VR的邏輯,設定以紅圈對準黑色按鈕三秒後跳下一幕,因為在VR的世界裡視線就是點選。但對非以VR模式觀看的使用者而言不夠直覺,於是改為點擊黑色按鈕即可,並輔以文字說明。


只能說,UX是一門很深的專業,永遠都還有精進空間,最後的結果或許沒有到完美,但過程很可貴,也盼持續與大家多多交流。

有空間感的360影音怎麼製作?

1. 影像拍攝
器材 - 使用KODAK SP360
缺點:KODAK SP360並不是真的360*360全景,而是360*235,所以在縫合之後會有部分畫面邊緣被吃掉。


解決的方法是可以拍2次鏡頭面向不同處的360照片,再去做縫合或是去做畫面合成。但如果是影片的話,若是第2張照片無法補償,就只能在拍攝時先留意主要敘事的物體不要待在相機邊緣(與鏡頭垂直90度處)。


2. 畫面合成 - 使用After Effects外掛
透過After Effects可以將360畫面形成六面體展開圖,我們可以藉此將平面的照片、文字合成上去。但要注意的是六面體的邊緣若是有合成圖片,必須要分開兩面去做,直接合成會造成物件扭曲。若是在拍攝的期間可以將一些會出現的物件控制在鏡頭的正前/後方,製作起來會比較容易。



3.聲音合成:Ambisonics製作
聲音需要是Ambisonics的格式,在VR環境中才會有環繞音的效果(隨著視角的轉動,聲音會有不同的變化),可參考http://www.dv-asia.com/blog/?p=3229


目前360聲音合成可使用Premiere CC,最新版本已經支援360功能,設定可以參考這部影片:
https://www.youtube.com/watch?v=MqBDQLV7xZI


4. 有關於輸出大小:
要在youtube以4K畫質上傳,影片大小至少要3840*1920以上,這個影片大小對於一般的平面影片來說差不多是4倍,也就是說製作長篇的360影片如果沒有一台比較好的電腦,可能最多的時間都會花在算圖上,更別說是同時具備360聲音的話,還是需要用Premiere CC將環景聲錄進去。

影片規格特殊 放哪裡最有利?

影片製作完了,放在哪裡又是一番掙扎。


由於360影像的特殊格式,要在網頁上看360影片只有依附FB、Youtube等現有平台,或是自己刻一個播放器,而後者等於是在做一檔全新的產品,製作、檢測、優化都需要人力投入,過於耗功,需要的時間也絕非1-2個月就要完成的製作所能負擔。因此我們只能在FB、Youtube兩大平台提供的服務中做取捨。


老實說,FB與Youtube都各有優缺點,簡單整理如下:


facebook Youtube
影像呈現 串流,依網速 串流,依網速
環繞音效 支援空間音場,詳見
Spatial Workstation – Facebook 360 Video
支援空間音場,詳見
Use spatial audio in 360-degree and VR videos
CardBoard模式
潛在觀眾群 有粉團觸及群眾,人數較多。 有頻道觸及群眾,人數較少。
觀看熱點追蹤


整體來說,除了支援CardBoard模式與熱點追蹤數據是Youtube比較完整外,兩個平台的功能差不多,但在環照音效上,Youtube的表現比較突出,最後決定以Youtube為主。Facebook做為揭觸觀眾的一個管道。

載具、平台互不相連 觀看體驗被中斷

不過,我們在這裡碰上另外一個難題,放在平台上的360影音,可以內嵌在網頁中,並且各種載具通用嗎?答案是還無法。


透過Line、FB從網頁進來看影片的讀者,在手機上就會碰到瀏覽器不支援的情況,這也是為什麼在Youtube影片標題要在三提醒觀眾,點選說明中的連結,就可以跳轉至Youtube App觀看的原因。


但整體來說,360影片能被觀看的環境,依舊非常侷限。


VR潛力還有待更多嘗試與開發

從這次的製作過程中發現,360影像與VR的運用,在影像敘事方法、載具呈現、觀看體驗等方面都還有許多未知與挑戰需要克服,這不僅是製作方需要投入更多資源探索呈現與應用方式,軟體層面的使用體驗開發,還有觀眾使用習慣都還需要花時間培養。


雖然這次製作過程碰到諸多困難,但這樣技術可以想見在未來門檻會持續下降,要搭上這波風口,還有賴更多的嘗試與製作,挖掘沉浸式體驗更多未知的潛力。


新媒體中心/數位內容製作 魏妤庭

一手捧書一手握鍋鏟,是個資訊怪,總好奇新技術在資訊傳遞上的應用,想辦法讓報導更貼近讀者的需要。

新媒體中心/數位內容製作 洪欣慈

喜歡聽故事、嘗試新事物,在新媒體的世界努力探索中,希望在數位的加持下,持續說出更多好故事。

LINE分享給朋友


文/新媒體中心 魏妤庭、洪欣慈、鄭偉廷,視覺設計中心 呂紹齊
2017.12.25
聯合報聯沙龍研究報告