撰文 / 龍祈澔 (國立臺北科技大學互動設計副教授)
國立臺灣美術館近年來致力於將藝術體驗整合於數位科技，以開發更多元且深層的藝術感官經驗。不只成為讓科技媒體為原創基礎的良好展示舞台與培養基地，也站在互動科技體驗的角度，重新思考傳統創造形式與經典作品中的創作思維。黃土水的水牛群像為一幅描繪臺灣傳統農村風情的牆面規格淺浮雕作品，此作品與混合實境（MR）技術體驗的結合，在製作與體驗的過程上，反映出藝術性感知壓縮與解壓交互關係的深刻體驗。
黃土水運用扎實的創作技法，將實質素材和感動因子於創造流程中揉合，產生了能裝載內外層次且展現材質特性與精神時空的聚合物。作品中可清晰感到，各種空間距離的刻劃，即使於極狹窄的空間厚度中仍擴張出深遠的感官深度。前景中，牛隻與牧童的親密互動以明確的輪廓且具細節紋理的手法呈現，較深遠的牧童、牛隻與芭蕉漸漸地弱化影沒於背景，同時製造出深遠而富水氣的田野氛圍。
混合實境技術的運用重現水牛群像於新式的沉浸體驗，在製作過程中，重構了傳統藝術創造，感動經驗被壓縮的部份，上述的創作細節，提供製作團隊擷取自原創過程當時各種面向的感動因子。其中包含空間性、量體感、質地經驗、動態走勢，與各種因子所組織而成整體氛圍，皆被轉化為在填充虛擬內容時，所依附之藝術性基礎架構中的感動關鍵。由於數位擬態所再度詮釋的時空，是由作品原本創作形式的凝結樣態所展開，屬於原性質的解壓空間，因此，新體驗的版本決定保留牛隻與牧童於原作品原本的素材質感，以傳達由作品擴張出的精神時空。同時，藉此推測過去技法對重現感官經驗的邏輯，反向解壓並補間（interpolation）更多感動因子於萃取出的關鍵之間，使之交織為統一和諧且與感知經驗不衝突的體系。
虛擬內容的載具是選用本身具有空間深度感應與手勢辨識優勢的 Microsoft HoloLens 2，做為將作品中的虛幻時空，連結於當下現實的整合媒介。若要直覺體現虛實融合的互動，如何達成空間經驗與身體媒介的連續性，是首要須克服的問題，上述兩個關鍵技術開啟了能沿用現實中的身體與環境經驗於虛實融合的大門。以下將先以基礎架構的技術原理，說明如何使虛擬空間連結協調至身體經驗，再由此基礎展開分析此混合實境所揉合的三個創作面向，分別為：辨識、描述與融合，以及衍生。
1. 空間經驗與身體媒介的連續性
位於眼罩上方的兩組信號發射與接收器具有空間深度的感應功能，能辨識體驗者所處環境的形狀、結構與對應的方位與角度關係，以及佩戴者手勢的細節變化，配合其影像光成像（Light Engine）並於眼部前方之半透鏡（Combiner）與外部環境光結合。此時於在半透鏡中看到的虛擬元件能在體驗者移動於實際空間時，精準即時地與現實環境疊合，以達成水牛漫步再現於美術館大廳的情景。
2. 辨識—擷取空間定義與身體動作關聯
HoloLens 2的空間深度感應技術配合內部加速計、陀螺儀，與磁力計，以擷取外界空間結構與定義自身的相對位置角度關係。確立後的相對關係再加上手勢辨識功能，便達成能沿用現實空間經驗，透過雙手直覺操作與虛擬物件進行互動或創造，並擁有使用介面瀏覽與導航的體驗。
3. 描述與融合—塑造空間架構與虛擬內容的補間
此部分的創作面向，為再現過程中實質內容的填充與創造。由於傳統藝術創造手法上，本質為各種感動經驗的壓縮，而再造的虛擬內容製作上，則是以原作之創作精神及其藝術性為串聯架構的感動關鍵，再予以填充更能達到沉浸效果的多層次內容，實為串連感動關鍵的解壓。
虛擬文本敘事安排—創作過程與經驗代理人的體驗重現
由於混合實境技術提供了沉浸式體驗中大量的即時互回饋訊息，創作團隊運用了媒介的優勢，除了在體驗過程中設計安排了原作的製作流程，也站在原創者轉化自身感動的當下，模擬經驗代理人的身份，轉述自身接收的感官刺激與堆砌的印象，讓體驗者能「設身處地」的再次重返感動的過程。
藝術性內容－感動關鍵的讀取與解壓
原作中可清晰感受各個創作元素的精心布局，水牛、芭蕉、斗笠、牧童，這不僅是一幅歌頌南國鄉土田園的作品，臺灣人有如水牛一般吃苦耐勞執著的精神也在此表露無遺，作者成功地藉由水牛與臺灣的風土結合，表現出濃厚的鄉土氣息。(薛燕玲，《臺灣美術丹露-日治時期臺灣美術的地域色彩》臺中：國立臺灣美術館，2004，頁 200。)各元素也能串連出整個時空的氛圍，溫度濕氣、微風吹拂甚至雨聲，都能透過豐厚的視覺空間體驗再造被連帶感受到。體驗的關鍵突破在於將身體與作品的空間性緊密接合，此時感官刺激與連帶肢體反應就會產生連鎖效應，透過場景安排與觸發事件設計，更深層的體驗與藝術性將被挖掘並萃取。互動體驗一開始隨著口白對創作背景的描述，同時不但能具體感受置身於芭蕉園的田野氣氛，更能漫步於其中，低身讓芭蕉葉掠過頭頂，仔細觀察油亮搖曳的闊葉與莖幹的層次，體會作者所詮釋溫暖水氣流動的沉浸感。
原作對於空間深度，透過各元素造型輕重起伏的描述，約略分為五個層級變化，除最近景的牧童騎牛，及稍微後方的牧童拖著小牛下巴，而至最後方的牛群與牧童，總共四層的空間線索。再至錯落於田野的芭蕉叢，些許輪廓較強烈芭蕉葉的空間層級與後方的牧童與牛重疊，其餘的則影沒於遠方，創造出霧氣與展開更深遠的效果。上述每個元素所代表的空間位置都成為拓展出虛擬地景的座標，再由各個座標交織出整個連續的環境區域，漫步的牛隻與牧童便活動於此擴增空間並與展場大廳重合。
作者以物像的重疊、疏密關係營造空間遠近感；以薄肉雕技法使凹/凸、硬/圓、薄/厚的表面肌理表現人物與牛隻的視覺量體感，仿彿呼吸、血液流動於骨骼肌肉之中。(黃才郎館長（2013.6.17）)。上述種種因子經由再造的填充串連，重現了牧童活潑的體態與步伐，牛隻龐大的身軀、背上牧童與其腳步與於物理性的刻劃，表現出其在土地上的量感與悠然。牧童與牛的親密互動，更可在連續的三維空間中，讓觀者隨著本身姿勢位置的狀態，以各種不同人稱的視野閱讀到多元層次的畫面與獨特的個人體驗。
4. 衍生—實際空間與擴增內容的對應關係
擴增出的虛擬內容是基於實地展示作品、空間，與對應於身體感官的互動型態，並將展覽廳中作品前方空間化為沉浸體驗的舞台，無論是從浮雕中延展出的芭蕉林，或是創作過程的操作體驗，跟實際空間狀態都有著根莖與花果的關聯。各種從原作幻化出的虛擬內容就像迭代快速的花果，讓人能在欣賞感受其變化的同時，依然感到一種並存的原初來由或牽連。在模擬創作過程的體驗中，參與者能精簡却清晰的了解原作在製作時的重要流程，從泥塑到翻石膏陰模，可隨著個人操作的節奏，體驗縮小版的浮雕，沉浸於親身徒手移動各個素材的創作時空中。每個創作程序以概念式的關鍵狀態快轉，配合模擬創作中的直覺抓取，細緻的變化在各種技法的快速流程中成形。最後小型的模擬成品，瞬間回歸且放大至後方與巨幅原作合而為一，也提醒著體驗者，物質性在傳統藝術創作手法中扮演著巨大限制跟挑戰，藝術家付出青春的精華，透過創作以克服種種物理抗力，而實現保留與傳遞生命經驗的感動。
擴充的虛擬效果可在體驗中衍生出跳脫物理限制的無窮變化，卻也需重回停駐於物質或實體性的原初狀態，亦或是在漫遊過程中不時傳達出與原型牽連的表現形式。混合實境的創作結合更加具體化藝術創作中的精神空間，作品中意象與原創精神的再次循環，非但沒有讓原作的靈光凍結，卻開拓了另一層維度的創作慾望與其延伸出的藝術體驗。
小結
新式沉浸的體驗形式，利用關鍵技術中空間辨識與運算優勢，如同大航海時代憑著航海術，透過揭示與理解進而循環出更多的探索，以航向另個藝術型態或創作生態的新大陸。經由更全面的感官媒介，對藝術性感知傳達型態進行解構、重組，與翻轉。當物質性的沉重枷鎖不再能束縛我們去感受更多，精神空間的昇華將是下一階段創作者用生命中的感動換取與追求的方向，需用嶄新的角度去思考，什麼是物質厚重固定外殼下的核心，流動且自由跳接的意象與意識流將被框架中解放，也將有更多元的藝術性從封印中甦醒。