疫情下的表情語言:從手語翻譯員表情到恐怖谷理論

文 / 李宜澤

對許多居家工作者來說,最能夠代表疫情期間生活內容的活動,不是每天看疫情報導,也不是記得出門帶口罩和噴酒精,而是線上會議。不管是學生線上上課,或者是公司校園的線上討論,甚至連昨天剛落幕的「原住民雲端科展」,都可以轉變成線上評審,以及最後的線上頒獎。這麼多線上的見面活動,除了準備特殊的光線,收音器材,甚至攝影濾鏡等等來表現自己,最難以呈現的部分,大概就是臉部的表情了。不似一般說話時能有許多肢體動作和相關環境的差別,線上的活動剩下臉部表情,頭部動作,和透過語氣展現的特色。

因為這樣,疫情當中被迫轉為線上的許多課程,變得頗為困難。不用說原來預計要現地參訪,邀請來做實際演講的活動被迫取消或者轉型,連平時上課的模式都只能以線上會議軟體進行。不過在進行線上課程時,最讓我不能習慣的狀況,就是同學們都不開鏡頭。面對google meet裡的一堆分格代號,我只覺得自己是個掉入愛麗絲夢遊仙境反射鏡室的怪貓。看不到任何同學的表情之下,完全沒辦法提起「說服」的精神。下一次上課馬上學乖,要求同學一定要把鏡頭打開。當眼前出現一片不同表情和眼神的臉,課堂的氣氛變得完全不同,我也可以感覺到想要講課的動力回來了。

這種感覺很奇妙,其實不只是上線對話的情境需要表情,另一個在疫情中的表情更是常見:如果你注意過最早的三級警戒防疫記者會,就會發現當官員都依照規定帶好口罩說話的時候,畫面旁的手語翻譯員並沒有戴口罩!一開始發現覺得這個「防疫破口」真是太誇張了!後來才知道,原來所謂「手語」雖然是以手勢作為語言內容,但是表情甚至上半身的動作,都和表達意思有關係。因為這樣的質疑,台灣聾人聯盟甚至也在疫情中發布說明:

「手語為視覺語言,表情猶如口語的語氣詞或聲調的高低起伏,若臉部被遮蔽,聾人無法讀取完整訊息。而疫情指揮中心記者會的訊息是連續前進,完全無停下的時間,除了手語之外,聾人還需大量仰賴非手勢訊息理解資訊。」

表情就是口語的語氣!也難怪我在google meet的課堂上面對沒有開鏡頭的學生完全提不起勁;因為我面對的是一群如同說話沒有抑揚頓挫,甚至不知道對方是否存在的「無臉人」。也許因為這樣,對於人造機器人的「表情」總是讓我們有特殊的反應甚至恐懼。製作機器人的森政弘提出了機器人擬真程度的感受,提出了「恐怖谷理論」(uncanny valley)。在這個具有爭議的理論裡面,森政弘列舉統計以及相關的型態為證明,認為當「擬似人物」不那麼「像」人的時候,觀者比較不會害怕;但是當機器人(或者是人造物)做得太像人,或者是否個人的部分卻缺乏人類性質時,就會讓人有恐懼的感覺。

激似人類的機器人,為何笑得你心底發寒?火紅半世紀的「恐怖谷理論」 - PanSci 泛科學

透過前面所提到「表情是說話的語氣」和「恐怖谷」的觀點,我們也許可以「推測」在疫情爆發時,國外的許多民眾並不喜歡戴口罩,是否會與這樣的背景有關?意即:戴上口罩的人,一來可能讓人覺得他「不誠懇」(無法透過表情判斷其可能的說話「語氣」),二來可能帶來讓人不悅的「恐怖谷」想像(眼前這個「人」的被遮掉的半個臉,提高了讓人覺得他「非人化」狀態)。

著名的心理學家Paul Ekman透過人臉表情,嘗試找到「跨文化」的「表情語言」:他透過拍攝文化中個體呈現特定情緒時的表情,並且由該文化以及其他文化的人重新判定表情的意義,來討論是否每個不同的文化,都對於「喜怒哀樂」等「情緒語言」有類似的表達法?這個研究的困難之處在於,除了要在各文化中找到能夠反映「標準情緒」的表情臉型之外,還必須要能夠在跨文化語言中,找到情緒差異中類似的「語言表達」方式。這除了要考驗表情的表達能力,還要判斷不同表情的差異性。例如下面的表情在Ekman的表情語言裡面,左邊就被判定為「禮貌性地微笑」,而右邊則被認定是「發自內心的笑」。如果你不是福爾摩斯等級的偵探,可能不易找出這樣的差異。但是Ekman的研究不斷地被發揚光大,除了從正常人做到精神病患對表情的判斷能力,後來還透過MRI腦核磁共振造像的機器,轉變為對腦部功能研究的重要判斷題材。

整體來說,在疫情中因為口罩的生活化,我們看不到那麼多表情的變動;一方面讓我們進入對於「恐懼谷」的日常測試狀態裡(你真的可以試試,面對一個陌生人,如果想要判斷他到底真不真誠,是否能夠在口罩的「輔助」下完成?),另一方面又讓我們重新思考,到底表情地出現,對於日常生活的互動甚至語言理解有多重要?我猜測,說不定Paul Ekman系列的研究,會在不久後馬上出現「口罩版本」;反過來說,機器人戴上口罩,也許反而還會帶來某些親切感,也說不定?你說是嗎?熊貓外送和吳伯毅先生們?

馬上瘋檳榔

涵多路專欄