VTuber的媒介環境學 （Media Ecology）

Article by 白祐誠

Abstract: The subject of this paper is Vtuber, also known as Vitual Youtuber, which is sometimes translated as “Virtual host” and “Virtual liver” in Taiwanese research. They often use motion capture technology and 3D modeling, which are often found in movies and animation, to present the appearance of animation-like characters, and they can also use this character appearance to record videos or conduct live broadcasts. Recently, they are starting to combine various media to present the character appearance, including VR, AR, Live2D, VRchat and so on. In this paper, I argue that Vtuber’s multiple media constitute a special media environment, so I’ll try to analyze it from the perspective of Media Ecology. Media ecology is one of the schools of communication research, and one of the inspirers of this school is Marshall McLuhan. One of the central ideas is  “The Medium is the Message”, which emphasizes that the medium itself has its own specific bias or meaning and affects how people perceive the world, and that the medium is like a “second nature” that surrounds us.

Therefore, I believe that Vtuber itself is also constructed by people and the media environment, so this paper is an attempt to do a preliminary analysis of the media environment of Vtuber, to understand the message or preference it contains, and how the medium is intertwined with people to construct what we think Vtuber is like. In other words, my question will be: What kind of media environment is Vtuber constructed by? And what kind of messages or preferences do they have? In order to answer this question, I first discuss the various media that construct Vtuber in the second section, including 3D, Live2D, home 3D, VR, VRchat, etc. Then, in the third section, I analyze how metaverse shapes the media environment with visual as the main sensory judgment by using the examples of “head touching” and “the bug of modeling” in VRchat, and how this environment shapes the perception and behaviors of Vtuber and audiences.

本文的研究對象為VTuber，也就是Virtual YouTuber，現在台灣的研究有時會將它翻譯為「虛擬主播」、「虛擬直播主」。他們時常會使用在電影、動畫中時常出現的動態捕捉技術（Motion Capture）以及3D建模的方式，呈現出類似於動畫角色的外貌，並且能利用此角色外型來錄製影片或是進行直播。最近，他們也逐漸開始結合各種媒介來呈現角色外型，包括VR、AR、Live2D、VRchat等。而本文認為VTuber的多重媒介構成了一個特殊的媒介環境，因此嘗試使用媒介環境學（Media Ecology）的視角對其進行分析。媒介環境學為當今傳播研究的一個派別，此學派的其中一個思想啟發者——麥克魯漢（Marshall McLuhan）的核心主張即為「媒介即訊息」（The Medium is the Message），其所想強調的即為媒介本身即具有其特定的偏向或意義，也會影響人們如何感知這個世界，媒介就像是人類的「第二自然」環繞在我們的身邊。

而筆者認為Vtuber本身也是由人與媒介環境共同建構而成的，因此本文即試圖要對此媒介做一個初步的分析，了解其中所蘊含的訊息或偏好，及其如何與人互相纏繞，共構出我們認為的VTuber的樣貌。也就是說，我的問題會是VTuber它是由哪種媒介環境所建構而成的？又有什麼樣的訊息或偏好？為了要回答此問題，我在第二小節先是討論了建構出VTuber身邊的各種媒介，包括3D、Live2D、家用3D、VR、VRchat等，接著在第三小節利用VRchat中「摸頭」和「穿模」的例子分析元宇宙是如何形塑出以視覺為主要的感官判斷的媒介環境，而這個環境又如何形塑VTuber和觀眾的感知和行為。

Keywords：VTuber、Media Ecology、Marshall McLuhan、VRchat

Header image “ruf171028a01″ by Yama Qi is licensed under cc-2.0

一、VTuber與媒介環境學

本文的研究對象為VTuber，也就是Virtual YouTuber，現在台灣的研究有時會將它翻譯為「虛擬主播」、「虛擬直播主」 [1] 。此說法首先出現於Kizuna AI（絆愛）這名VTuber的自我介紹影片中 [2] 。她之所以會自稱VTuber，是因為她的外表的呈現結合了在電影、動畫中時常出現的動態捕捉技術（Motion Capture）以及3D建模的方式，呈現出類似於動畫角色的外貌，並且能利用此角色外型來錄製影片或是進行直播（可見註腳二之影片）。爾後利用類似技術來進行活動的VTuber的人數也越來越多，從2016年至今已達到16000名以上 [3] 。更重要的是，他們開始結合各種媒介來呈現角色外型，包括VR、AR、Live2D、VRchat等，活動的場域也不僅限在Youtube，逐漸擴散到Twitch、NicoNico、BiliBili等不同的影片、平台（Platforms）。

需要進一步解釋的是，目前學界通常會將VTuber的角色外表稱為「替身」(Avatar)，在粉絲間則會稱為「V皮」，也就是類似角色皮膚的概念。這個替身是根據「中之人」（中の人）的動作或臉部表情而產生變化。其中所謂的中之人指的是穿戴著動作捕捉裝置，或是被臉部追蹤系統等技術所捕捉的真實世界所存在的人。除了動作以外，角色的聲音基本上也都是由中之人所發出，也就是說在其身體動作以及聲音會透過媒介去進行轉換和傳遞的情況下，VTuber在一定程度上為某個真實世界的「身體」的延續，中之人必需要身處在特定的媒介環境之下才能夠去操縱和呈現VTuber的替身以及聲音。

本文想要採用的理論觀點—媒介環境學（Media Ecology），是當今傳播研究的一個派別。此學派的其中一個思想啟發者——麥克魯漢（Marshall McLuhan）的核心主張即為「媒介即訊息」（The Medium is  the Message），其所想強調的是媒介本身即具有其特定的偏向或意義，會影響人們如何感知這個世界（Marshall McLuhan, 1964/2015）。舉例來說：人類在口語時代只能用聲音來思考，腦袋裡面並不會出現任何一個文字，而此時在部落裡累積許多生活經驗的長者往往能成為「知識壟斷者」，並在部落中擁有特權者的地位。但在進入到文字時代後，人們開始能用書面來認識世界，導致長者無法像在口語文化時一樣控制訊息，書面文化逐漸奪走了長者的特權者角色。（林文剛，2005／2010：33-35）

進一步來說，這個學派即想要強調媒介本身並不是完全中立的存在，它有其自身的限制和特色。比如說小說的符號是文字、電影的符號是畫面，透過這些特定的符號或畫面，我們才能理解不同的信息，但這些信息的性質也因此被媒介結構所界定。既然媒介結構有其的特性或偏好，就有可能導致人們產生不同的感知方式、情感、行為偏好等。（林文剛，2005／2010：31）而如果不同的媒介有不同的偏好的話，那他在社會或文化層面上也可能產生不一樣的效果，此即為媒介的接觸者在觀看媒介、使用媒介後會產生的感受、經驗等等，也就是技術與文化的問題。

因此，本文的命題即預設VTuber本身也是由人與媒介共同建構而成的，筆者則想進一步探討他們是被什麼樣的媒介環境所包圍？以及如何影響他們的感知方式？本文試圖對此問題做出一個初步的整理和分析，了解其中所蘊含的訊息或偏好。如今，VTuber的形式一直不停的在變化，有不同的媒介一直被納入或排除，早已不只最初的3D動態捕捉，因此本文將先處理和呈現目前主流的幾種VTuber媒介形式給讀者，包括：3D、Live2D、家用3D、VR、VRchat等。接著，再以VTuber在VR世界中的互動方式，來呈現一種屬於虛擬環境的感知和行動的過程。

二、VTuber的多重媒介環境

現今VTuber有多種媒介呈現形式，這些不同的形式除了構成了VTuber本身要呈現自身所需要的媒介環境，同時也構成了觀眾所接收的媒介環境，為了要呈現此多樣性，下文將有按照順序簡述3D、Live2D、家用3D、VR、VRchat究竟為何。

(一）3D動態捕捉

3D是VTuber最早採用的一種形式之一，例如前述提到的Kizuna AI基本上皆是使用3D的形式進行活動 [4] 。其主要使用的技術是對身體的動態捕捉以及臉部追蹤，並搭配虛擬的背景。除此之外，現在3D也很常被用來作為表演的舞台，VTuber可以利用此舞台進行跳舞、唱歌，甚至綜藝活動，舞台的背景可以也隨著活動的需要去進行製作。例如絆愛便是以虛擬空白空間作為其主要背景 [5] 。

(二）Live2D

Live2D是由一家叫Cybernoids的日本公司開發出來的，軟體全名為Live2D Cubism [6] 。其製作的原理是將「一系列原畫2D圖像進行平移、旋轉和變形，用關鍵影格的方式製成動畫效果的可動的人物模型」。（吳維蓁，2021：19）簡單來說，即利用電腦的運算能力讓2D的圖片也可以有3D的視覺效果，卻不至於要製作出3D模型。另外，VTuber除了使用上述的Live2D所製作出來的角色之外，通常會搭配可進行臉部追蹤的視訊攝影機（Webcam），使得角色可以做出頭左右晃動、眨眼等表現。[7] 而Live2D也是現今較為主流的VTuber表現形式，原因是在於其製作所需要花費的金額大多少於3D模型的製作，所需的設備也較為便宜。

(三）家用3D

家用3D顧名思義為VTuber在家中即可使用的3D模型，比Live2D更能呈現角色的立體感，也可以呈現出更大變化的身體動作，像表情變化、後仰、手的揮動等 [8] 。但相對於一般的3D會到專業的攝影棚或工作室進行攝影，家用3D的可動性還是會降低非常多，像是下半身基本上是不能動、臉部表情僵硬等等，也不能在空間中進行走動。然而，在2022年底Sony推出了一款新型的動態捕捉裝置「Mocopi」。它是由六顆能透過綁帶固定在身上的動作追蹤器而組成的系統，只要使用少量的感應器就可以精準的捕捉動作 [9] 。這讓許多VTuber既使在家中也「全身都可以行動」，並且不需要租用昂貴的工作室和儀器，此即為媒介環境的改變而可能產生的呈現方式的變化 [10] 。這也意味著，過去沒有太多資源的個人勢可能因為付不出高昂的攝影棚租用費而僅使用Live2D的模型來進行直播，然而有了Mocopi他們即可以以更低的價格進行3D的直播，這說不定會進一步導致未來3D直播形式的增加。

(四）VR與VRchat

VR（Virtual Reality）與VTuber的淵源事實上是十分深厚的。以當前兩大VTuber團體——Hololive和Nijisanji來說，Hololive的母公司Cover即為做VR遊戲起家的科技公司，Nijisanji則曾推出專門進行VR活動的虛擬主播，只可惜目前已經停止營運。而近幾年結合VR眼鏡的推廣，也開始出現有VTuber專門的VR演唱會以及負責主辦VR演唱會的公司 [11] 。VRchat則是比VR更為新穎的一種技術，它可以讓身處異地的VR使用者在一個虛擬的空間中「碰面」並進行互動，甚至形成一個社群 [12] 。現今也開始有一些VTuber會使用VRchat來跟彼此交流，例如Hololive EN的五名VTuber，在其出道一週年時跨越疫情的障礙，透過VRchat在虛擬空間中辦慶祝活動等 [13]。

由上述對VTuber的不同媒介形式的說明，我們可以明白現今VTuber的媒介環境充滿了多樣性，有各式各樣的媒介、技術介入其中，其技術的變化也可能會實際的產生人與技術互動的環境變化（例如家用3D段落談論的新科技Mocopi）。下一個段落筆者則想要談論VTuber本身身處在VR的環境中時其感官知覺可能如何被其環境所影響，又有可能產生什麼樣的行動。

Image: VRChat_1920x1080_2018-10-28_19-58-28.037 by もさかえる もさかえる is licensed under CC BY-NC-ND 2.0 .

三、VTuber的元宇宙

本段落筆者想舉出VTuber在VRchat中「摸頭」和「穿模」的例子，來說明VTuber在「元宇宙」（Metaverse）的環境中的特殊感知方式，而這種互動又是如何被觀眾所接受和認知。首先，在VRchat中VTuber們因為同時帶著VR眼鏡和穿著動態捕捉裝置，得以產生出表面上與現實中相似的肢體互動關係。例如在註腳所標註的影片中 [14] ，畫面左下方的三名VTuber分別為Ina(後方)、Gura（左前）、Kiala（右前）。Ina在直播時做出拍前面兩個人的頭的動作，而且都確實的放到他們的頭頂上。這個動作得以完成代表她要很清楚對虛擬空間中的距離感，也可以看到自己的身體和對方的身體在何處。因此他們雖然沒辦法真實產生觸感，但是從觀者以及VTuber的角度已經可以構成一定視覺上「摸頭」的互動，而觀眾也默默的接受了此在虛擬空間中所完成的社會互動。

Image: _TXT0528 by Official GDC is licensed under CC BY-NC-ND 2.0 .

然而，VRchat中的角色事實上是用3D模組所構成，也代表他們並不具有實際的物質性「肉體」，因此當他們在虛擬中靠的過近或是自己與自己的身體觸碰時其實有可能發生「穿模」的情況。穿模指的是當VTuber身處在VR空間時，其身體的邊界因為不具有實際的物體，而可能在行動時產生不同部位的模型互相穿透的情況，或是模型直接出現Bug的情況。例如在此影片中 [15] ，畫面左邊的VTuber「Mumei」，與其右方的與「Kronii」發生穿模的情況，但她們並不會在發生穿模的當下就感受到物理上的觸覺或是阻擋的力道，而是需要「看到」她們穿模之後再趕緊調整其虛擬角色的位置以回復正常的角色樣貌。也就是說，在VRchat這個媒介環境之下中之人更加依賴「視覺」這個感知方式所帶給其判斷的資訊，觸覺則可能無法成為他們的主要感知方式。這對於VTuber來說也是需要「習慣、內化」的行動模式，換句話說，此媒介環境也同時在形塑著它們。

同理，觀眾在看到「摸頭」的時候可以比較容易地想到與現實中一樣社會模式的情境，但是在面對「穿模」這個特別屬於元宇宙環境才會出現的狀況時他們也需要在視覺和認知上進行適應。許多的觀眾在一開始看到時會覺得不適應、有衝突感，但習慣後這漸漸變成一種笑點或是「梗」流傳在觀眾之間。例如就有粉絲將VTuber的各種穿模情形剪成合輯，這也有可能進一步促成推廣的效果 [16] 。換言之，觀眾也在逐漸適應這新的媒介環境帶給他們感官上的刺激與變化，而筆者認為這即是媒介環境學想要提醒我們需要觀察的事情。

四、小結

總的來說，本文從媒介環境學的理論出發，試著將圍繞著VTuber的媒介環境做一個基本的分析，包括VTuber的多種媒介的呈現方式，如3D動態捕捉、Live2D、VR、VRchat等等，以及其技術的改變如何也連帶影響VTuber呈現自我的媒介環境。在第三小節筆者則是舉出在VRchat的媒介環境下，「摸頭」、「穿模」等情況如何反映出元宇宙的媒介特殊性。其中，VTuber為了要做到在VRchat中想做的動作，需要大量依靠視覺主導的身體移動方式，不再能依靠現實生活中也可以產生感知的觸覺；而觀眾也要改變在觀看VRchat中VTuber活動對「穿模」的認知方式，才能比較順暢地去理解現在進行中的行動。最後，本文雖因篇福關係無法更加完整的呈現出一個論點或是觀點，但希望在本次在對VTuber進行媒介環境學理論的思考當中，能夠讓讀者更加了解VTuber以及它所存在的新興的媒介環境如何可能影響未來人們的感官知覺方式，以及他們開創出了什麼樣的全新的虛擬「世界」。

Image: VRChat_1920x1080_2018-10-28_22-01-40.054 by もさかえる もさかえる is licensed under CC BY-NC-ND 2.0

 

NOTES:

1. 有人也會翻為「虛擬偶像」，但是目前VTuber早已超出「偶像」的範圍，涵納進藝人、歌手、直播主、Live2D製作師等等，甚至很多Vtuber愛好者只希望能有一個虛擬形象便成為Vtuber，因此單用「偶像」來概括討論VTuber已不慎精確。
2. A.I.Channel（2016）。 「【自己紹介】はじめまして！キズナアイですლ(´ڡ`ლ)」：https://youtu.be/NasyGUeNMTs。
3. 4Gamers，「Vtuber總數突破16000人，增速不緩一年增加3000人」，瀏覽日期：2021/10/20。網址：https://www.4gamers.com.tw/news/detail/50500/virtual-youtuber-surpasses-16000。
4. 可見Kizuna AI的出道影片:〈【自己紹介】はじめまして！キズナアイですლ(´ڡ`ლ)〉：https://youtu.be/NasyGUeNMTs。
5. A.I.Channel.〈5周年記念！からの超重大発表・・・！〉，影片1:44:33處：https://www.youtube.com/watch?v=OrBYcP0aR5s&t=6278s。
6. 詳細介紹可見〈快速3D 虛擬角色設計流程之研究 -以虎尾科技大學虛擬主播角色設計為例〉，頁：19-20；Cubism官網：https://www.live2d.com/en/。
7. 〈Suisei wink〉：https://youtu.be/kN2C88LJIaQ。
8. 〈Miko家用3D模組再進化！手能自由活動後變得更加生草w【Hololive中文】【櫻巫女】〉：https://youtu.be/CSPldnq4XqE
9. 〈Sony 新推 Mocopi 動作追蹤系統讓你融入元宇宙〉：https://chinese.engadget.com/sony-mocopi-movement-tracker-metaverse-avatars-010047080.html
10. 〈羽衣媽媽華麗(?)的一踢讓裙子飄起來…動作也太可愛了吧www【時雨羽衣】【vtuber中文字幕】〉：https://www.youtube.com/watch?v=UwRcKC2Pwtc
11. VARK：https://vark.co.jp。
12. VRchat官網。網址：https://hello.vrchat.com。
13. Domo Kun（2021）。〈【1 YEAR ANNIVERSARY】A Whole Year of…!?!?〉：https://www.youtube.com/watch?v=bZghtnL3y3k。。
14. Domo Kun（2021）。 <【1 YEAR ANNIVERSARY】A Whole Year of…!?!?>，影片1:35:45秒處: https://www.youtube.com/watch?v=bZghtnL3y3k
15. Ichiban Clips（2022）。 <Something terrifying is inside Mumei’s head…>，此影片的8秒處: https://www.youtube.com/watch?v=meMqZIBcIU0
16. 辣椒味的一層肉_roronim，〈（PLAVE 플레이브）虛擬男團爆笑脫模合集 PLAVE scene from the legend〉：https://youtu.be/RLLMiJX_Bds?si=yRS-cT9eeEL77w4g

 

六、參考資料

書籍及論文：

何道寬譯（2010）。《媒介環境學：思想沿革與多維視野》，台北：巨流。（原書 林文剛［2005］Perspective on culture, technology, and communication: the media ecology tradition. New. York: Hampton Press.）

吳維蓁（2021）。〈快速3D 虛擬角色設計流程之研究 –以虎尾科技大學虛擬主播角色設計為例〉。虎尾科大：雲林。

鄭明萱譯（2015）。《認識媒體：人的延伸》。台北：貓頭鷹。（原書. McLuhan, M. [1964/1994]. Understanding media: The extensions of man. Corinne Mcluhan.）

網頁：

A.I.Channel（2016）。<【自己紹介】はじめまして！キズナアイですლ(´ڡ`ლ)>。瀏覽日期：2023/10/4。網址：https://youtu.be/NasyGUeNMTs。

A.I.Channel（2021）。〈5周年記念！からの超重大発表・・・！〉。瀏覽日期：2023/10/4。網址：https://www.youtube.com/watch?v=OrBYcP0aR5s&t=6278s。

4Gamers（2021）。〈Vtuber總數突破16000人，增速不緩一年增加3000人〉。瀏覽日期：2023/10/4。網址：https://www.4gamers.com.tw/news/detail/50500/virtual-youtuber-surpasses-16000。

うさぎ年（2020）。〈わらいちが3Dで歌う目抜き通り【ジョー・力一/竜胆尊/切り抜き】〉。瀏覽日期：2023/10/4。網址：https://youtu.be/V9gRS-4A8C8。

Kaimato Baka(2021) 。〈Suisei wink〉。瀏覽日期：2023/10/4。網址：https://youtu.be/kN2C88LJIaQ。

寶鐘兔賊團Hololive布教砲撃隊（2021）。〈Miko家用3D模組再進化！手能自由活動後變得更加生草w【Hololive中文】【櫻巫女】〉。瀏覽日期：2023/10/4。網址：https://youtu.be/CSPldnq4XqE。

Domo Kun（2021）。〈【1 YEAR ANNIVERSARY】A Whole Year of…!?!?〉。瀏覽日期：2023/10/4。：https://www.youtube.com/watch?v=bZghtnL3y3k。

Domo Kun（2021）。〈【1 YEAR ANNIVERSARY】A Whole Year of…!?!?〉。瀏覽日期：2023/10/4。網址：https://www.youtube.com/watch?v=bZghtnL3y3k

Ichiban Clips（2022）。<Something terrifying is inside Mumei’s head…>。瀏覽日期：2023/10/4。網址：https://www.youtube.com/watch?v=meMqZIBcIU0

VRchat官網。瀏覽日期：2023/10/4。網址：https://hello.vrchat.com。

VARK官網。瀏覽日期：2023/10/4。網址：https://vark.co.jp。

Cubism官網。瀏覽日期：2023/10/4。網址：https://www.live2d.com/en/。

[PDF]