CGWorld - PLAVE

K-POP 新星藝人「PLAVE」
藉由VLAST 的技術展現的光芒

在音樂節目中拿下第一
連單獨演唱會的線上直播門票也迅速售罄
勢如破竹的虛擬偶像5人團體「PLAVE」

本誌採訪了為PLAVE打造動作捕捉技術
與Unreal Engine（以下簡稱 UE）製作流程
讓其得以展現魅力的VLAST 團隊
一探其技術細節與活動幕後故事

-很晚才買 可能也有人翻過了 頁數很多 慢慢更

以 Unreal Engine 打造即時虛擬內容

——VLAST 不僅支援 PLAVE 的技術開發
也作為所屬事務所進行製作
能否為我們說明一下公司成立的背景？

李成九：我們始於2021 年作為韓國的電視台「文化放送」（MBC）的內部創業計畫第一期項目
當時，我們希望利用 Unreal Engine 打造即時互動的虛擬內容，於是製作了demo 並報名了
我們於約 80 支參賽隊伍中脫穎而出
一年後 我們正式從 MBC 獨立
開始接手其他公司的 IP 動畫製作
同時也著手開發我們的原創 IP

——從一開始就決定製作虛擬偶像嗎？

李賢宇：
在討論該製作何種 IP 時，我們最終決定嘗試以虛擬的形式打造一支 K-POP 男團。我們認為要最大化我們的技術開發效益，並建立一個可持續發展的商業模式，必須採用更具大眾吸引力的漫畫風格。因此，我們選擇了結合「網路漫畫風格」與「K-POP」的方向。

李成九：
我們本來是一家完全沒有娛樂產業經驗的技術公司，但從概念設計到成員人數的決定，全都是公司內部集思廣益後逐步推進的。當時，我們同時也在接一些外部的委託工作，因此採取了像練習生制度的形式，一個個完成成員的選定與設定。

第一位公開的成員是藝俊。我們的模式較為特殊，角色模型的製作與成員的選拔幾乎是同步進行的。

——公司目前的員工有哪些人呢？
李成九：
我們有超過 65 名員工全心投入 PLAVE 的專案。除了我之外，公司大多是年輕人，像我們的技術長（CTO）李賢宇也是 20 多歲的年輕人。

李賢宇：
我們公司有很多員工都非常熱愛 K-POP 和漫畫。我認為正因為他們能夠從事自己喜歡的工作，所以才能勇於挑戰各種新事物，並取得不錯的成果。

共同滋長
Vlast的技術與PLAVE的實力

——你們定期在 YouTube 上進行直播，平時特別注意哪些地方呢？

李賢宇：
到目前為止，我們已經做了超過 200 次直播，對某些流程已經非常熟悉了。所以在技術層面上，並沒有什麼特別需要注意的地方。

李成九：
比起技術，我們更注重管理成員的身體和精神狀況。即便在繁忙的行程中，成員們總是全力以赴，因此我們也讓工作人員特別留意別讓成員否透支。

——使用動捕技術時，面對要完全消滅錯誤或短暫故障的難題，進行直播時你們是否曾經感到遲疑呢？

李賢宇：
無論進行怎樣的測試，都無法完全模擬與正式上播時一樣的環境。與其追求完美無缺，我們認為重要的是，遇到問題時能隨時應對和改進。我們採取這樣的風格，多虧了成員們的表現。如果成員們對故障感到困惑或慌亂，我們或許會選擇其他方法。但實際上，大家都用自己的方式處理得很出色，甚至還因此成為話題，某方面提升了團體的知名度。

因為擁有能信賴的成員，讓我們勇於挑戰這種直播方式。

——技術更新的頻率如何？

李賢宇：
我們會不定期進行技術更新，針對發現的問題進行改進，同時持續進行研究開發（R&D），開發新的必要功能。從 PLAVE 出道到現在，我們的製作流程（Pipeline)和特效渲染（Shader）都進步了很多。

李成九：
不只是技術有進步，PLAVE 本身的成長也非常驚人。當然技術改進確實更能展現出舞蹈細節，但成員們的舞蹈實力也提升了很多。

——請談談PLAVE 和 VLAST 的未來目標。

李賢宇：
PLAVE 正在挑戰突破現實世界中的活動限制，目標是透過多種方式與粉絲建立聯繫。例如AR演唱會、線下咖啡廳活動，都是我們努力的方向之一。

李成九：
PLAVE 所追求的目標，也是 VLAST 必須實現的任務。因此，對於我們正在準備的新內容，希望大家能夠多多期待！

配圖的小字說明

多角化媒體的活躍

A. PLAVE 韓國出道一周年紀念直播的畫面
每週兩次於 YouTube 進行的定期直播是主要內容

B. 2024年4月舉辦了首次單獨演唱會
並於 10 月再次舉辦安可演唱會

C. 於其他電視台、廣播、音樂節目舞台中演出，取得了好成績
2024年3月「WAY 4 LUV」於各音樂節目中首次奪得一位
於出道第 494 天 在韓國音樂串流平台 Melon 達成 10 億次播放量，創下歷史最短紀錄

當直播時發生錯誤（Glitch）時
斑比採取「物理修復法」來解決的行為
已成為固定模式

D. 注意到左手出錯了
E. 爽快出拳
F. 修復完成

進化的軌跡
追求屬於PLAVE的美麗

支撐 PLAVE 的網漫風格之 Tooning Shader是 VLAST 使用 UE 的材質系統開發的。
初期，我們曾參考現有的Shader 進行設計，但發現品質難以達到理想效果，因此決定從零開始開發專屬的 Shader（著色器）。

Vlast 持續進行Shader的更新與改良，
重點在於「讓 PLAVE 看起來更美」的每個細節。

團隊並沒有設定具體的外觀目標，而是透過反覆測試來找出能讓角色更具視覺吸引力的細節，並將這些測試成果應用在 Shader 的開發上。最重要的評估標準是「是否比之前更好」。

儘管 Shader 和動捕技術都持續提升，但成員的 3D 模型卻未曾進行過修改。

這一方面是出於技術層面的考量，臉部或體型有任何變動，則必須重新調整與更新所有的服裝與配件。另一方面，成員的髮色、臉型和體型作為虛擬偶像的辨識特徵，於維持角色塑造至關重要，因此始終保持不變。

臉部骨架是以「骨骼關節」（Joint-based）為基礎，未使用「混合形狀」（Blend Shape）技術。

臉部表情設置的目標是能夠最大限度地真實呈現成員們實際的表情變化。細緻且豐富的臉部表情，也是重要技術亮點之一。

Toon Shader 的更新歷程

A. 2022年9月15日首次直播

當時使用的是參考現有的 Toon Shader，但無法達到理想的視覺效果。因此在首次直播結束後立即開始開發專屬的 Toon Shader

B. 2023年1月12日直播

將 Toon Shading 的處理方式，從角色材質轉換為後製材質（Post-process Material），這項調整使角色能夠產生自然的投影陰影效果（Cast Shadow）

C. 出道後2023年5月12日直播
調整了輪廓光 （Rim Light），使其能與主光源（Key Light）同步。此外，將原本附加在角色上的燈光改為固定在場景內的角色燈，並配置 1 到 3 個光源，追求更自然的光影效果。

D. 2024年9月12日直播

對角色服裝和髮色的光澤效果（Specular）進行了更新，使頭部的天使光圈（Angel Ring）能隨動作變化，呈現更真實的髮質效果。

E. Toon Shader 僅使用 UE 的基本材質系統進行實作

服裝質感原依賴於金屬材質和擴散反射，但隨著更新，我們加入了 Specular Map（光澤貼圖）和 Normal Map（法線貼圖），實現更精細的材質呈現。

F H為更新前/G I 為更新後

過於寫實的效果可能會與成員的畫風不符顯得不自然，據說曾致力於透過Toon Rendering（漫畫風渲染）來呈現真實的光線反射效果。

反映成員性格的髮絲動態模擬

A~E是無風狀態
F~J則是是有風吹拂時的髮絲動作

初期設置時，所有成員的頭髮動態都是一樣的。但從出道起，我們調整了每位成員的髮絲模擬效果，使其更能反映其特質與外貌。

•藝俊：
髮型強調洗鍊紳士風格，因此模擬時強調穩定與集中，不易散亂的動態。

•諾亞：
為了避免長髮看起來過於厚重，透過細緻調整各髮束的擺動，使每束頭髮呈現不同的擺動方式。

•斑比：
斑比頭頂的髮束在移動或跳舞時，會自然地隨動作彎曲。

•銀虎： 後方的黑髮較有份量感，而銀髮則會輕盈地擺動。 •河玟： 河玟的頭髮一方面和藝俊一樣維持穩定性，同時頭頂新芽🌱般的髮束（呆毛）會輕輕地彈動。 K L 銀虎的髮型分為黑髮與銀髮兩層 M N 在舞蹈過程中，銀髮部分會輕盈地飄動，展現他活潑的個性。

服裝與配件的模擬

A. 諾亞的服裝設計。服裝模型是以 Maya 和 ZBrush 建模，並利用Substance 3D Painter 進行材質上色和紋理處理。在 Maya 進行骨架綁定，於 UE 實施動態模擬。

B. 對於需要進行模擬的配件，會加上添加關節（Joint）。

C. 模擬烘焙工具（Simulation Bake Tool）。透過此工具，我們可以選擇要進行模擬的部件，並可執行即時模擬的錄製、將烘焙結果套用至模擬，以及在即時模擬與烘焙結果之間進行一鍵切換。

D~G. 配件在舞蹈過程中的動態效果。

於UE 中構建的獨家動作捕捉解決方案
（這段幕後超有趣！！！）

使用動捕而不進行後製修正會遇上兩個大問題，即是無法對身體部位間的相互干擾，以及補捉數據與角色的身體比例差異進行修正。

VLAST 在 UE 內部構建了獨家的干擾回避和重新定向解決方案。這套系統使即時利用動補的數據得以實現。

採用這套獨家動捕解決方案之前，光是一位成員的校準（Calibration）費時就約 30 分鐘。如果想要 要進行5人直播，整體校準時間會超過 2 小時。最早完成的校準品質，也會隨時間下滑，因此當時技術上無法同時進行 5 人的直播。

然而，自從這套解決方案上線後，一位成員的校準時間能縮短至 5 分鐘以內。甚至鄰近開播也能立刻做好準備。

每週 2 次、共 4 小時的直播讓我們獲得了許多反饋。「在直播過程中，成員們有時會做出我們從未預想過的動作。因此產生的技術問題，對我們來說是寶貴的反饋。」（李賢宇）

需要改善之處會立即在下一次直播被實踐。如果問題再度發生，我們會在下一場直播之前進一步改進。此種高速迭代的反饋結構，是基於直播的架構而生。

Ref-pose 校準與 Foot IK 補正

A. VLAST 開發了一套校準技術（Calibration），用於計算動補數據與角色的參考姿勢（Ref-pose） 之誤差。藉由此技術，將每日變動的標記器（Marker）位置包含誤差數值綁定至角色的正確姿勢，無論變數如何變化，都能使角色保持正確姿勢。Ref-pose 校準前（左）與校準後（右）

B. VLAST 也開發了 Foot IK 補正功能，用於調整角色骨盆寬度的差異。透過場景深度（SceneDepth）測量角色所穿鞋底厚度，並將測量結果應用於 Foot IK 的偏移值，以使角色的鞋底與地面正確接觸。

C. 當角色更換鞋子時鞋底厚度的變化可能會導致角色的腳部陷入地面，造成穿模問題。

D.只要重新執行校準（Calibration），即可解決這類鞋底厚度變化所帶來的腳部穿透問題。

從舞蹈線條看動作捕捉技術的升級

A. 2023年2月2日這是使用基本的動作捕捉軟體功能的時期時的畫面。

B. 2023年11月9日直播。此時已全面使用 VLAST 的獨家動作捕捉解決方案，使肩膀等部位的線條得到了正確的呈現。

C. 2024年9月5日的直播。為了讓肩膀、手肘、髖關節、膝蓋等主要關節的動作看起來更自然，新增了修正用的關節。透過這次更新，角色可以進行更加自然的關節動作。

預覽動畫之應用

A~C. 是在 MV 《Pump Up The Volume》 的拍攝過程中，所使用的動捕數據。自動作捕捉的企劃階段 開始，動畫師便參與其中，錄製完成度高的動補數據，用於預覽動畫。在預覽動畫的基礎上，視覺特效師（LookDev Artist）開始進行畫面調整，並由動畫師對動補數據的錯誤進行修正。此外，為了更好地傳達成員的情感意圖，還會進行後製修正。

D. 完成的畫面

以 Unreal Engine 為核心的製作流程整合

VLAST 在電影級影像 （Cinematic）製作中，使用了 UE 和多款 DCC（Digital Content Creation）工具。然而，為了充分發揮即時渲染（Real-time Rendering） 的優勢，他們嘗試將各製作流程整合至 UE。

針對各工程是否能在 UE 內解決，團隊進行了研發。只要有可能，他們便將相關流程遷移至 UE，最終完成模擬（Simulation）與特效（Effects）等作業之整合。

以 UE 為核心的製作流程，讓他們不再需要將電影級與直播製作流程分開處理，因此能夠舉辦需要在影像與直播間快速切換的虛擬演唱會。

VLAST 的 UE 指南公開

VLAST 將自家的 UE 指南公開於網路上。由於當時沒有合適的參考資料，因此這本指南由李賢宇從零開始編寫。

「隨著使用 UE 製作影像的公司增加，技術的研發會更進一步發展。使用 UE 的人才也會增多，這對我們和整個產業都有幫助。因此我們將韓文版和英文版指南公開。」（李賢宇）

VLAST 儘可能使用既有的軟體工具。但若現有工具無法解決問題，他們會開發新工具。

例如，在籌備首次演唱會時，他們開發了名為 「虛擬拍板（Virtual Slate）」 的應用程式來應對需求。

VLAST 的 UE 製作流程

出道曲《Wait for You》的 MV 製作
VLAST 使用了多款 DCC 工具：
• Maya 和 Marvelous Designer → 模擬（Simulation）
• Houdini → 特效（Effects）
• Nuke → 合成（Compositing）

然而，在這樣的工作流程中，
每次更新動畫時，都必須重新更新模擬快取。
此外，直到合成階段才能確認最終畫面效果，難以即時查看最終效果。

為了解決這個問題，
VLAST 將模擬、特效、合成等流程逐步遷移至 UE 。通過將各 DCC 工具的功能整合至 UE，實現了直播與電影級影像製作流程的整合。讓 VLAST 能夠製作出兼具電影級影像與即時直播特性的虛擬演唱會。