未來群像
【台灣出品的新AI歌聲合成技術?】
今年的3月14日,台灣歌手「陳珊妮」於各大串流平台公開了一首新歌「教我如何做你的愛人」,乍看之下只是很普通的流行歌曲上架,聽眾也幾乎沒發現什麼異樣。
教我如何做你的愛人 - 陳珊妮AI模型 Teach Me The Ways To Be Your Lov...
然而昨天、也就是23日,陳珊妮在youtube上架了MV版本,並且突然拋出了一個歌曲製作上的重要概念,那就是「這首歌的歌聲全部都是採用AI合成而非本人演唱」,並且一時之間,許多新聞平台也跟著曝光了這首歌曲的幕後合作對象:「台灣人工智慧實驗室」(Taiwan AI Labs)

(留言繼續)
未來群像
看到「AI歌聲合成」這個關鍵字,可能會讓人想到近期流行的CeVIO或SynthV乃至於VOCALOID 6等引擎,但這個case狀況比較不太一樣,從陳珊妮在粉絲專頁上張貼的製作筆記來看,他在這首歌曲中使用的合成歌聲,全部都沒有經過我們熟知的「調教」與Auto-tune等自動修飾技術,除了旋律是由自己撰寫、而歌詞是對外邀請合作之外,歌聲使用大量的高音質本人錄音母帶輸入AI進行訓練,再用輸入文字與MIDI檔的text2sound模式自動輸出歌聲,又為了掌握歌聲品質以及特別的堅持考量,所以做了很大量的試誤,將歌詞分段反覆輸出,並選擇與作者印象最相近的版本再合成。
未來群像
陳珊妮粉絲專頁的製作筆記:
SandeeChan.陳珊妮 公主粉絲團 on Facebook
未來群像
這首歌曲所使用的AI技術,來自PTT創站站長「杜奕瑾」所設立的「台灣人工智慧實驗室」(Taiwan AI Labs)旗下的「雅婷音樂團隊」,以neural vocoder為技術基礎來延伸,並且隨著陳珊妮這首新歌MV的公開,同時公開了其所使用的歌聲合成工具,有網頁版與Discord機器人版,但可能是因為剛公開有太多使用者使用,目前兩個版本都暫時無法順利運作,有興趣的朋友可以進入他們的Discord伺服器看之前的試用成果展示,而除了提供MIDI與歌詞合成的歌聲產生服務之外,也有直接輸入歌詞讓系統自動生成旋律並演唱的功能,不過要留意的是,這套工具目前是採AGPL-3.0的授權在網路上開源釋出,其成品也不能商用,僅僅是功能體驗而已。
未來群像
台灣人工智慧實驗室情報文:
Taiwan AI Labs on Facebook

歌聲合成工具的Github:
GitHub - YatingMusic/ddsp-singing-vocoders: Official...

網頁版:
Studio|AI歌聲生成

Discord社群:
Join the Yating Discord Server!
未來群像
事實上,這不是陳珊妮第一次接觸虛擬人聲,在2022年4月份公佈的歌曲「他說 S/he Said」中,他就使用了初音未來在歌曲中不斷複誦「南無阿彌陀佛」。
「他說 S/he Said」-MV:
陳珊妮 Sandee Chan - 他說 S/he Said(Official Music Video)

還有只repeat咪苦阿彌陀佛的一小時版:
美輪明妮 w/ 初音未來 -〈他說〉「南無阿彌陀佛」祝福1小時版
未來群像
就小編目前看來,這次的合作雖然用上了AI歌聲合成,但在製作概念上僅針對形式上的對比與致敬,也就是製作筆記中提到的「以『學會愛人』來隱喻『AI 學習歌唱』的過程」,同時也作為「要如何將 AI 昇華到情感面,終究還是需要製作人的能力,以及對音樂的想像力」的精神宣示,跟我們所熟知虛擬歌手領域的作業模式大相逕庭,技術原理更不是新概念,比方說YAMAHA在2013年就有過類似的填詞自動作曲服務「Vocaloducer」,然而在這個技術發展遠超人類想像的時代,之後會有什麼樣的展開還不得而知,就讓我們拭目以待吧。
未來群像
最後,援引一下陳珊妮臉書文章的一段話(by網管):
「AI 生成影像或聲音這件事,不論在創作端或是商業端都還在發展階段,相關的法律權益保障和新的工具帶來的新道德和責任也還在摸索中,請各位創作者依你自己的需求依不同的個案討論喔,未來會變怎樣…是由現在正在前進的所有人決定的,一定要小心謹慎」
未來群像
小編 / 七瀨昇
載入新的回覆