深度合成技術如何深度影響生活

一分為二的熒屏畫面，長相一模一樣的主持人流暢對話——在今年全國兩會報道中，中央廣播電視總臺首個擁有超自然語音、超自然表情的超仿真主播“AI王冠”正式投入使用。真人與虛擬人同屏播報，為兩會報道注入科技創(chuàng)新力。虛擬數(shù)字人走紅網(wǎng)絡的背后，深度合成技術功不可沒。

日前，清華大學人工智能研究院等聯(lián)合發(fā)布《深度合成十大趨勢報告(2022)》。數(shù)據(jù)顯示，在社交媒體、音視頻網(wǎng)站等平臺上，2021年新發(fā)布的深度合成視頻數(shù)量較2017年已增長10倍以上。深度合成內容在多領域落地，迎來爆發(fā)式增長。何為深度合成技術?這項技術正如何影響著我們的生活?《科技周刊》記者特為此采訪相關領域專家。

從圖像合成到深度合成

高度逼真的人臉合成難在哪里

“談起圖像合成技術，很多人都不陌生。其實深度合成技術就是從圖像合成技術發(fā)展而來。”東南大學網(wǎng)絡空間安全學院副教授宋宇波告訴記者，圖像合成技術目前已經發(fā)展得非常成熟，其中包括基于圖像主體修改的方法和基于痕跡掩蓋的后處理方法，如我們常用的PS技術等。隨著人工智能的快速發(fā)展，人工智能技術和圖像合成技術逐步結合。源于人工智能系統(tǒng)生成對抗網(wǎng)絡(GAN)不斷進步，深度合成技術應運而生，并在很短時間內發(fā)展到驚人地步。

“典型的深度合成案例包括人臉替換、人臉再現(xiàn)、人臉合成和語音合成四種形式。”宋宇波介紹，人臉替換就是大家俗稱的“換臉”，即將某個人的臉部特征復制到另一個人的臉上，從而覆蓋目標人物的面部;人臉再現(xiàn)則是利用深度合成技術改變人的面部特征，從而操縱目標對象的臉部表情;人臉合成可以創(chuàng)建全新的人臉圖像，而這些隨機生成的人臉很多都可以媲美真實的人臉圖像，甚至代替一些真實肖像的使用;語音合成則是基于設計創(chuàng)建的特定聲音模型，不僅可以將文字轉化成聲音，而且可以轉化為接近真人語調和節(jié)奏的聲音。

那么，如何才能實現(xiàn)高度逼真的人臉合成呢?“深度合成技術的難點主要有兩個方面，一方面是如何獲取精細的三維人臉模型、如何精確地跟蹤源人臉面部的剛性和非剛性運動以及如何將提取的參數(shù)映射到目標人臉以實現(xiàn)表情遷移;另一方面則是如何控制生成圖像的內容以及如何提高生成圖像的分辨率。”宋宇波表示，盡管人臉合成領域方法眾多，但就總體而言，三維人臉技術以及生成對抗網(wǎng)絡技術占據(jù)重要地位。在人臉合成領域中(尤其是人臉動作或身份的合成)，主要通過建立人臉的三維模型并對其形變或改變身份參數(shù)，渲染出合成的人臉圖像;而生成對抗網(wǎng)絡憑借能夠生成多樣的、逼真圖像的能力成為近年來的研究熱點，被廣泛應用于人臉圖像處理的各類任務。它也是人臉合成技術中持續(xù)輸出可控制的、高分辨率的逼真人臉圖像的重要一環(huán)。

應用場景趨于多元成熟

“深度合成”成元宇宙發(fā)展關鍵技術

自2019年開始，基于深度合成技術的各類應用火爆社交網(wǎng)絡。目前，這項技術在影視制作、廣告營銷、社交娛樂等眾多領域落地生根。公開數(shù)據(jù)顯示，2020年6月至2021年5月，共有32412位虛擬主播在嗶哩嗶哩開播，同比增長40%。一個月前，北京冬奧會自由式滑雪女子大跳臺決賽中，中國隊選手谷愛凌發(fā)揮出色逆轉奪冠，全球首個手語AI 合成主播“小聰”用手語解說了這個激動人心的奪冠時刻，幫助聽障人士更好地享受數(shù)字化生活。此外，越來越多的企業(yè)機構開始利用深度合成技術提供面向公眾的產品和服務，涵蓋圖像、視頻、音頻、文本等多個領域。例如作為人機交互中重要一環(huán)的語音合成，被廣泛應用于智能客服、語音導航、有聲讀物、語音助手等場景。

隨著深度合成技術的不斷發(fā)展，對深度學習算法的要求也越來越高。這些算法的不斷優(yōu)化將促使深度學習技術應用于更多不同的領域。宋宇波舉例解釋，計算機科學領域，通過深度學習技術可以建立起比傳統(tǒng)機器學習更深層次的模型，從而具有對文字、圖像和聲音等數(shù)據(jù)更強的處理與學習能力;在實時應用領域，隨著深度學習算法、嵌入式計算硬件、物聯(lián)網(wǎng)的不斷發(fā)展，以深度學習為主要手段的人工智能技術將在嵌入式應用領域得到更加廣泛的應用，促使深層神經網(wǎng)絡輕量化設計，深層神經網(wǎng)絡與網(wǎng)絡加速器的協(xié)同設計快速發(fā)展。

盡管發(fā)展迅猛，但深度合成技術這個“魔法盒”才剛剛被打開。伴隨著元宇宙等新商業(yè)思維的提出，深度合成技術或將重新定義虛擬數(shù)字化空間，為智能化、視覺化、場景化、虛擬化的新交往常態(tài)提供技術支撐。深度合成技術可以用于自動生成文本、語音、圖像、視頻等各種數(shù)字內容，已成為了當前元宇宙發(fā)展的關鍵技術。

今年初，國家網(wǎng)信辦公布《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定(征求意見稿)》，對作為元宇宙基石的深度合成技術作出了一系列較為明確的規(guī)定和指引。按照該管理規(guī)定的定義，AI語音、NFT生成藝術、虛擬演唱會、全息人像投影、虛擬數(shù)字人、AR購物等元宇宙的重要組成部分都屬于深度合成技術的具體應用。“深度合成技術逐漸成熟并進入商業(yè)化應用階段，其巨大的經濟價值將更為凸顯。”宋宇波說。

未來，深度合成技術還將有怎樣的發(fā)展趨勢?業(yè)內某科技公司有關負責人告訴《科技周刊》記者，在多模態(tài)生成方面，未來的應用場景將覆蓋圖像、語音、文本等更多樣化模態(tài)，會從單一模態(tài)內容生成逐漸拓展為跨模態(tài)或多模態(tài)的內容合成，如虛擬數(shù)字人中的語音或文本驅動視頻生成等場景、高清化人像生成、通用場景圖像生成和實時生成技術等方面。“在不久的將來，我們或許可以看到支持4K、8K模式的高清化人像生成。但必須要指出的是，深度合成技術將如何支持沉浸感更好的實時通信體驗，需要技術繼續(xù)攻關。比如，在低帶寬或視頻壓縮的情況下如何提高用戶體驗，是深度合成技術下一步需要解決的問題。”

機遇與風險并存

虛實交界處期待多維度治理

換臉特效、老照片修復、輔助動畫和游戲設計……深度合成技術為眾多全新場景提供了技術可能，支撐著實現(xiàn)更多虛實交互空間。然而，技術“平民化”的背后，一系列負面風險也隨之而來。僅需要少量音視頻樣本數(shù)據(jù)，利用簡易的合成工具，便可以解構“眼見為實”的認知論權威。實際上，利用深度合成技術偽造虛假音視頻，從而進行詐騙勒索的違法行為和案例報道已屢見不鮮。

“深度合成技術所創(chuàng)造的‘現(xiàn)實’并不是虛擬現(xiàn)實，而是一種新的現(xiàn)實類型，因此必須、也已經在現(xiàn)行的法律規(guī)制之下。”南京師范大學法學院副教授、中國法治現(xiàn)代化研究院研究員楊建表示，對于深度合成技術所造就的現(xiàn)實和所形成的社會關系來說，主要風險之一在于該技術應用能夠制造以假亂真的虛假現(xiàn)實，可能左右、誤導公眾的認知與判斷;而規(guī)制這類風險行為的困難在于，它與典型的違法行為追責模式不相對稱，以致傳統(tǒng)的行政、司法機制無法及時發(fā)揮管控、威懾、確權、止爭等作用。

為規(guī)避風險，我國正積極探尋有效的治理機制。2019年11月起先后出臺的《網(wǎng)絡音視頻信息服務管理規(guī)定》、《網(wǎng)絡信息內容生態(tài)治理規(guī)定》、《中華人民共和國民法典》、《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》，均對生成合成類內容等提出了不同程度的監(jiān)管要求。

新的行為模式需要新的規(guī)制機制，同時也期待政府、社會和公民等多維度治理。“在智能社會的法律構建中，特別要強調共治、共建、共享的理念。”楊建認為，對于深度合成技術來說，目前有效的方案之一是確立深度合成技術應用的事前備案制度、保證金制度，以確保事先管控的可能性，確?？晒_、可追查、可審核。此外，在事后的懲罰性賠償、準入資格剝奪機制方面，必須確保有效的威懾、責任追究與權利維護的可行性。業(yè)內某科技公司有關負責人表示，深度合成技術與深度偽造檢測技術相輔相成，互相促進。更高清、自然、逼真的合成技術也將會不斷地促進深度偽造檢測技術的發(fā)展，輔助負面虛假內容治理。

記者 謝詩涵 葉真