今天我很榮幸向大家介紹一項最新的技術突破，名為GS-VTON。這是一個結合3D Gaussian Splatting技術與擴散模型的創新系統，專門為虛擬試穿而設計，旨在解決現有技術中面臨的挑戰。虛擬試穿技術的背景與挑戰首先，我們來看看虛擬試穿技術的重要性。虛擬試穿已經成為電子商務、遊戲以及虛擬現實等領域中不可或缺的工具。用戶能夠在購物或遊戲中，直觀地看到不同服裝在自己身上的效果。然而，目前大多數虛擬試穿技術仍然以2D為主。2D試穿技術有許多局限，特別是當我們想要將2D的技術延伸到3D時，會遇到一些顯著的挑戰。最大的一個問題就是多視角不一致性。從不同角度看同一件衣服，往往會出現不協調的現象，甚至在幾何結構上產生明顯的扭曲。GS-VTON的核心創新這正是我們今天討論的技術，GS-VTON，所要解決的問題。GS-VTON是一個以圖像為提示的3D虛擬試穿技術，它通過3D Gaussian Splatting，讓試穿過程在不同的視角下保持一致性，並大幅提升試穿效果的真實感。GS-VTON的主要技術亮點有三個：個性化擴散模型的引入：我們採用了LoRA微調技術，這是一種低秩適配方法，能夠將個性化的訊息融入預訓練的2D擴散模型中。這使得系統能更精準地反映每個用戶或場景的特徵。多視角一致性編輯：為了解決多視角不一致的問題，我們提出了參考驅動的圖像編輯技術。這個技術讓系統能同時編輯多個視角下的圖像，並保持一致的外觀效果。這樣用戶可以從各個角度看到同一件衣服，無論是材質還是幾何形狀都能保持統一。persona-aware 3D Gaussian Splatting：這是一個能夠根據個人特徵進行自動調整的3D編輯框架。通過結合兩種注意力機制，一種用於編輯，一種用於保持視角一致性，GS-VTON能在多個視角下實現高精度的3D幾何和材質生成。GS-VTON的應用與前景這項技術的應用場景十分廣泛。首先，線上購物平台將是最大的受益者。現在，消費者可以在家中進行虛擬試穿，不僅能看到前視圖，還能看到衣服在各個角度的效果。這對提高購物體驗，減少退貨率將有極大的幫助。另外，GS-VTON也能應用於遊戲和虛擬現實領域。在虛擬世界中，玩家的角色往往需要更換服裝或裝備，這樣的技術能夠確保服裝在不同動作和視角下保持一致性，提升沉浸感。3D-VTONBench基準的建立為了衡量我們的技術，我們還創建了一個全新的3D虛擬試穿基準，名為3D-VTONBench。這是目前第一個專門用來評估3D虛擬試穿效果的數據集，能夠進行全面的質量與數量上的比較，幫助我們不斷提升技術表現。GS-VTON的實驗結果在大量實驗中，GS-VTON在多視角一致性和幾何準確性上，都大幅度超越了現有的技術。它不僅能夠生成高保真的3D圖像，還能在不同視角下保持高度一致，讓試穿效果更真實、自然。結語總結來說，GS-VTON是虛擬試穿技術中的一個重大突破，能夠解決長期困擾該領域的多視角一致性問題。我們相信，隨著技術的不斷進步，這將成為虛擬試穿、電子商務以及遊戲領域中的標準技術。謝謝大家的聆聽！