首頁?行業  »   視覺識別  »   正文

基于深度學習方法可加快生成更清晰且逼真的圖像

基于深度學習方法可加快生成更清晰且逼真的圖像

蒙特卡羅計算方法是游戲和電影中生成的許多逼真圖像的基礎。它自動模擬復雜的燈光和相機物理,從不同的圖像特征和場景的樣本生成高質量的效果圖。但是渲染的過程很慢,可能需要幾個小時甚至幾天的時間才能生成一張圖像,而且通常結果仍然是像素化的,或者是有噪聲的。

麻省理工學院,Adobe和阿爾托大學的全球計算機科學家團隊開發了一種新方法,通過使用基于深度學習的方法在很短的時間內生成更高質量的圖像和場景設計,從而大大減少了圖像中的噪聲。

該方法可以生成更清晰的圖像,有效地捕捉來自樣本特征的復雜細節,包括復雜的照明組件,如陰影、間接照明、運動模糊和景深。

Adobe的研究科學家Gharbi表示:“算法可以通過非常少的樣本通過嘈雜的輸入圖像生成干凈的圖像,并且可以在迭代場景設計時生成快速渲染的預覽。”

該團隊的工作重點是所謂的“去噪”,它基本上保留了圖像的細節,并刪除了任何有損其銳度的東西。

在以前的工作中,計算機科學家已經開發出一些方法,通過取樣本圖像和相鄰像素中的像素的平均值來平滑噪點,有幾部電影實際上已經在制作中使用了它,然而,如果圖像太嘈雜,通常后處理方法無法恢復清晰銳利的圖像。通常用戶仍然需要平均每像素數百個樣本才能獲得質量合理的圖像,這是一項繁瑣,耗時的工作處理。

類似的是在圖形軟件程序中編輯照片的過程。如果用戶不使用原始的原始文件,修改后的照片很可能不會生成清晰、清晰、高分辨率的最終圖像。一個類似但更復雜的問題是圖像去噪。

為此,研究人員的新計算方法涉及直接使用蒙特卡羅樣本,而不是大多數信息已經丟失的平均噪聲圖像。與處理圖像或視頻的典型深度學習方法不同,研究人員演示了一種新型卷積網絡,可以學習直接從原始蒙特卡羅樣本集中去除渲染,而不是從簡化的基于像素的表示中去除。

基于深度學習方法可加快生成更清晰且逼真的圖像

關鍵部分是一個新穎的內核預測計算框架,它將單個樣本(顏色和紋理)“拼接(Splat)”到附近的像素上,以銳化圖像的整體構圖。在傳統的圖像處理中,內核用于模糊或銳化。Splatting是一種解決運動模糊或景深問題的技術,可以更輕松地平滑樣本的像素化區域。

算法為每個樣本生成一個2D內核,這是一種更自然的后處理方式。該團隊使用隨機場景生成器訓練他們的網絡,并在各種逼真場景上廣泛測試他們的方法,包括各種照明場景,如間接和直接照明。該方法可以在非常低的樣本數下提供更清晰的輸出,以前的方法通常很難做到這點。

在未來的工作中,研究人員打算使他們的方法擴展到更多的樣本特征,并探索實施去噪圖像的幀到幀平滑性的技術。

歡迎關注ATYUN官方公眾號,商務合作及內容投稿請聯系郵箱:[email protected]

發表評論