對于大多數(shù)人來說，當我們看到梵高的《星空》、畢加索的立體主義、蒙克的《尖叫》……雖然沒法像藝術(shù)史教授那樣分析每一位畫家的技術(shù)，但是都會一看就感覺到，每位藝術(shù)家都有一種強烈、獨特的個人風格。即使不知道作者是誰，也會感覺“恩，這幅畫感覺很梵高”。
那么機器人看畫展會是什么感覺呢？深度神經(jīng)網(wǎng)絡(luò)正在改變機器識別和解讀世界的方式。機器視覺現(xiàn)在已經(jīng)能在某些任務上超過人類，例如物品和面部識別，這在幾年前還是不可想象的。
最近，機器也開始嘗試理解藝術(shù)風格，并玩了一把山寨。我們還不知道這項技術(shù)能做到多少。例如，能不能給機器一張圖片，然后將圖片風格復制到另一個視頻中？并且，維持良好順暢的視覺體驗？
今天，德國弗萊堡大學的Manuel Ruder及伙伴們成功了。他們復制了梵高的《星空》和蒙克的《尖叫》等著名作品中的風格，粘貼至各種電影和電視劇的視頻片段中，例如超萌的動畫電影《冰川世紀》，以及由作家阿加莎·克里斯蒂小說改編而成的英國懸疑犯罪電視劇《馬普爾小姐》。項目帶來了超級驚艷的視頻，讓我們看到，幾乎任何你能想到的視覺風格都可以復制粘貼。
深度神經(jīng)網(wǎng)絡(luò)由許多層組成，每一層從圖像中抽取信息，然后將剩余信息傳遞給下一層。第一層抽取顏色等較明顯的模式，越深的層所抽取的信息越細節(jié)化，以此實現(xiàn)視覺識別。比較深的層所抽取的信息非常重要，這實際上就是圖像減去例如顏色、材質(zhì)等等所有環(huán)境信息。從某種意義上來說，這就是電腦在畫簡筆畫。
去年，德國圖賓根大學的Leon Gatys及伙伴們開始用這種方式研究藝術(shù)風格。他們發(fā)現(xiàn)，要抓住藝術(shù)風格的本質(zhì)不一定得了解每一層所抓取的信息，而是研究各層之間的關(guān)聯(lián)性。藝術(shù)家畫人臉的方式，與他或她畫一棵樹、一棟房子或者星星月亮的方式應該是有關(guān)聯(lián)的。抓住了關(guān)聯(lián)性，也就是抓住了風格的本質(zhì)。
不過，他們的關(guān)鍵發(fā)現(xiàn)是，圖像的內(nèi)容可以完全與其藝術(shù)風格分離。他們還發(fā)現(xiàn)，藝術(shù)風格可以被復制粘貼，放到隨便什么其他圖像上去。
所以提升逼格的利器來了！你可以拍一張你家喵星人的睡姿，然后把它變成高大上的現(xiàn)代抽象主義康定斯基畫風?；蛘邅硪粡埫煽思饨惺降淖耘囊残?。除了搞笑，這項技術(shù)還可以玩些啥呢？
還可以將畫風粘貼到連續(xù)的圖像上，做一個視頻。但這引起了別的問題。連續(xù)幀之間的小差異，有可以導致藝術(shù)風格全盤崩壞，甚至讓整個視頻看起來磕磕碰碰、毫不連貫。其中一個問題就是物體在移動或被遮蔽時，如何處理物體的邊緣。
現(xiàn)在，Ruder和同事們解決了這個問題。“基于一個藝術(shù)圖像，我們可以成功將其風格轉(zhuǎn)化到整個視頻中去。”他們說。他們的方法是使用一個算法來分析連續(xù)處理幀之間的差異，避免大的變化，同時忽略畫面中被遮蔽的部分。他們說：“這讓我們可以重建取消遮蔽的區(qū)域和變形的移動邊界，同時保留圖像中其余部分的樣子。”
結(jié)果超級神奇。團隊使用算法來從各種不同的藝術(shù)作品中抽取出藝術(shù)風格，包括康定斯基、畢加索、馬蒂斯、特納以及人氣最高的蒙克和梵高。他們用1024 x 436像素的NVIDIA TITAN X GPU處理系列中的每一個圖像，以及一個CPU在同時平行運行。剛開始，處理每一幀需要8分鐘。但是經(jīng)過優(yōu)化之后，處理每一幀只需要3分鐘。團隊的方法在計算方面變得越來越強大。
當然，還是有一些可以改進的地方。如果幀與幀之間的變化非?？焖倩蚍浅４?，算法的表現(xiàn)還是差強人意。而且，計算時間應該還可以進一步優(yōu)化降低。不過這些問題不影響我們欣賞視頻里的驚艷效果。
人們不禁思考，這項技術(shù)還有哪些應用空間。我們可以想到的是，也許之后會有一些基于云端的APP，讓你可以用你的手機拍視頻，然后加入藝術(shù)風格。但是，有沒有可能將蒙克的《尖叫》風格轉(zhuǎn)化到3D空間，通過虛擬現(xiàn)實（VR）實現(xiàn)出來呢？
另一方面，這項技術(shù)也為攝影和藝術(shù)領(lǐng)域打開了新的可能性。如果藝術(shù)風格變成了一種商品，人們可以購買下來，然后復制粘貼到不同的圖像上，那么藝術(shù)家本身的價值是否會改變？甚至，我們還可以買下幾個不同的風格，混搭起來再進行編輯，也許又會有新的玩法。
到那時，我們可以掏出手機或者VR設(shè)備，來一張古典主義+野獸派+超現(xiàn)實主義+立體主義+未來主義+波普藝術(shù)（什么鬼）的混搭風格自拍。
智能界（jwnfls.cn）中國智能科技聚合推薦平臺，秉承“引領(lǐng)未來智能生活”的理念，專注報道智能家居、可穿戴設(shè)備、智能醫(yī)療、機器人、3D打印、智能汽車等諸多科技前沿領(lǐng)域。聚合品牌宣傳、代理招商、產(chǎn)品評測、原創(chuàng)視頻、FM電臺與試用眾測，深入智能硬件行業(yè)，全平臺多維度為用戶及廠商提供服務，致力成為中國最具影響力的智能硬件聚合推薦平臺。
評論列表(已有條評論)
最新評論