Pix2Pix智能繪畫神器

Pix2pix是一個全新的工具，旨在允許任何類型的圖像變換的應用程序無關的訓練。所需要的是包含圖像對A和B的數(shù)據(jù)集，并且可以訓練網絡以變換到任一方向。可能的應用包括著色，分割，線圖畫到圖像，映射到衛(wèi)星視圖，風格化等。操作在兩個方向上工作，因此通過正確訓練的網絡，可以從地圖或從彩色分割的建筑立面生成合理的衛(wèi)星視圖。

小編玩了一會兒，簡直再次上癮~

方法很簡單，你信手畫一個人臉，兒童簡筆畫水準也好，素描大師水準也好，只要勾勒一個大致的人臉輪廓，然后點擊一下中間的紅色按鈕，神奇的事情就發(fā)生了！

你的畫作會被AI完善成一幅藝術大作！

1.立面(facades)

在建筑立面數(shù)據(jù)庫上訓練有標簽的建筑立面。它似乎不知道如何處理一個大的空白區(qū)域，但如果放上足夠的窗口，那么結果往往合理。繪制“墻”顏色矩形來擦除東西。

我沒有建筑立面給定不同部分的名字，所以我只是猜測它們叫什么。

2.邊緣轉換成貓咪(edges2cats)

在約2k 存儲貓照片和從那些照片自動生成的邊緣之上訓練。生成了彩色貓對象和一些帶有噩夢的臉。我所見過的最好的一個是貓貓。

一些圖片看起來特別蠕動，因為對動物辨識產生誤判，特別是在眼睛周圍。自動檢測的邊緣在很多情況下不是很好，沒有檢測到貓的眼睛，使得訓練圖像翻譯模型效果更差。

3.邊緣轉換成鞋(edges2shoes)

在從Zappos收集的?50k鞋子圖片以及從那些圖片自動生成的邊緣的數(shù)據(jù)庫上訓練之后。如果你真的擅長繪制鞋子的邊緣，可以嘗試產生一些新的設計。請記住，因為是在真實的對象上進行訓練，所以如果你可以繪制更多的3D物體，所以似乎工作得更好。

pix2pix小程序在推特上很火，你只需要在線手繪出某個草圖或輪廓，它會幫你自動生成一張照片。目前可以轉化的種類包括貓、鞋、包。而這個生成“貓片”的小程序已經被網友們玩壞了。

和之前的畫貓一樣，這個AI應用背后的技術，也是基于有條件對抗網絡的圖像到圖像翻譯。這個網絡不僅能學習從輸入圖像到輸出圖像的映射，而且還能學習一個損失函數(shù)來訓練這一映射。

這使得傳統(tǒng)上可能需要不同損失函數(shù)的問題，能夠應用相同的通用方法。也就是說能在不必手動設計損失函數(shù)的情況下實現(xiàn)合理的結果。

這種方法被證明在以標簽圖合成照片、從邊緣圖重建對象、圖像著色等任務中有效。

這項研究來自加州大學伯克利分校的Phillip Isola、Jun-Yan Zhu、Tinghui Zhou以及Alexei A. Efros。他們還公布了相關的論文和代碼。