電腦也會手繪,美研究生開源AI模型「PaintsUndo」重現彩圖創作歷程

PaintsUndo

 

美國史丹佛大學研究生 Lvmin Zhanglllyasviel)7 月 9 日在 Github 發表 AI 模型「PaintsUndo」,使用者只要導入 2D 靜態圖像就會展開「逆向工程」,從白紙草稿、上色、陰影到作品完工,電腦自動深度偽造一整段創作過程並完整輸出成影片。

 

PaintsUndo 在 Github 頁面刊載多個使用實例,該模型看似能將「任何平面彩圖」的創作歷程輸出成縮時影片,除了模仿動漫角色的 AI 插畫,最底下有用照片或真人圖像的案例,就算本來不是插圖,也能掰出畫圖的每個步驟。

 

2024-07-10_142334

 

PaintsUndo 操作步驟有三,首先是把圖片上傳並生成提示,電腦會試圖理解原圖的風格,並模仿出人類繪畫行為的畫格(Key Frames),就像畫畫過程的分鏡一樣,使用者能調整種子畫面與其他參數,最後再輸出縮影。

 

PaintsUndo 處理一張圖的時間取決於使用者設定的每秒影格數(FPS)與解析度,時長 25 秒、FPS 4、解析度約 512x320、448x384 的影片,需要時間大約 5 到 10 分鐘。

 

 

 

由於 AI 創作演算法的訓練數據多取自網路而時常陷入智財爭議,今年 4 月新北私立復興商工就爆出校慶師生美展首獎作品「大鬧龍宮」是用 AI 合成繪圖,當時校方請該名學生還原繪圖過程,才發現他用 AI 拼貼圖像、或到網路取圖來「重塑」製畫。

 

批評者常指責 AI 作畫「沒有靈魂」,爭議點就是創作過程,因為作品是電腦生的,人類只要下指令而非真正的手繪;但 PaintsUndo 不只能夠重現構圖歷程,甚至可以將真實照片重新構思成畫作,彷彿把真人電繪的過程錄下來。

 

PaintsUndo 的開發者 lllyasviel 專門研究電腦視覺領域(Computer vision),過去曾推出影像生成模型 Fooocus、AI 光照布局 IC-Light、素描風格繪畫模型 Style2PaintsControlNet 等數款免費模型,讓使用者能輕鬆生成高品質彩圖。

 

其中 ControlNet 獲得領域盛事 ICCV 2023 最佳論文獎,該模型作為 Stable Diffusion 擴展套件,可以提取原圖人物的動作與線條,來輸出不同繪畫風格且精準再現原圖相應姿勢與輪廓的圖像。

 

PaintsUndo 這樣效仿人類作畫的 AI,是否會淪為騙人的手段?

 

lllyasviel 在 Github 解釋說該專案的目的是開發人類電繪行為的基本模型,協助未來的 AI 更能滿足人類藝術家的創作需求,「Paints-Undo 名稱啟發自 AI 輸出的過程類似人們在電繪軟體中多次按下『復原』鍵(通常是 Ctrl+Z)。」

 

2024-07-10_153358

 

「使用者可以自由地使用這個工具來創作內容,但必須遵守當地法律,並負責任地使用。使用者不得透過這個工具製造假資訊或煽動衝突。開發者對用戶的濫用不承擔任何責任。」

推薦電競新聞

繼續閱讀
Source 電腦也會手繪,美研究生開源AI模型「PaintsUndo」重現彩圖創作歷程 https://www.4gamers.com.tw/news/detail/65845/paintsundo-a-base-model-of-drawing-behaviors-in-digital-paintings……