美國史丹佛大學研究生 Lvmin Zhang(lllyasviel)7 月 9 日在 Github 發表 AI 模型「PaintsUndo」,使用者只要導入 2D 靜態圖像就會展開「逆向工程」,從白紙草稿、上色、陰影到作品完工,電腦自動深度偽造一整段創作過程並完整輸出成影片。
PaintsUndo 在 Github 頁面刊載多個使用實例,該模型看似能將「任何平面彩圖」的創作歷程輸出成縮時影片,除了模仿動漫角色的 AI 插畫,最底下有用照片或真人圖像的案例,就算本來不是插圖,也能掰出畫圖的每個步驟。
PaintsUndo 操作步驟有三,首先是把圖片上傳並生成提示,電腦會試圖理解原圖的風格,並模仿出人類繪畫行為的畫格(Key Frames),就像畫畫過程的分鏡一樣,使用者能調整種子畫面與其他參數,最後再輸出縮影。
PaintsUndo 處理一張圖的時間取決於使用者設定的每秒影格數(FPS)與解析度,時長 25 秒、FPS 4、解析度約 512x320、448x384 的影片,需要時間大約 5 到 10 分鐘。
lllyasvielさんが「PaintsUndo」を発表。完成画像をインプットとして放り込むと、下描きから着彩までのステップを自動で生成、動画にしてアウトプット。Gitでプログラムも公開。「将来のAIシステムが人間のアーティストの実際のニーズをよりよく満たせることを目的」とか https://t.co/2lp7p9Bt39 pic.twitter.com/Tgbnk2q7IA
— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) July 9, 2024
デザイン教育に大変革「PaintsUndo」の公開。本AIツールでは、画像を入れるとその描写過程が再現される。つまり『絵師がAIに教えを乞う』構図になってしまう。よってデザイン教育が大きく変わるのではと感じる。詳細はリプ欄👇 pic.twitter.com/D0XRGUYha0
— みるぼん@スモビジ (@milbon_) July 10, 2024
由於 AI 創作演算法的訓練數據多取自網路而時常陷入智財爭議,今年 4 月新北私立復興商工就爆出校慶師生美展首獎作品「大鬧龍宮」是用 AI 合成繪圖,當時校方請該名學生還原繪圖過程,才發現他用 AI 拼貼圖像、或到網路取圖來「重塑」製畫。
批評者常指責 AI 作畫「沒有靈魂」,爭議點就是創作過程,因為作品是電腦生的,人類只要下指令而非真正的手繪;但 PaintsUndo 不只能夠重現構圖歷程,甚至可以將真實照片重新構思成畫作,彷彿把真人電繪的過程錄下來。
PaintsUndo 的開發者 lllyasviel 專門研究電腦視覺領域(Computer vision),過去曾推出影像生成模型 Fooocus、AI 光照布局 IC-Light、素描風格繪畫模型 Style2Paints 和 ControlNet 等數款免費模型,讓使用者能輕鬆生成高品質彩圖。
其中 ControlNet 獲得領域盛事 ICCV 2023 最佳論文獎,該模型作為 Stable Diffusion 擴展套件,可以提取原圖人物的動作與線條,來輸出不同繪畫風格且精準再現原圖相應姿勢與輪廓的圖像。
PaintsUndo 這樣效仿人類作畫的 AI,是否會淪為騙人的手段?
lllyasviel 在 Github 解釋說該專案的目的是開發人類電繪行為的基本模型,協助未來的 AI 更能滿足人類藝術家的創作需求,「Paints-Undo 名稱啟發自 AI 輸出的過程類似人們在電繪軟體中多次按下『復原』鍵(通常是 Ctrl+Z)。」
「使用者可以自由地使用這個工具來創作內容,但必須遵守當地法律,並負責任地使用。使用者不得透過這個工具製造假資訊或煽動衝突。開發者對用戶的濫用不承擔任何責任。」