midjourney 初心者　AI詠唱詩學徒筆記: 角色表情製作

1月 09, 2023

midjourney 初心者　AI詠唱詩學徒筆記: 角色表情製作

最近剛好有在討論如何製作一個角色, 然後利用 midjourney 來做表情, 但要保有角色的一貫性, 也就是知道是同一個角色的表情動作. 雖然自己摸索, 可能不是很正確, 或許也有更好的方法, 不過想想先紀錄一下, 這樣將來自己要做時, 也可以參考^^

1. 先簡單製作一個角色,

製作角色有很多方式, 也可以先畫好放進去, 這篇主要想了解角色的變化, 所以就先簡單做一個來研究. ( 後來發現如果真要做的話, 剛開始可以先把一些這個角色的特點部位顏色形狀都先決定好產生, 再往下做複雜的動作會比較好 )

( TTMouse 是我自己取的名字 ^^)

詠唱: prompt :

TTMouse, TTMouse is a cute and sweet mouse with bunny ears, no background, character, Pixar style, unreal engine 5, octane render, 3D

詠唱: prompt :

TTMouse, TTMouse is a cute and sweet pixar style mouse with bunny ears, wearing glass, no background, pixar style character, unreal engine 5, octane render, 3D

2. 表情

第一個圖片產生後, 接下來就可以利用 Make Variations 來做表情設定, 另外可以先開啟 remix mode, 可以用 /settings 改變

笑: 在 Make Variations 跳出的 Remix Prompt 中加入 is smiling,

如果前面沒有加上第一步角色圖片的 url 時, 這樣做出來的會很發散, 如下:

但是如果有加上圖片的 url 時, 這樣 make variation remix 會再和圖片結合. 就比較能做出比較相近的圖片, 如下:

這時候發現有的有戴眼鏡, 有的沒戴眼鏡, 其實變數還蠻多的.

我目前嘗試的方式是, 先回到一開始, 加上條件 wearing glass , 但這次不寫 smile, 重新 make variations.

https://s.mj.run/KgJ-fynf-Eg TTMouse, TTMouse is a cute and sweet pixar style mouse with bunny ears, wearing glass, no background, pixar style character, unreal engine 5, octane render, 3D

接下來嘗試直接重新下 prompt, 將兩張圖合併繼續

<org img url> <new img url> TTMouse, TTMouse is a cute and sweet pixar style mouse with bunny ears, wearing glass, no background, pixar style character, unreal engine 5, octane render, 3D

然後做出來的可以改放到第一個 url, 再把原圖放在第二個 url, 再來 remix,

假設我們選 U3

這樣反覆做出一個戴眼鏡的有個好處是, 用這個再來做表情時, 就都是有戴眼鏡, 而且眼鏡都是同一款的. ( 目前看來可能是以排在前面的圖為主, 系統也會不停地融合 remix 來讓使用者選取決定變數 ) ( 如果眼鏡會脱的話, 或許先做一個不戴眼鏡, 之後再做戴眼鏡的會比較好; 固定配件也有好處, 這樣比較能聯想到同一個角色, 就像小熊維尼的衣服是紅色的 )

實際狀況可能更複雜些, 看有些做角色的, 是先拿真人照片上去製作, 且表情也另外拍個幾張, 表情動作就不斷和真人表情照片 + 一開始的真人照片和角色圖案, 不停地選擇 remix 即可達到很相近的圖, 後來還有些線上搭配 midjourney 的輔助軟體 (似乎要付費 ), 只要手機拍著做動作就可以和角色連結, 很像是 vtuber 的做法.

喜 :

怒 :

( 像這個因為鼻子一開始沒做, 這邊就又可能會改變, 不過仍可用上面方法, 繼續固定變因 )

哀 :

（鼻子一開始沒控制, 結果越長越奇怪了.. ^^ )

要做大的動作的話, 譬如跑步, 似乎還沒辦法, 目前看來似乎是在同一個構圖的大框架下修改細部的方式來做. (前景人物 / 背景 ) 人物位置固定, 然後換臉換衣服換裝飾...

剛開始比較麻煩是因為一個動作可能要改變的地方蠻多的, 實際的情況也是如此, 譬如笑的時候, 除了眼睛和嘴角之外, 尾巴也有可能會隨著情緒變動, 耳朵甚至到手腳的手舞足蹈.. 所以一開始規劃好各部位和可能有的動作後, 再來往下做或許會比較方便, 不過設定好之後, 或許比自己一張張畫可能簡單一些...

midjourney 不曉得使用者要做哪些改動, 可能是先把要修改的地方都改變, 透過選擇 V1/~/V4, U1/~/U4 來協助系統判斷. 當都判斷差不多時, 將來用那個工作 ID 就可以拿來繼續往下做. ( 希望將來會開發更好的介面來處理這些設定變化, 會比較方便.. )

midjourney 看參數是可以搭配 unreal engine, (只是用它的影像處理像 render / ray tracing /.. 還是能透過 midjourney 建模? 這塊得再繼續研究... )

在 unreal engine, 也有角色的設計.

unreal engine 裡的 meta human

目前 unreal engine 個人使用的話應是免費的, 另外也可以加入他的 Github 取得 C++ source code 一起開發 (應是可以在 Linux 上編譯 )

unreal engine Gitub

在網上衝浪來尋找的做法的同時間, 看到一個有趣的 twitter, 他讓大佛跑了起來 ^^

ちなみに、何度「横構図」を指示しても正面構図になってしまったのだけど、これもやはり「仏像＝正面」の呪縛というか、端的に側面の資料がないのかも。
画像は例外的に横向きに走ってくれた例なれど、よく見ると肌の質感以外は「ジョギングする太った人」である。#midjourney or #nijijourney pic.twitter.com/MxbCYIF11K
— 古橋秀之＠『ブラックロッド』復刊 (@Furuhashi_h) December 5, 2022