🔥 热搜 🔥
上海习近平新疆鄂州父女瓜乌鲁木齐疫情H工口小学生赛高习明泽芊川一笑图包印尼排华
分类
社会娱乐国际人权科技经济其它
🔥 热搜 🔥
上海习近平新疆鄂州父女瓜乌鲁木齐疫情H工口小学生赛高习明泽芊川一笑图包印尼排华
分类
社会娱乐国际人权科技经济其它
查看原文
其他

我用Stable Diffusion把《火影忍者》动漫角色变成了真人

UI设计达人 2023-07-30

The following article is from 彩云译设计 Author 彩云Sky

以前我就在想，如果自己喜欢的动漫角色是真人的话，该长成什么样子呢？现在有了AI绘画后，这个想法落地就简单了。我通过AI，把很多动漫角色变成真人，而且效果还挺不错的。
今天我就以火影为例，把一些经典角色通过Stable diffuison变成了真人，不知道读者里有多少人是火影迷，看看这些AI真人火影角色和你想象中的差不多吗？
先上图，然后再分享教程，看看我是怎么做到的。

一、把《火影忍者》动漫变真人

时间有限，我尝试生成了13位火影主角，一起来看看AI生成的火影真人长什么样子吧。
漩涡鸣人

动漫

Stable diffusion生成的真人效果

对比效果


春野樱

动漫

Stable diffusion生成的真人效果



宇智波佐助

动漫

Stable diffusion生成的真人效果


波风水门

动漫

Stable diffusion生成的真人效果


纲手

动漫

Stable diffusion生成的真人效果


千手扉间

动漫

Stable diffusion生成的真人效果


宇智波鼬

动漫

Stable diffusion生成的真人效果


小南

动漫

Stable diffusion生成的真人效果


宇智波止水

动漫

Stable diffusion生成的真人效果


我爱罗

动漫

Stable diffusion生成的真人效果



五代水影照美冥

动漫

Stable diffusion生成的真人效果


奇拉比

动漫

Stable diffusion生成的真人效果


旗木卡卡西

动漫

Stable diffusion生成的真人效果



其实仔细看的话，每个角色还或多或少存在一些问题，但我觉得总体上效果还是不错的。
大家如果还有想要我生成的动漫角色，欢迎留言或自行尝试。我下面会分享制作教程。

二、如何利用Stable diffusion生成真人？

1、准备工作

在动手制作之前，需要先准备一些必备的AI模型和图片资料。
1）先在Mac或者Windows端，安装好Stable diffusion，具体安装步骤，可以参考我之前写的教程
《AI绘画新篇章，stable diffusion系列教程1》
《AI绘画新篇章，stable diffusion系列教程2》
虽然都能用，但在window上会比在mac上要快很多。我还真的分别在Mac M2芯片电脑和Windows 4090显卡电脑上做了测试，用了一模一样的AI设置，一样的提示词，结果Mac出一张图大概需要1分20秒，而Windows 只用了14秒。
速度不一样，体验是完全不同的，想要很爽的玩转AI，更高效的出到自己喜欢的图，好显卡的加成非常关键。
2）准备一个比较偏向写实的AI模型，这里推荐用Chilloutmix，模型下载链接请见：https://civitai.com/models/6424?modelVersionId=11745
3）安装好controlNet插件，可以帮助优化生成的细节，使得生成的图片更容易控制。安装方法请见我之前写的教程文章《Stable diffusion超详细系列教程2-轻松搞定各种安装和插件问题》，没看过的再去看看。
4）准备好你想要AI生成的动漫图片，建议提前裁切好尺寸，且尺寸不要大于1000px，不然容易爆内存。然后把所有需要生成的动漫图片统一尺寸，且背景干净，这样可以减少后期改AI的设置项，会更方便一点。

2、制作步骤

制作方法其实不难，只需要几步就可以搞定，可能比较麻烦的就是结果会有一定的随机性，想要生成的效果好会有点碰运气。不过也是有方法可以改进的，我也会分享我自己实践过的一些更精准的方法。
1）利用Stable Diffusion的图生图功能来做。这个功能可以依据你提供的参考图作为作画方向，贴合图比较高。但只有参考图还不够，想要效果比较好，也需要比较精准的提示词。
其实文生图也可以，但可能会与你想要的偏差会比较大，我尝试后发现可能有些效果确实挺不错，但就是太不可控了。
2）反推提示词。提示词的部分是需要比较精准的描述你的参考图，包括图片上所有关于角色的特征描述，这个可能对很多人来说比较难。但没关系，咱们有办法可以解决。
利用Stable diffusion的反推提示词功能，这里会有2个反推提示词功能，稍微解释下：
  • Interrogate CLIP 更擅长推理较为真实的图像，更注重画面内的联系，并生成的自然语言描述，自然语言可以理解为一句话的形式。
  • Interrogate DeepBooru 对二次元的各种元素把握很好，更适合二次元动漫风格类的图像，可以对二次元图片生成标签，并给出分段形式的关键词。
这里因为是动漫转真人，所以推荐使用第2个反推提示词功能来得到提示词，但建议在它生成的基础上自己检查下哪些是需要的，哪些是要删掉的，哪些还需要添加。这里有个注意点是，不是提示词越多越好，而是越准确越好。
3）增加画质和风格提示词。在写好主体画面提示词后，还需要在提示词中加入画质提示词，以及可选的小模型对画面进行定向优化
这里给大家分享我用到的画质提示词，这个是可以复用的
(RAW photo, best quality), (realistic, photo-realistic:1.3), masterpiece, an extremely delicate and beautiful, extremely detailed, CG, unity, 8k, amazing, finely detail, ultra-detailed, highres, absurdres, soft light
如果你需要生成真人，还可以增加下面这些提示词
realistic,masterpiece,best quality,(detailed eyes and skin),extremely detailed eyes and face, beautiful detailed nose, beautiful detailed eyes,extremely detailed hair
4）增加负面提示词。还需要增加负面提示词，同样的，负面提示词也可以直接复用我写的
paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans, extra fingers, fewer fingers, ((watermark:2)), (white letters:1), (multi nipples), bad anatomy, bad hands, text, error, missing fingers, missing arms, missing legs, extra digit, fewer digits, cropped, worst quality, jpeg artifacts, signature, watermark, username, bad feet, {Multiple people}, blurry, poorly drawn hands, poorly drawn face, mutation, deformed, extra limbs, extra arms, extra legs, malformed limbs, fused fingers, too many fingers, long neck, cross-eyed, mutated hands, polar lowres, bad body, bad proportions, gross proportions, wrong feet bottom render, abdominal stretch, briefs, knickers, kecks, thong, {{fused fingers}}, {{bad body}}, bad-picture-chill-75v, ng_deepnegative_v1_75t, EasyNegative, bad proportion body to legs, wrong toes, extra toes, missing toes, weird toes, 2 body, 2 pussy, 2 upper, 2 lower, 2 head, 3 hand, 3 feet, extra long leg, super long leg, mirrored image, mirrored noise, (bad_prompt_version2:0.8), aged up, old,
5）其他基础设置
这里的生成算法对结果影响会比较大，我测试后发现对于动漫成长真人这个需求，用Euler a这个会比较好用。生成的步数，数字越大精细程度越高，但速度越慢。但也不是越精细效果就越好，建议20-30之间。
6）使用controlNet插件，对画面进一步调优
这里的插件使用属于比较进阶的用法，内容比较多，这里我先简单讲讲，后面有机会再详细说说。
这里对结果影响比较大的有预处理器，在选择的时候要具体情况具体分析，大家可以尝试下，一般深度（depth）和描边（lineaet）比较适合用到动漫这里。通过修改它的优先级和权重，可以调整插件对于结果的影响程度。
如果你不知道咋调，可以先按我这个配置做就好了。需要注意的是，预处理和模型是需要一一对应的。比如我预处理器选择了depth，那么模型也需要选择depth。这个深度算法会让生成的真人更具立体感。

3、制作经验分享

在用AI出图的过程中，我也积累了一些制作经验和你分享
1）先测试方向正确性。当把所有设置和提示词调整好了之后，先生成1-2张图测试看效果，如果和预期偏差比较多，那就检查下提示词还缺了什么，或者这个偏差是因为哪些提示词影响的，做一些调整。
比如我在生成小南的时候，会发现生成的图里，小南的头上没有白花，
那么我希望生成的画面需要有小花，就在提示词里增加”White flowers on her head“提示词，这样头上就能有小花了。
2）修改配置参数。如果发现生成的效果经过多次后依然效果不大好，可以考虑换采样方法和其他设置项，比如把采样改到线模式,这种模式能更好的识别图片边缘，细节会更像，坏处是可能会局限在特别小的细节里。
3）批量生成更多图。如果发现前面几张方向对了，那么就可以把生成的图片张数加多，我一般一次性生成30张，然后再来对比看效果。

4、注意事项

最后再分享一些可以帮助更容易生成图片的注意事项。
1）想要生成的人物好看，底图不要太差，如果发现生成的效果一直不满意，可以尝试换一个底图
2）动漫角色身上的贴身配饰不要太复杂，比如火影里在头发上有穿插的护额，生成的效果就不是太好控制
3）选择的动漫图片动作和角度最好正常一些，建议用正面
4）最好不要选以手为特写的图来生成，手的生成效果还是个迷，目前对于SD来说效果没有太好
5）图片大小最好在1000以内，不然容易爆内存
6）一开始测试效果的时候不要生成多张，先生成 1～2张看看方向对不对，然后再进一步多生成一些图，我一般在确定方向后喜欢 30 张一次去生成。如果是晚上睡觉前的话，可以一次性生成更多一点，比如一次性生成100张


总结

这篇文章我前后写了快4个星期，其实方法我很早就知道，但自己在实践过程中会遇到各种奇葩问题。一开始生成的图跟鬼一样，踩了很多坑，不过正是因为在过程中遇到的各种各样的坑，让我对于Stable Diffusion有了一个全新的认识，对它的各种功能原理和插件使用有了非常深度的理解。

为了得到文章里的这些图，我共输出了近万张图

和学习其他任何技能一样，想要学好一个技能为自己所用，就不能只停留在知道的程度，还需要更多的练习和实践，只有这样你才能获得精进的能力。
希望对大家有所启发，请记得把文章转发到你的朋友圈，点个在看，咱们一起加油吧！

推荐阅读

（点击标题可跳转阅读）

Midjourney｜主视觉海报落地项目设计流程ChatGPT出的APP太好用了！对话式交互会取代GUI吗？
又接项目了，用AI帮我干的活，献丑了！
点个 “ 在看” 好文不断

您可能也对以下帖子感兴趣

文章有问题？点此查看未经处理的缓存