AIGC-照片美颜精修解决方案

OpenCV学堂 2023-04-13 23:10

目前,基于扩散模型的内容生成技术给图像生成领域带来了革命性的变革,从NovelAIMidjourney,从StableDiffusion开源到WebUIControlNet,无论是AIGC相关的公司愈演愈烈,还是新的论文和技术层出不穷,不禁让我们感叹“生命短暂,学海无涯”,同时,也让我们看到当下无数机会与挑战的大爆发!面对这些新的机会,人像美颜这个垂域又将如何发展?这里,我将使用AIGC相关技术,来对人像照片美颜的方式和方法做一些尝试与解决方案的研究。

我将以WebUI为例,进行人像美颜效果的尝试。

环境安装

WebUI安装,这里不再累赘,网络资源已经泛滥;

ControlNet安装:

WebUI-ControlNethttps://github.com/Mikubill/sd-webui-controlnet

①打开WebUI,点击Extensions--Install from URL,然后输入Controlnetgit链接,点击install即可。安装界面如下:

安装完成之后,会在stable-diffusion-webui/extensions/路径下新增sd-webui-controlnet文件夹。

②从https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main 下载相关模型并放置到如下路径下:stable-diffusion-webui/extensions/sd-webui-controlnet/models

重启WebUI即可完成整个安装。

解决方案介绍

我们用AIGC相关技术实现美颜效果,有两种途径:一种是直接使用AIGC生成固定人物的美颜照片,另一种是修改用户的照片实现美颜效果;

目前鉴于AIGC的可控性不强,我们很难达到非常完美的任意用户照片的美颜效果生成,因此,这里我们挖掘如何修改用户的照片实现美颜效果,也就是使用AIGC的方式来进行P图美颜。

初步方案:

使用img2img模式,结合controlnet保留用户形象内容不变,生成磨皮美颜效果,然后,使用皮肤分割+五官解析技术,将原图和效果图进行alpha融合,最终实现美颜效果。

这个方案中的难点:如何有效保留用户原图信息,如何使用有效的磨皮美颜prompt达到美颜效果;

具体实现

1.StableDiffusion大模型选择

美颜效果主要表现为皮肤白皙,没有褶皱,斑点,雀斑,法令纹,眼角纹,痣等等,为了达到这类效果,我们首先要选择合适的SD模型,这里我们选择ChilloutMix模型,具体下载地址:

C站地址:ChilloutMix | Stable Diffusion Checkpoint | Civitai

huggingface地址:swl-models/chilloutmix at main (huggingface.co)

这个模型的效果举例如下:

2.有了大模型之后,我们以WebUI为例,进行分析,打开WebUI,由于我们要进行修图,所以,我们需要选择img2img模式,在该模式下选择ChilloutMix大模型。我们选择一张测试图,如下图:

导入WebUI后,如图所示。

3.叠加两个Controlnet控制,分别为canny边缘控制、depth深度信息控制,参数设置分别如下(选用canny和depth的原因是我们需要通过边缘和深度信息尽可能的保留用户原图信息):

4.img2img参数设置

这里提供美颜专用的prompt

positive:masterpiece,best quality,high res, (photorealistic:1.4),(red face blush:1.2),red lips,extremely detailed

negative:(worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality,(skin spots:2), acne,acne marks,mole (skin blemishes:2), (age spot:2), watermark,signature water mark

主要描述说明:

face blush:腮红

red lips:红色唇彩

skin spots:皮肤斑点

acne:雀斑

age spot:老年斑

skin blemishes:皮肤瑕疵

mole:

对于Prompt描述,我们可以自行研究,这里给的主要是磨皮和简单的唇彩腮红效果,实际上可以定义各种人脸效果,包括肤色调节,美白,妆容等等,这也就是AIGC做人像美颜的优越性体现。除了这些参数之外,其他参数设置:

5.基于上述参数设置,点击运行,效果图如下:

原图                                                                     AIGC生成效果

通过修改描述词,微调效果如下:

上述效果我们仔细看会发现,其实与原图还是有一些差别的,这些差别在某些情况下会导致不像用户,为此,我们做到这里并没有结束,我们需要挑选我们想要的美颜区域,叠加到用户原图之上,以此来保证用户ID相似性。

6.我们使用皮肤分割技术+五官解析技术,将效果图中的皮肤区域+嘴唇+眉毛区域融合到原图,得到最终效果图:

最终效果图

这个效果我们可以发现,很好的保留了用户的眼睛区域,以及其他非皮肤区域,整体看下来遵循用户原图场景内容,这个也是关键点,我们要做的是照片精修,而不是照片重构和生成,对于影楼以及专业修图人员来讲,用户还是希望是自己的照片的。

对于皮肤分割和五官解析,这里给出美图AI开放平台的技术链接(查找五官分割/皮肤分割)

美图AI开放平台 (meitu.com)

上述就是AIGC来做人像精修美颜的一种解决方案,其中有一些地方还是可以改进的,比如prompt工程,再比如人脸区域的canny边缘(如果有更加精确的边缘算法,我们实际上是不需要后续的五官分割再融合算法的),这里只大概介绍了一下方法思路,算是抛砖引玉吧!

OpenCV学堂 专注计算机视觉开发技术分享,技术框架使用,包括OpenCV,Tensorflow,Pytorch教程与案例,相关算法详解,最新CV方向论文,硬核代码干货与代码案例详解!作者在CV工程化方面深度耕耘15年,感谢您的关注!
评论 (0)
  • 引言:为什么THA6能成为“国产芯”的破局者?当全球汽车行业因芯片短缺陷入“卡脖子”困境时,紫光同芯的THA6系列车规MCU横空出世,不仅填补了国产高端MCU的空白,更凭借“功耗控制”与“热管理”两大杀手锏,直接对标国际大厂英飞凌TC387。北京贞光科技作为授权代理商,提供硬件、软件SDK及技术支持,并可现场协助芯片选型和定制服务,助力客户项目高效落地。从动力域控制到智能驾驶系统,THA6的足迹遍布新能源汽车核心场景。数据显示,其主频高达400MHz,算力超4000 DMIPS,却能在-40℃至
    贞光科技 2025-02-19 17:17 76浏览
  • 清晨,闹钟准时响起,窗帘自动拉开,床灯随之亮起,音箱中则自动传出每日的早间新闻,从而唤醒熟睡中的你,而这只是智能家居中的冰山一角。作为人类群体追求更高生活品质的居住空间,智能家居正飞速普及至我们的日常生活之中,极大地提升了生活的便利性与舒适度。然而,随着单品智能向全屋智能的快速发展,不同智能家居设备的工作电压与通信频率等运行参数存在差异,它们共同运行在一个智能家居系统之中,其所产生的电气噪声与电磁干扰会互相影响,并形成潜在的安全隐患。例如,电气噪声可能导致线路过热,增加电气火灾的发生风险;电磁干
    华普微HOPERF 2025-02-18 10:48 101浏览
  • 故障现象 一辆2013款奔驰S300L车,搭载272 946发动机,累计行驶里程约为15万km。车主反映,将挡位置于D挡,稍微释放一点制动踏板,车辆蠕动时车身明显抖动,类似气缸失火时的抖动,又类似手动变速器,离合器片不平,起步半离合时的那种抖动;完全释放制动踏板后,抖动现象消失,且车辆行驶无明显异常。为此更换过火花塞、点火线圈,清洗过燃油管路,故障依旧;接着又大修了自动变速器,并更换了液力变矩器,但故障依然存在,于是将车开至我厂进行检修。 故障诊断 接车后试车,确认故障现象与车主所述一
    虹科Pico汽车示波器 2025-02-19 14:14 117浏览
  • 概述        在上一篇文章中,我们了解了TC10规范的内容,并掌握了基于以太网链路的物理层休眠唤醒机制。为了确保不同厂商的设备在以太网休眠唤醒功能上的互操作性,OPEN Alliance制定了详细的测试规范。测试规范        针对以太网休眠唤醒机制的测试,包含在各个以太网速率下的IOP测试规范中,具体如下:《10BASE-T1S Interoperability Test Suite》《100BASE-T
    经纬恒润 2025-02-19 13:20 122浏览
  • 概述        TC10 为OPEN Alliance 中的一个技术委员会小组,专注于研究基于车载以太网的休眠唤醒机制,旨在为汽车应用场景提供灵活的休眠唤醒解决方案。该小组提出的休眠唤醒规范(《TC10 Sleep/Wake-up Specification》,以下简称TC10规范)作为对IEEE 802.3系列规范的补充,详细定义了以太网PHY的休眠唤醒过程、新增服务原语和接口、时间参数、指令描述等内容。目前,TC10已经发布了适配10Ba
    经纬恒润 2025-02-18 14:30 147浏览
  • 随着国内市场的逐渐稳固,华为将目光投向了广阔的海外市场,开启了一段充满挑战与机遇的国际化征程。然而,华为在拓展海外市场时,遭遇了重重困难。文化差异带来的挑战不同国家和地区有着不同的文化背景、商业习惯和价值观,这使得华为在与当地客户、合作伙伴沟通和合作时面临诸多障碍。在欧洲,一些客户对产品的认证标准和售后服务有着非常严格的要求,并且注重商务活动中的礼仪和沟通方式。在机上欧洲通信市场竞争激烈,爱立信、诺基亚等本土企业在技术、品牌和市场份额上具有优势。而且欧洲各国的通信标准和监管政策不同,华为需要满足
    韭菜财经 2025-02-18 14:11 221浏览
  • 故障现象 一辆2010款路虎揽胜车,搭载5.0 L发动机,累计行驶里程约为16万km。车主反映,接通空调开关后,有时出风忽大忽小,有时不出风,有时要等2 min左右才出风;有时两三天出现一次,有时好几天才出现一次,故障没有规律。 故障诊断接车后试车,故障现象并未出现。使用故障检测仪检测,在空调控制单元(HVAC)中存储有故障代码“U1000-00 固态驾驶员保护微活-驾驶员已禁用”。查看该故障代码相关说明,可能的原因为中央接线盒输出电路对搭铁或电源短路,这与空调出风故障没有关联。如图1
    虹科Pico汽车示波器 2025-02-19 13:49 87浏览
  • 新技术的快速发展,其实与企业的管理机制、企业文化,甚至团队氛围、职场理念等方面非常相关!最近看到某平台有人吐槽00后实习生难带,进而又说到正常的工作安排被实习生莫名拉黑了。我就在人家的笔记评论区里写了我的观点(劝架风格),当然不出意料的就被更多的陌生人给围攻了!说起应届生的事情,可能是我一直长得年轻、又是个很较真很技术的人,我在多家企业里总被不同性格的老板拉去管“校企打杂”(所谓的领先企业应尽的社会责任,是连HR们都看不上的义务工作,给大学讲行业的意义和专业的意义)。我早就习惯了一种常见现象,像
    牛言喵语 2025-02-20 02:23 87浏览
  • 这是一个3.3V 的供电开关,给WIFI模块供电。目的是能控制WIFI模块通电或断电。VCC_3V3 是电源,当WLENN为低时,Q1打开输出VCCW 给WIFI模块供电。实际使用时,当控制WLENN为低给模块供电时,MCU异常程序跑飞。不安装模块时不会跑飞。测试MCU的 3.3V供电,发现在WLENN为低时,3.3V会拉低到2V左右时间5uS。判断认为是瞬间电压过低引起程序跑飞。而WIFI模块通电瞬间电流较大,引起3.3V供电不稳。试着将电路更改一下。将连接到输出端VCCW的电容移动到输入端V
    southcreek 2025-02-20 13:35 51浏览
  • 嘿,大家好!在高压电子世界里摸爬滚打的朋友们,你们有没有遇到过这样的难题?那就是,如何选择适合高压环境的光颉精密电阻? 这可不是一个简单的问题,毕竟在高压环境下,电阻不仅要顶得住电压的“压力”,还得保证精度和稳定性,这要求可真不低。想想看,如果选错了电阻,就像给跑车装了个自行车轮,那能行吗?肯定不行!轻则电路性能大打折扣,重则电阻直接“罢工”,甚至引发更严重的后果。所以说,在高压应用中,选择一款靠谱的光颉精密电阻,那可是至关重要的。别担心,今天咱们就来好好聊聊,如何选择适合高压环境的光
    贞光科技 2025-02-18 17:28 137浏览
  • 如何更有效地融合竞争、可持续与协作策略,从而彻底革新晶圆制造厂与半导体生产方式,进而提升效率与性能?这正是与electronica 2024同期举办的晶圆厂管理论坛所探讨的核心议题。该论坛堪称欧洲电子制造业领域最具影响力的盛会。艾迈斯欧司朗 “移动与照明” 业务线高级副总裁Wolfgang Lex与众多来自欧洲半导体及电子产业界的代表及论坛委员会成员齐聚一堂,共同分享行业洞见。在“汽车光子技术之旅”主题演讲中,Lex深入探讨了光智能(简称OI)在弥补人工智能与机器和、人之类间“最后一公里”距离中
    艾迈斯欧司朗 2025-02-19 19:23 44浏览
  • 过去一年,厨电行业的AI竞赛进入“大模型时代”,各大品牌纷纷亮出了自己的杀手锏。老板电器的“食神大模型”、方太的“Healthy CookingGPT”轮番登场,两者都立志要用AI“重新定义厨房”。新的一年,大模型技术的不断成熟与迭代,AI将不再仅仅是概念上的炒作,而是真正融入到每一个厨房场景中。这场在厨电领域内悄然进行的“科技革命”无疑将步入一个更为深入且广泛的实践应用阶段,AI厨电狂欢开始了。AI厨电“燃”起来了众所周知,厨电行业的发展与房地产市场密切相关。随着房地产市场的调整,新房装修需求
    刘旷 2025-02-19 10:51 117浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦