点击上方↑↑↑“OpenCV学堂”关注我
来源：公众号 新智元 授权

最近，韩国最大的漫画平台网站Naver webtoon（네이버만화）推出了一个新工具WebtoonMe，可以将自拍照或者视频转换为韩式网络漫画的风格。

配合声音「食用」更佳

此处先上一波效果：

项目一经推出，就在Reddit上引发了热议，不到一天时间就收获了超1700个支持。

一方面是韩国美少女自带流量，另一方面则是将照片转换为漫画后，画面还有很大的提升空间。

首先，漫画人物的眼球不会动，也不会眨眼，眯眼等动作，就显得不是特别「真实」。

还有的网友指出，「恐怖谷理论」的假设场景在这里特别明显。

恐怖谷理论（Uncanny Valley）于1970年由日本机器人专家森政弘提出，简单来说就是，由于机器人和人类在外表、动作上都会十分相似，所以人类对机器人天然的就是正面情感；但是当机器人真实到一定地步的时候，哪怕有一点点与人类不同的地方，都会显得十分刺眼，让机器人显得僵硬恐怖，使人有面对僵尸的感觉。

而生成的网络漫画人物有着呆板的眼睛，「心灵的窗户」被关上了，自然显得十分诡异。

不会开发AI的漫画家不是好炼丹师

2018年，36岁的人气网络漫画作家河一权就利用AI技术在Naver Webtoon上发表新概念漫画 《邂逅》（Met），发布第二天的累计浏览量就突破了4000万。

通过将读者的形象融入网络漫画中，读者可以和漫画中的人物在学校环境中进行眼神交流、直接交谈和发展情绪的故事，因为读者通过与作品进行互动来推进剧情，所以这类漫画也称为互动网络漫画（interactive Webtoon）。

Met也是业界首部互动网络漫画。

这类漫画特别受欢迎，许多人非常喜欢这种沉浸式故事参与感，而非简单地阅读作者给出的故事。

受到Met的启发，这次推出的WebtoonMe项目则将转换技术更进一步，在保留人物照片特点的同时生成网络漫画风格图片。

当你想到「将照片变成漫画的技术」时，最好奇的是什么？三次元的人脸是如何变成二次元的？

在好奇心的驱使下，团队经过无数次的试验，基于深度学习的人脸转换技术终于开始有了一下眉目。

然而，想要把背景也换成「二次元」风格时，却遇到了一个意想不到的问题，直接使用之前的技术会导致生成的结果非常地不自然。

在分析数据时，团队得出一个结论：漫画数据集中的物体具有独特的「风格」属性，这与通常用于深度学习研究的自然照片数据集不同。

此外，与换脸不同，照片中的各种对象（如脸部、身体部位、背景等）也都需要不同的「风格」，，而团队最开始却没有意识到这一点。

于是，团队决定深入了解网络漫画的创作过程，从而了解不同的作品是如何将不同的物体风格化的。

在采访了几位创作者之后，团队了解到：「前景（包括人脸）」和「背景」是用不同的工具创建的。

首先，需要建立一个由人脸、身体、物体和背景等各种「零部件」组成的网络漫画数据集，然后再创建各种深度学习模型来减少前景和背景之间的风格差异。最后，应用几种模仿不同创作者的修饰技术的后期处理算法，从而更自然地提高结果的质量。

从AI上色到AI换脸

作为网络漫画行业的领军者，韩国国内第一大漫画平台Naver Webtoon此前一直致力于开发新的内容IP，例如大火的偶像剧《我的ID是江南美人》即出自此平台。

随着AI技术的实用性越来越强，Webtoon AI团队利用深度学习技术开发了几个项目，不仅能提高网络漫画读者的阅读体验，同时也能帮助创作者进行创作。

2021年10月27日，Naver Webtoon宣布推出Webtoon AI Painter的测试服务，能够帮助创作者对草图进行着色。

AI算法首先会对图片进行区域分割，当创作者选择一种颜色并触摸相应区域时即可对该区域进行自动上色。与现有的手动着色不同，AI着色只需几次触摸即可完成全图着色，能够极大提升网络漫画创作者的着色时间，从而提高创作效率。

Webtoon AI Painter的开发历时3年，主要技术还是深度学习模型，使用了大约 30 万个数据来学习图像中每个区域的特征和各种着色风格，例如人的面部、身体和背景。该上色技术的模型相关工作还发表在了WACV 2022上。

除此之外，Webtoon AI Painter还通过应用图层分离的PSD（Photoshop文件格式）存储功能和原创分辨率维护技术，为创作者的后期编辑工作提供了更好的技术服务。 

布局美女元宇宙

在完全虚拟的元宇宙世界中，用户需要一个虚拟分身，基于自拍照生成的虚拟分身能够更好地同时保留真实感和虚拟感。

2018年8月，Naver Z公司推出元宇宙虚拟时尚社交平台Zepeto，用户可以在软件里自由打造个人数字形象，主打的就是一个「时尚」！

用户需要先在平台上「捏脸」，按照自己的喜好捏出脸型和五官；然后在平台上用虚拟货币购买时尚服装和饰品等，装扮自己的虚拟形象；还可以购买解锁不同的姿势、动作，选择不同的照相背景跟朋友合照；同时，用户也可自己在Zepeto平台上制作内容，并赚取收益。

用户还可以在Zepeto内上传自拍，然后将其转换成社交平台内的3D虚拟化身。

除了虚拟人物之外，Zepeto还打造了一个虚拟游戏世界，用户可以操作自己的虚拟人物在世界里行动。平台设置的社交场景丰富多样，有鬼屋、教室、学校、著名景点等，用户可以在参加派对、露营或者甚至朋友的虚拟婚礼等。

Zepeto跟时尚娱乐领域紧密合作，常邀请著名时尚品牌在平台上发布虚拟服装饰品，也跟k-pop娱乐公司联手推出活动。

去年2月，Gucci在Zepeto上发布了模仿意大利总部的虚拟「Gucci别墅」，并推出NFT时尚单品。用户可以用虚拟形象试穿或购买Gucci发布的虚拟服饰，还可打卡漫游「Gucci别墅」。

除此之外，D&G、Dior、Nike等著名品牌也已入驻该平台。全球流行的k-pop组合Blackpink、 ITZY 和 SF9也在Zepeto上举办过虚拟活动，发布k-pop相关内容。

品牌入驻的确为Zepeto带来了可观的收入。目前，已经有上百家公司和150万工作室创作者在Zepeto平台上推广自己的虚拟产品，还有5000万工作室的虚拟设计品正在出售。

2021年，该公司的月收入徘徊在211.7万美元至279.4万美元之间，比2020年同期增长了约70%，这些增长大多来自于跟Gucci、Dior、三星、现代等著名品牌的广告合作。

Naver Z的首席战略官Ruby Lee透露，Zepeto的月活跃用户从去年5月的1000万增长到今年1月的2000万。Zepeto拥有2.9亿注册用户，在过去的18个月内几乎翻了一番。并且在其虚拟世界中，平均用户会话时间可以达到约30分钟。

虽然相比游戏类头部元宇宙平台Roblox日活用户已超4700万的数据，Zepeto在整个元宇宙领域还远不算第一梯队的体量。

但当下的元宇宙平台大多仍然以成年男性用户为主，作为全球最大的虚拟时尚平台，Zepeto吸引了大量青少年女性用户，在元宇宙领域打出了充分的差异化效果。

Zepeto有超过2.4亿用户，其中90%来自韩国以外，80%是青少年，70%用户是女性。

2021年末，Naver Z公司旗下元宇宙虚拟社交平台Zepeto宣布获得2235亿韩元（约合1.89亿美元）的B轮融资，其中日本软银集团旗下愿景基金2号（Vision Fund 2）领投金额高达1.5亿美元。

软银的立场是十分支持元宇宙的发展的，所以获得软银的投资，一定程度上可以说明Zepeto的价值，软银投资的管理合伙人Greg Moon曾表示，相信元宇宙有可能成为互联网的下一次进化。

其他投资者还包括韩国金融公司Mirae Asset、网络漫画出版商Naver Webtoon以及K-pop机构JYP、YG娱乐和HYBE的资金。

同月Naver Z还获得了韩国游戏公司Krafton（绝地求生 PUBG的开发者）的50亿韩元（420万美元）投资。

在元宇宙概念大火的今天，仍然还有很多技术问题没有完全得到解决，AI技术解决方案可以加快元宇宙开发的速度，反过来元宇宙获得的投资也会加快AI技术的发展。

在科技洪流中，期待更美好的真实世界和虚拟世界。

参考资料：

https://webtoon.github.io/WebtoonMe/en

https://www.reddit.com/r/MachineLearning/comments/sfbtds/p_webtoonme_project_selfie_to_webtoon_style/

https://m.jiemian.com/article/6893200.html

https://weixinso.com/article/jbzehb03.html