OpenAI的DALL-EAI图像生成器现在也可以编辑图片了

传感器技术 2022-04-26 07:00 2875浏览 0评论 0点赞

TOLG 技术采用超紧凑的海鸥翼式引脚设计 4.23杭州！半导体产业链测试全链路解密

DALL-E 2 结果为“泰迪熊将闪闪发光的化学物质混合为疯狂的科学家，蒸汽朋克”。

人工智能研究小组 OpenAI创建了一个新版本的 DALL-E，它的文本到图像生成程序。DALL-E 2 具有原始系统的高分辨率和低延迟版本，可生成描绘用户描述的图片。它还包括新功能，例如编辑现有图像。与之前的 OpenAI 工作一样，该工具并未直接向公众发布。但研究人员可以在线注册以预览该系统，OpenAI 希望以后可以将其用于第三方应用程序。

最初的 DALL-E 是艺术家“萨尔瓦多·达利”和机器人“WALL-E”的组合，于2021 年 1 月首次亮相。这是对人工智能视觉表达概念能力的有限但引人入胜的测试，从对法兰绒衬衫人体模型的平凡描绘到“乌龟制成的长颈鹿”或萝卜遛狗的插图。当时，OpenAI 表示将继续在该系统的基础上进行构建，同时检查潜在的危险，例如图像生成偏差或错误信息的产生。它试图使用技术保障和新的内容策略来解决这些问题，同时减少其计算负载并推动模型的基本功能。

“戴贝雷帽和黑色高领毛衣的柴犬狗”的 DALL-E 2 结果。

DALL-E 2 的一项新功能是修复，它在更精细的级别上应用了 DALL-E 的文本到图像功能。用户可以从现有图片开始，选择一个区域，然后告诉模型进行编辑。例如，您可以将客厅墙上的一幅画挡住，然后用另一幅画替换它，或者在咖啡桌上添加一瓶鲜花。该模型可以填充（或移除）对象，同时考虑房间中阴影方向等细节。另一个功能，变体，有点像不存在的图片的图像搜索工具。用户可以上传起始图像，然后创建一系列与其类似的变体。他们还可以混合两个图像，生成具有两者元素的图片。生成的图像为 1,024 x 1,024 像素，比原始模型提供的 256 x 256 像素有了飞跃。

DALL-E 2 建立在 CLIP 之上，这是 OpenAI 去年也宣布的计算机视觉系统。OpenAI 研究科学家 Prafulla Dhariwal 说：“DALL-E 1 只是从语言中提取了我们的 GPT-3 方法并将其应用于生成图像：我们将图像压缩成一系列单词，我们刚刚学会了预测接下来会发生什么。”许多文本 AI 应用程序使用的 GPT 模型. 但单词匹配并不一定能捕捉到人类认为最重要的品质，而且预测过程限制了图像的真实性。CLIP 旨在以人类的方式查看图像并总结其内容，OpenAI 在此过程中迭代以创建“unCLIP”——一个从描述开始并朝着图像前进的倒置版本。DALL-E 2 使用称为扩散的过程生成图像，Dhariwal 将其描述为从“点袋”开始，然后以越来越多的细节填充图案。

房间的现有图像，在一个角落添加了火烈鸟。

有趣的是，关于 unCLIP 的一篇论文草稿说它部分抵制了 CLIP 的一个非常有趣的弱点：人们可以通过用一个表示其他东西的词（如 iPod ）。作者说，变体工具“仍然很有可能生成苹果图片”，即使使用的是 CLIP 无法识别为史密斯奶奶的错误标签图片。相反，“尽管该标题的相对预测概率非常高，但该模型从未生成 iPod 的图片。”

DALL-E 的完整模型从未公开发布，但其他开发人员在过去一年中已经磨练了自己的工具来模仿它的一些功能。最受欢迎的主流应用程序之一是 Wombo 的 Dream 移动应用程序，它可以生成用户以各种艺术风格描述的任何图片。OpenAI 今天没有发布任何新模型，但开发人员可以使用其技术发现来更新他们自己的工作。

DALL-E 2 结果为“一碗看起来像怪物的汤，用羊毛编织而成。”

OpenAI 已经实施了一些内置的保护措施。该模型是根据剔除一些令人反感的材料的数据进行训练的，理想情况下会限制其产生令人反感的内容的能力。有一个水印表明该作品的 AI 生成性质，尽管理论上它可以被裁剪掉。作为一种先发制人的反滥用功能，该模型也无法根据名称生成任何可识别的面孔——即使要求像蒙娜丽莎这样的东西，显然也会从绘画中返回真实面孔的变体。

DALL-E 2 将由经过审查的合作伙伴进行测试，但有一些警告。禁止用户上传或生成“非 G 级”和“可能造成伤害”的图像，包括任何涉及仇恨符号、裸露、淫秽手势或“与正在进行的重大地缘政治事件相关的重大阴谋或事件”的内容。他们还必须披露人工智能在生成图像中的作用，并且他们不能通过应用程序或网站将生成的图像提供给其他人——所以你最初不会看到像 Dream 这样的由 DALL-E 驱动的版本。但 OpenAI 希望稍后将其添加到该组织的 API 工具集中，使其能够为第三方应用程序提供动力。Dhariwal 说：“我们希望在这里继续进行分阶段的过程，这样我们就可以从获得的反馈中不断评估如何安全地发布这项技术。”

本公众号高薪签约长期专栏作者，欢迎具备优秀写作能力的科技从业或爱好者，联系传感器小编：YG18511751369（微信号）

期待下一篇10W+出自您的笔下！

免责声明：本文版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题，请第一时间告知，我们将根据您提供的证明材料确认版权并按国家标准支付稿酬或立即删除内容！本文内容为原作者观点，并不代表本公众号赞同其观点和对其真实性负责。