如今,AI生成视频已经成为新的风潮,但相关的技术应用研究早在几年前就已经广泛开展。其中,英国初创企业Synthesia就是其中代表之一。
近日,这家生成式AI公司又发布了新的技术动态,声称通过该公司AI功能,用户现在可以使用笔记本电脑摄像头或手机创建AI人物形象演示。这一AI技术能力将是该公司成为大型企业综合视频制作套件战略的一部分。
图源:Synthesia
值得一提的是,Synthesia的主要功能是将文本自动转化为真人出镜的视频,并且支持多种语言和口音的文本转语音功能。Synthesia的AI生成能力已经得到很多资本机构的青睐,甚至AI芯片巨头英伟达也对其进行了投资。
用AI驱动虚拟形象创作
据悉,Synthesia成立于2017年,总部位于英国伦敦,由研究人员和企业家维克托 · 里帕贝利(Victor Riparbelli)、马蒂亚斯 · 尼斯纳(Matthias Niessner)、斯蒂芬 · 特杰里尔德(Steffen Tjerrild)和卢尔德斯 · 阿加皮托(Lourdes Agapito)创立。
该公司开发的软件可以帮助用户使用人工智能技术制作自己的数字化身,用来发表企业演讲、培训视频,甚至可以使用120多种不同的语言来进行演示。
图源:Synthesia
Synthesia的AI功能通过多种技术和方法实现从文本到视频的转换。首先,用户可以通过上传文档或粘贴链接来生成视频。Synthesia使用先进的自然语言处理(NLP)和机器学习技术,将文本内容转化为逼真的演讲视频。
在生成视频的过程中,Synthesia会创建一个虚拟数字人形象,这些形象能够根据文本内容展现出不同的面部表情、语音和肢体语言。这种技术使得视频中的角色可以根据所表达的内容展现出不同的情绪和肢体动作,从而使视频更具生动性和吸引力。
同时,Synthesia还提供了一个名为AI Video Assistant的工具,该工具可以帮助用户直接将现有的公共链接、文件或其他基于文本的源转换为视频。这个过程简化了从文本到视频的转换过程,避免了从头开始编写脚本或手动设计视频布局的需求。
此外,用户可以通过点击语音选择栏来更改特定语言的口音。
因此,整个制作视频的过程相对简单,只需要提供文本稿件、选择虚拟主播化身、设置场景和背景音乐等。Synthesia就可以自动完成视频的制作,这可以帮助用户免除制作视频过程中大量的成本。
新AI功能进一步提升效率
对新的AI功能,Synthesia强调,其专注于提升业务生产率,而不仅仅是提供人工智能人物形象。
据悉,Synthesia新的AI功能包括使用网络摄像头或手机创建AI人物形象、带有手臂的“全身”人物形象以及具有AI人物形象引导用户浏览内容的屏幕录制工具。
不过,最值得称道的是,新AI功能之一是可以使用少于五分钟的通过网络摄像头或手机拍摄的视频片段创建由人工智能生成的人物形象。这一功能在一定程度上解决了目前AI在生成人物形象时可能会出现无法理解语义、不灵活等问题,以及导致生成的形象显得僵硬和缺乏自然感。
此外,用户还可以利用该AI功能克隆自己的声音,使人物形象可以用多种语言说话。
据一些媒体报道,目前Synthesia已经为一些大企业甚至“财富500强”公司提供服务,可以帮助这些企业创建各种用途的AI人物形象,如定制培训视频和促销材料。
Synthesia的联合创始人兼CEO Victor Riparbelli曾称,该公司最初是针对好莱坞机构和高预算视频制作公司的。但是,后来该公司把注意力转向了亿万缺乏传统视频制作预算的人的普及视频创作。
获得英伟达的青睐
实际上,Synthesia的服务是一种类似于ChatGPT的生成式人工智能。2023年6月,Synthesia透露,该公司已从包括美国芯片巨头(英伟达)在内的投资者那里获得9,000万美元的融资资金。这轮融资对该公司的估值为10亿美元。
目前,Synthesia的竞争对手包括Veed、Colossyan、Elai和HeyGen等人工智能视频工具。此外,TikTok最近推出了Symphony Assistant,也允许创作者制作自己的人工智能形象。
有媒体报道,该公司通过各种订阅定价计划产生收入,这些计划的价格范围从22美元的“入门版”到67美元的“创作者版”,再到定制的“企业版”,价格根据与Synthesia的销售团队的谈判而定。
Synthesia获得广泛关注是一次利用AI技术制作了英国足球巨星大卫·贝克汉姆的合成视频。
2019年,Synthesia在征得大卫·贝克汉姆的同意之后,与公益组织合作制作了一段合成视频。视频中虚拟的贝克汉姆用9种不同的语言呼吁人们提高对疟疾的认识,以敦促世界各国领导人对这一致命疾病的展开行动。
不过,Synthesia先进的视频人工智能工具也引发了人们的担忧,特别是这些AI工具深度伪造用户的形象,可能会带来一些安全和隐私风险。
为此,Synthesia公司采用了强大的加密机制来保护客户数据,所有存储的客户数据都使用256位高级加密标准(AES-256)进行加密。加密密钥在亚马逊密钥管理服务(KMS)内存储和管理,并定期轮换。
此外,Synthesia的产品开发过程中始终将人们的利益放在首位,其数据处理和系统符合SOC2和GDPR标准,并设有信任与安全团队保障数据安全和AI的道德应用。