来源:中国半导体论坛
6月4日消息,据最新报道,华为将发布一款直接对标ChatGPT的千亿级大模型产品,名为“盘古Chat”!
据华为内部消息指,预计华为盘古Chat将于今年7月7日举行的华为云开发者大会上对外发布及内测,产品主要面向政府和企业客户。
这意味在国产大模型“军备竞赛”中,继阿里和百度之后,又一重要科技巨头入局。
据悉,盘古大模型于2020年11月在华为云内部立项成功。对于盘古大模型定位,华为内部团队确立了三项最关键的核心设计原则:一是模型要大,可以吸收海量数据;二是网络结构要强,能够真正发挥出模型的性能;三是要具有优秀的泛化能力,可以真正落地到各行各业的工作场景。
根据华为公布的一份论文数据显示,华为盘古 PanGu-Σ 大模型参数最多为 1.085 万亿,基于华为自研的 MindSpore 框架开发。整体来看,PanGu-Σ 大模型在对话方面可能已接近 GPT-3.5 的水平。
公开资料获悉,华为盘古大模型于 2021 年 4 月正式对外发布,后来又在 2022 年 4 月升级到 2.0 版本。目前,AI 大模型中的 NLP 大模型、CV 大模型以及科学计算大模型(气象大模型)均已被标记为即将上线状态。
据介绍,这是首个干亿参数中文预训练大模型,CV 大模型则首次达到 30 亿参数。盘古 CV 大模型业界最大 CV 大模型、首次实现兼顾判别与生成能力、在 ImageNet 上小样本学习能力上的业界第一;盘古气象大模型提供秒级天气预报;紫东.太初是全球首个图、文、音三模态大模型。
对于盘古大模型定位,华为内部团队确立了三项最关键的核心设计原则:一是模型要大,可以吸收海量数据;二是网络结构要强,能够真正发挥出模型的性能;三是要具有优秀的泛化能力,可以真正落地到各行各业的工作场景。
根据华为云高管的演讲 PPT 信息,目前华为“盘古系列 AI 大模型”基础层主要包括 NLP 大模型、CV 大模型、以及科学计算大模型等,上层则是与合作伙伴开发的华为行业大模型。
华为云官网显示,盘古大模型由 NLP 大模型、CV 大模型、多模态大模型、科学计算大模型等多个大模型构成,通过模型泛化,解决传统 AI 作坊式开发模式下不能解决的 AI 规模化、产业化难题,可以支持多种自然语言处理任务,包括文本生成、文本分类、问答系统等等。
具体来看,盘古 NLP 大模型首次使用 Encoder-Decoder 架构,兼顾 NLP 大模型的理解能力和生成能力,保证了模型在不同系统中的嵌入灵活性。下游应用中,仅需少量样本和可学习参数即可完成千亿规模大模型的快速微调和下游适配,这一模型在智能舆论以及智能营销方面都有不错的表现。
来源:世界半导体论坛
免责声明:本文版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请第一时间告知,我们将根据您提供的证明材料确认版权并按国家标准支付稿酬或立即删除内容!本文内容为原作者观点,并不代表本公众号赞同其观点和对其真实性负责。
为您发布产品,请点击“阅读原文”