智能汽车安全新媒体
近期，中国人工智能协会发布了《中国人工智能大模型技术白皮书》，涵盖了大模型发展历程、关键技术、困难及挑战以及未来发展的展望。
大模型发展历程
自2006年Geoffrey Hinton提出通过逐层无监督预训练解决深层网络训练难题以来，深度学习在多个领域取得突破，经历了从标注数据监督学习到预训练模型，再到大模型的转变。2022年底，OpenAI发布的ChatGPT引发了广泛关注，展现了大模型在多场景、多用途、跨学科任务处理的能力。大模型被认为是未来人工智能领域的关键基础设施。
语言大模型作为此次热潮的引领者，通过大规模预训练学习大量语言知识与世界知识，具备面向多任务的通用求解能力。其发展经历了统计语言模型、神经语言模型、预训练语言模型到语言大模型（探索阶段）的四个阶段。
大模型应用
大模型时代正逐步到来，以ChatGPT为代表的大模型技术将在经济、法律、社会等领域发挥重要作用。OpenAI研发了GPT-1（1.1亿参数）、GPT-2（15亿参数）和GPT-3（1750亿参数）等不同规模的语言模型，谷歌则推出了5400亿参数的PaLM模型。当模型参数规模达到千亿量级，语言大模型展现出多方面能力跃升。例如，GPT-3通过提示词或少数样例即可完成多种任务。
OpenAI在Transformer架构推出后，研发了一系列语言大模型技术。GPT-1探索了解码器Transformer架构在自然语言任务求解能力；GPT-2验证了扩大模型参数规模的有效性，并探索了基于自然语言提示的多任务解决能力；GPT-3首次探索了千亿参数规模的语言模型效果，提出基于“上下文学习”的任务解决方法。
CodeX使用代码数据对GPT-3进行微调，提升代码和复杂推理能力；InstructGPT和ChatGPT基于人类反馈的强化学习技术，强化对于人类指令的遵循能力和人类偏好的对齐能力；GPT-4能够处理更长的上下文窗口，具备多模态理解能力，逻辑推理、复杂任务处理能力得到显著改进。
随着GPT-4的成功，语言大模型对多模态领域产生了重要影响，可以接受文本与图像组合的输入，更加符合人类的多渠道感知方式，应对更复杂的任务。GPT-4表明，引入基于人类知识的自然语言能提升模型的多模态理解和生成能力。
大模型技术生态正在发展，多种服务平台向个人开放和商业应用延伸。OpenAI API让用户通过API访问不同的GPT模型完成任务。Anthropic开发的Claude系列模型通过无监督预训练和强化学习进行训练，强调模型的有用性、诚实性和无害性。百度文心一言是基于知识增强的大模型，提供多种开放服务，还建设了插件机制拓展能力。
讯飞星火认知大模型具有开放式知识问答、多轮对话、逻辑和数学能力，以及对代码和多模态的理解能力。讯飞和华为联合发布了支持大模型训练私有化的产品“星火一体机”。
更多白皮书内容，可关注“谈思汽车”公众号，后台回复“人工智能白皮书”，获取下载链接。
内容来源：
https://mp.weixin.qq.com/s/ZI8L-DfgkAowMfjd8fg99w
- THE END -
专业社群
精品活动推荐
因文章部分文字及图片涉及到引用，如有侵权，请及时联系17316577586，我们将删除内容以保证您的权益。
