语言模型 - 电子工程专辑

语言模型

大语言模型架构

Transformer 模型主要由两个核⼼部分构成：编码器（Encoder）和解码器（Decoder）。依托这两个关键组件的不同组合和应⽤，Transformer 模型发展出三种主流架构：编码（Encoder-Only）⼤语⾔模型、解码（Decoder-Only）⼤语⾔模型以及编解码（Encoder-Decoder）⼤语⾔模型。本文来自西南财大，更多大模型技术参考自“35+份大模型技术三部曲合集”

智能计算芯世界 2025-05-01 113浏览
预训练语言模型

本文来自西南财大《大模型应用：从提示工程到AI智能体》，参考自“35+份大模型技术三部曲合集”，“AI智能体核心技术”，“大模型检索增强”，“预训练语言模型”。预训练语言模型（ Pre-trained Language Models ）通过在大规模未标记文本数据上进行自监督学习，来预先训练通用的语言表示。它不再局限于简单的生成任务，而是通过各种自监督任务（如掩码语言建模和下一句预测）学习到更丰富和

智能计算芯世界 2025-04-26 114浏览
微软发布最轻量级大语言模型！可在CPU上高效运行

微软研究人员刚刚创建了 BitNet b1.58 2B4T，这是一个开源的 1 比特大语言模型（LLM），拥有 20 亿个参数，在 4 万亿个词元上进行了训练。但这个人工智能模型的独特之处在于它足够轻量，可以在中央处理器（CPU）上高效运行，《科技创业》杂志称苹果 M2 芯片就能运行它。该模型在 Hugging Face 平台上也可轻易获取，任何人都能对其进行测试。Bitnet 使用 1 比特权重

EETOP 2025-04-18 131浏览
大语言模型火爆的今天，我们为什么还要拥抱世界模型？

图灵奖得主杨立昆认为，目前AI界持续追捧的大语言模型并非十全十美，它隐藏着四个难以突破的致命弱点：一是理解物理世界，二是拥有持久记忆，三是具备推理能力，四是复杂规划能力。而能够克服第一个“致命弱点”的技术，叫作世界模型。这听起来或许很抽象，但你一定知道谷歌的3D游戏、特斯拉的自动驾驶。世界模型意味着机器能够像人一样辨别物理空间、理解物理规律、根据经验做出推理决策。与大语言模型不同的是，世界模型不再

脑极体 2025-04-08 141浏览
大语言模型上车应用-车载智脑

本文约5,000字，建议收藏阅读作者 | 直观解出品 | 汽车电子与软件#01佐罗与马—大语言模型在汽车行业的最大用途是自然语言控车大语言模型在汽车行业的最大用途（如果不是之一的话）是让人类像控制马一样控制车辆。让车辆变成能听懂人话的灵性智能体。人类和动物的感官是定性的，人类的思维方式是启发式的（也就是总结道理应用道理），因此人类的语言输出从根本上讲是定性而非定量的

汽车电子与软件 2025-02-10 196浏览
Deepseek上单片机？RT-Thread上跑通大语言模型

前言单片机也能聊天？RT-Thread上跑通大语言模型在RT-Thread论坛上忽然看到了单片机和大模型对话的文章，想着春节期间看到大语言模型的热度持续攀升，恰巧手头有块RA8D1 Vision Board开发板，于是尝试着在Vision Board上对接下大语言模型的API，实现智能对话功能。测试平台● Vision Board(购买链接：https://item.taobao.com/item

RTThread物联网操作系统 2025-02-07 757浏览
研报|机器人大语言模型市场规模预估于2028年破千亿美元，英伟达WFM平台或成主要驱动力

‌‌Jan. 9, 2025 产业洞察根据TrendForce集邦咨询最新研究，随着人型机器人迈向高度系统整合，并有望从工业场景走进家庭生活，前端的AI模型训练将更为关键，以满足更多后端理解与互动需求。预估含AI训练、AIGC解决方案在内的全球机器人大型语言模型（机器人LLM）市场，有望于2028年超越1,000亿美元，且从2025至2028年之年复合成长率将达48.2%。而NVIDIA（英伟达）

TrendForce集邦 2025-01-09 189浏览
一文深度看懂视觉语言模型(VLM)

在本文来自于encord，从VLM 算法架构，原理，到应用方向，挑战难点方面探讨VLM 的架构、评估策略和主流数据集，以及该领域的主要挑战和未来趋势。通过了解这些基础方面，读者将深入了解如何将 VLM 应用于医疗保健、机器人和媒体等行业，汽车行业属于机器人板块，熟悉VLM可以帮助理解当前自动驾驶产品，算法挑战以及发展趋势。是一篇带有深度的科普文章，文章比较长而且需要一定的算法基础和强烈兴趣爱好来读

Vehicle 2024-12-24 1141浏览
多模态大语言模型的典型用例和应用场景｜爱分析活动

多模态大语言模型是当前AI领域的热点之一，其核心在于能够同时处理和理解多种类型的数据，包括文本、图像、音频等。这一特性使其在智能客服、内容创作、图像识别、虚拟助理等领域展现出巨大的应用潜力与价值。无论是通过图像与文本的结合提升用户体验，还是利用声音与文字的交互增强学习效果，多模态大语言模型正在不断打破传统技术的界限。正应如此，12月12日19:00，爱分析特别邀请亚马逊云科技的GenAI技术专家，

爱分析ifenxi 2024-12-04 1048浏览
超全！一文详解大型语言模型的11种微调方法

导读：大型预训练模型是一种在大规模语料库上预先训练的深度学习模型，它们可以通过在大量无标注数据上进行训练来学习通用语言表示，并在各种下游任务中进行微调和迁移。随着模型参数规模的扩大，微调和推理阶段的资源消耗也在增加。针对这一挑战，可以通过优化模型结构和训练策略来降低资源消耗。一般来说，研究者的优化方向从两个方面共同推进：一方面，针对训练参数过多导致资源消耗巨大的情况，可以考虑通过固定基础大型语言模

IT阅读排行榜 2024-10-16 757浏览
大语言模型是如何整合芯片生态系统数据的？

芝能智芯出品随着科技的飞速发展，从谷歌的Deepmind的AlphaChip开始，半导体领域正经历着一次重大的转变。而这次转变的主要推手就是人工智能（AI）。特别是大型语言模型（LLM），已经开始在芯片设计和制造的过程中发挥关键作用。通过连接之前孤立的数据源，LLM促进了不同企业和设计环节之间的紧密合作，加速了全球集成电路（IC）生态系统的进化。Part 1LLM引领的芯片设计新潮流传统上，芯片设

汽车电子设计 2024-10-02 643浏览
借助小语言模型（SLM）降低延迟：NVIDIA首款设备端小语言模型如何让数字人栩栩如生

Gamescom 2024，西山居游戏推出的“解限机（Mecha BREAK）”首次展示了采用设备端小语言模型 NVIDIA Nemotron-4 4B 的 ACE 技术，它使游戏角色提供更快、更准确的响应。在 Gamescom 2024，NVIDIA 宣布 NVIDIA ACE 技术推出首款设备端小语言模型（SLM），由 RTX AI 提供本地支持。NVIDIA ACE 是一套利用生成式 AI

英伟达NVIDIA中国 2024-08-27 692浏览
大语言模型有什么用途？

大语言模型能够识别、总结、翻译、预测和生成文本及其它形式的内容。AI 应用正在被应用于总结文章、撰写故事和进行长对话，而大语言模型在其中发挥了重要作用。大语言模型（LLM）是一种深度学习算法，能够基于从海量数据集中获得的知识，识别、总结、翻译、预测和生成文本以及其它形式的内容。大语言模型是 Transformer 模型最成功的应用之一。它们不仅用于向 AI 教授人类语言，还用于理解蛋白质、编写软件

英伟达NVIDIA中国 2024-08-12 622浏览
人工智能大语言模型发展技术研究

--关注、星标「智驾最前沿」，回复“智驾干货”--↓↓免费领取：超多份自动驾驶行业干货↓↓>> 本资料共计：49页，以下为资料部分内容，后台回复：C-0490（注：后台回复时，请务必确保关键字正确），获取完整版PDF。（完整版PDF文档文档也已在「智驾最前沿」智驾圈子进行更新，截至2024年07月22日圈子已经上传490份文档，加入圈子后圈内文档均可下载！）：... ...‍‍‍完整版PDF文档文

智驾最前沿 2024-07-23 586浏览
【南邮认证】“ChatGPT大语言模型+科研全场景”高级研修班开班！(赠价值1680元GPT4年订阅)

南邮“ChatGPT大语言模型+科研全场景”高级研修班开班！本期暑期班赠价值1680元GPT4一年无限制订阅！！“0”门槛，都能学！1为什么说AI大模型是科研人必学的工具？随着人工智能技术AI的不断发展和应用，ChatGPT作为一种强大的自然语言处理技术，无论是自然语言处理、对话系统、机器翻译、内容生成、图像生成，还是语音识别、计算机视觉等方面，都有着极为广泛的应用前景。特别在各学科研究领域，如何

TsinghuaJoking 2024-07-19 744浏览
大语言模型形态：智能体（AIAgent）

本文来自“2024人工智能大语言模型发展技术研究报告”，随着技术飞速发展，智能体（AI Agent）正成为一股革命性力量，正在重新定义人与数字系统互动的方式。AI Agent是一种高效、智能的虚拟助手，通过利用人工智能自主执行任务。它被设计成能感知环境、解释数据、做出明智决策，并执行动作以实现预先设定的目标。在企业环境中，AI Agent通过自动化例行任务和分析复杂数据来提高效率，使员工能够集中精

智能计算芯世界 2024-07-11 784浏览
揭秘大语言模型Grok-1在全国产GPU上的完美体验

导读埃隆·马斯克一直是开源的支持者，对OpenAI逐渐闭源的商业路线不满。随着在X上的正面开怼：“告诉我们更多关于OpenAI “开放”的部分（Tell us more about the“Open”part of OpenAI）”，2024年3月17日xAI开源了大语言模型Grok。本文主要揭秘Grok-1在全国产GPU上的运行体验。DCU，大语言模型应用的解决方案海光DCU (Deep Com

智能计算芯世界 2024-06-27 863浏览
【光电智造】大语言模型(LLM)快速理解

今日光电有人说，20世纪是电的世纪，21世纪是光的世纪；知光解电，再小的个体都可以被赋能。追光逐电，光赢未来...欢迎来到今日光电！----追光逐电光赢未来----自2022年，ChatGPT发布之后，大语言模型（Large Language Model），简称LLM掀起了一波狂潮。作为学习理解LLM的开始，先来整体理解一下大语言模型。一、发展历史大语言模型的发展历史可以追溯到早期的

今日光电 2024-05-30 831浏览
芯报丨小米大语言模型MiLM通过备案

聚焦:人工智能、芯片等行业欢迎各位客官关注、转发每日芯报0517期❶小米大语言模型MiLM通过备案小米公司5月16日宣布，小米大语言模型MiLM正式通过我国大模型备案。小米表示，将包括大模型在内的人工智能（AI）技术看作一种生产力，将AI真正镶嵌在业务与产品中，为生产、生活赋能。小米表示，小米大模型以轻量化和本地部署为突破口，大模型团队成立于2023年4月。大模型能力下放到端侧，这不仅能更有效地保

AI芯天下 2024-05-17 617浏览
OpenAI推出全新大语言模型GPT-4o；苹果将在中国开售VisionPro；软银几乎全部出售阿里股份|日报

互联网与科技企业每日重点资讯文 | 苏丁巨头动向OpenAI推出全新大语言模型GPT-4oOpenAI推出了新的大语言模型GPT-4o。这是其已经问世一年多的GPT-4模型的更新版本。该模型基于来自互联网的大量数据进行训练，更擅长处理文本和音频，并且支持50种语言。新模式将面向所有用户，而不仅仅是付费用户。相比GPT-4 Turbo，GPT-4o的速度快了两倍，成本降低了50%，API速率限制、即

全球TMT 2024-05-14 765浏览
大语言模型：LLM技术报告

大语言模型（LLM）技术作为人工智能领域的一项重要创新在今年引起了广泛的关注。LLM 是利用深度学习和大数据训练的人工智能系统，专门设计来理解、生成和回应自然语言。这些模型通过分析大量的文本数据来学习语言的结构和用法，从而能够执行各种语言相关任务。以 GPT 系列为代表，LLM 以其在自然语言处理领域的卓越表现，成为推动语言理解、生成和应用的引擎。LLM 在多个领域都取得了令人瞩目的成就。在自然

智能计算芯世界 2024-05-03 1067浏览
NVIDIA培训|生成式AI与大语言模型（LLM）选课指南

为了满足广大 AI 初学者和专业开发人员的多样化学习需求，NVIDIA 深度学习培训中心（DLI）近期发布了十多门生成式 AI 与大语言模型（LLM）技术和应用开发的培训课程，并分别从不同维度为您梳理出多套学习路径。希望作为您的选课指南，帮助您按需定制化选择相关课程，高效规划适合您的开发技能提升路径。这些课程中，既提供新手友好的免费课程，例如《生成式 AI 入门》和《使用 RAG 增强大语言模型入

英伟达NVIDIA中国 2024-04-28 1044浏览
Meta发布最新一代AI助手与大语言模型Llama3，挑战OpenAI的GPT！

4月19日消息，meta即将挑战OpenAI的GPT，推出了其最新一代大语言模型Llama 3，以及全新升级的人工智能助手meta AI。这一消息于美东时间4月18日周四正式发布。meta自称，Llama 3是迄今为止能力最强的开源LLM，具有强大的参数规模和性能。据了解，Llama 3将在各大云平台得到启用，包括亚马逊、微软、谷歌云等，并且得到了英伟达等芯片巨头以及戴尔等硬件厂商的支持。英伟达透

飙叔科技洞察 2024-04-20 1123浏览
解码AI：揭秘聊天机器人的“大脑”-大语言模型

如果说 AI 正处于改变历史的“iPhone 时刻”，那么聊天机器人就是其首批热门应用之一。聊天机器人的诞生离不开大语言模型，这是一种基于大规模数据集进行预训练的深度学习算法，能够识别、总结、翻译、预测和生成文本及其他形式的内容。这类模型可以在由 NVIDIA GeForce 和 RTX GPU 提供支持的 PC 和工作站上本地运行。大语言模型擅长总结大量文本，通过数据分类和挖掘来获取见解，以及按

英伟达NVIDIA中国 2024-04-16 1015浏览
南京邮电大学ChatGPT/GPT4等大语言模型研学班

南京邮电大学是国家“双一流”建设高校和江苏高水平大学高峰计划A类建设高校，其前身是1942年诞生于山东抗日根据地的八路军战邮干训班，是我党、我军早期系统培养通信人才的学校之一。办学81年来，学校为国家输送了各类优秀人才27万余名，很多成为国内外信息产业的领军人物、技术精英和管理骨干，享有“华夏IT英才的摇篮”之誉。2023年，学校获批“国家级全民数字素养与技能培训基地”“江苏省全民数字素养与技能培

李肖遥 2024-04-11 817浏览

正在努力加载更多...

广告

今日新闻

热门文章排行

1 闭环！DeepSeek-R2与华为深度合体，昇腾芯片利用率达82%；推理成本较GPT-4下降了97.4%！

飙叔科技洞察  2402
2 美国要破防了！DeepSeekR2将彻底摆脱英伟达，全部基于华为芯片

快科技  1928
3 DeepSeekR2要来了！看点大爆料

ittbank  1726
4 华为激进！Mate80塞进大风扇，麒麟性能这下爆发了

手机技术资讯  1399
5 iQOOZ10TurboPro发布：特爆越级，样样超Pro

Qualcomm中国  1353
6 2025上海车展智驾域控制器方案大盘点（共28家）

汽车电子与软件  1308
7 彻底告别Windows！华为鸿蒙PC版本月发布：自主可控、统一生态

快科技  1279
8 告别Windows！华为鸿蒙PC版即将发布：自主可控、统一生态！

飙叔科技洞察  1274
9 CIS全球出货排名TOP3：中国包揽两席！

EETOP  1129
10 传华为接洽多家企业，测试昇腾910D

芯极速  970
11 小米推出首个大模型MiMo，赶超OpenAI阿里

WitDisplay  955
12 中国台湾将实施“N-1”限制，禁止台积电出口最先进制程技术！

飙叔科技洞察  925
13 华为最强大AI芯片910D曝光！首批样本5月到货对标NVIDIAH100

文Q聊硬件  781
14 394号文重磅发布，储能有何影响？

行家说储能  705
15 啥是六位半？为什么叫六位半？和万用表有什么区别？硬件工程师的必备电路调试工具

硬件那点事儿  634
16 努比亚Z70SUltra摄影师版手机发布：第七代真全面无孔屏，4099元起

CINNOResearch  617
17 日产汽车亏损达380亿元，将关停武汉工厂！在中国再投资100亿元，押注电动汽车！

飙叔科技洞察  615
18 SiC收入超13亿！三安、意法等企业披露近况

第三代半导体风向  606
19 合力泰“摘帽”冲刺，申请撤销退市风险警示及其他风险警示！

PCBworld  572
20 一加Ace5系列新机5月见！首发天玑9400E超骁龙8Gen3

快科技  548
21 两年内，国产HBM实现自给自足？没那么简单！

飙叔科技洞察  546
22 “芜限新能，瑞见未来”——走进iCAR奇瑞新能源活动在芜湖高新区圆满落幕

CINNOResearch  543
23 突发！三星等数千名高管更换SIM卡

WitDisplay  536
24 半导体4月报：半导体原产地认定细则落地，机构预估25Q2存储器合约价涨幅将扩大

华强电子产业研究所  535
25 苹果最良心的一次：iPhone17有望全系标配12GB内存

手机技术资讯  533
26 【行业资料】2024-2025年度人形机器人产业发展研报

移动机器人产业联盟  531
27 台积电公布2nm工艺良率！

半导体前沿  526
28 日产武汉工厂将停产！

谈思汽车  510
29 出货1.07亿台智能手机，龙旗科技2024年营收增长70.62%

52RD  508
30 专利战或迎和解，京东方将访问三星LG

SemiDisplayView  500

广告

最新评论更多>>

学习了

青青水草评论文章 2025-04-22

湿度正在偷偷毁掉你的基准源精度！
good,.

mhlyjay 评论文章 2025-04-22

MOS管损耗理论计算公式推导及LTspice仿真验证

资料

文库

帖子

博文

在线研讨会

EE直播间

中小数字IC云仿真加速方案：弹性资源与验证效率提升直播时间：05月22日 10:00

E聘热招职位