语言模型 - 电子工程专辑

语言模型

超全！一文详解大型语言模型的11种微调方法

导读：大型预训练模型是一种在大规模语料库上预先训练的深度学习模型，它们可以通过在大量无标注数据上进行训练来学习通用语言表示，并在各种下游任务中进行微调和迁移。随着模型参数规模的扩大，微调和推理阶段的资源消耗也在增加。针对这一挑战，可以通过优化模型结构和训练策略来降低资源消耗。一般来说，研究者的优化方向从两个方面共同推进：一方面，针对训练参数过多导致资源消耗巨大的情况，可以考虑通过固定基础大型语言模

IT阅读排行榜 2024-10-16 389浏览
大语言模型是如何整合芯片生态系统数据的？

芝能智芯出品随着科技的飞速发展，从谷歌的Deepmind的AlphaChip开始，半导体领域正经历着一次重大的转变。而这次转变的主要推手就是人工智能（AI）。特别是大型语言模型（LLM），已经开始在芯片设计和制造的过程中发挥关键作用。通过连接之前孤立的数据源，LLM促进了不同企业和设计环节之间的紧密合作，加速了全球集成电路（IC）生态系统的进化。Part 1LLM引领的芯片设计新潮流传统上，芯片设

汽车电子设计 2024-10-02 455浏览
借助小语言模型（SLM）降低延迟：NVIDIA首款设备端小语言模型如何让数字人栩栩如生

Gamescom 2024，西山居游戏推出的“解限机（Mecha BREAK）”首次展示了采用设备端小语言模型 NVIDIA Nemotron-4 4B 的 ACE 技术，它使游戏角色提供更快、更准确的响应。在 Gamescom 2024，NVIDIA 宣布 NVIDIA ACE 技术推出首款设备端小语言模型（SLM），由 RTX AI 提供本地支持。NVIDIA ACE 是一套利用生成式 AI

英伟达NVIDIA中国 2024-08-27 530浏览
大语言模型有什么用途？

大语言模型能够识别、总结、翻译、预测和生成文本及其它形式的内容。AI 应用正在被应用于总结文章、撰写故事和进行长对话，而大语言模型在其中发挥了重要作用。大语言模型（LLM）是一种深度学习算法，能够基于从海量数据集中获得的知识，识别、总结、翻译、预测和生成文本以及其它形式的内容。大语言模型是 Transformer 模型最成功的应用之一。它们不仅用于向 AI 教授人类语言，还用于理解蛋白质、编写软件

英伟达NVIDIA中国 2024-08-12 576浏览
人工智能大语言模型发展技术研究

--关注、星标「智驾最前沿」，回复“智驾干货”--↓↓免费领取：超多份自动驾驶行业干货↓↓>> 本资料共计：49页，以下为资料部分内容，后台回复：C-0490（注：后台回复时，请务必确保关键字正确），获取完整版PDF。（完整版PDF文档文档也已在「智驾最前沿」智驾圈子进行更新，截至2024年07月22日圈子已经上传490份文档，加入圈子后圈内文档均可下载！）：... ...‍‍‍完整版PDF文档文

智驾最前沿 2024-07-23 530浏览
【南邮认证】“ChatGPT大语言模型+科研全场景”高级研修班开班！(赠价值1680元GPT4年订阅)

南邮“ChatGPT大语言模型+科研全场景”高级研修班开班！本期暑期班赠价值1680元GPT4一年无限制订阅！！“0”门槛，都能学！1为什么说AI大模型是科研人必学的工具？随着人工智能技术AI的不断发展和应用，ChatGPT作为一种强大的自然语言处理技术，无论是自然语言处理、对话系统、机器翻译、内容生成、图像生成，还是语音识别、计算机视觉等方面，都有着极为广泛的应用前景。特别在各学科研究领域，如何

TsinghuaJoking 2024-07-19 598浏览
大语言模型形态：智能体（AIAgent）

本文来自“2024人工智能大语言模型发展技术研究报告”，随着技术飞速发展，智能体（AI Agent）正成为一股革命性力量，正在重新定义人与数字系统互动的方式。AI Agent是一种高效、智能的虚拟助手，通过利用人工智能自主执行任务。它被设计成能感知环境、解释数据、做出明智决策，并执行动作以实现预先设定的目标。在企业环境中，AI Agent通过自动化例行任务和分析复杂数据来提高效率，使员工能够集中精

智能计算芯世界 2024-07-11 688浏览
揭秘大语言模型Grok-1在全国产GPU上的完美体验

导读埃隆·马斯克一直是开源的支持者，对OpenAI逐渐闭源的商业路线不满。随着在X上的正面开怼：“告诉我们更多关于OpenAI “开放”的部分（Tell us more about the“Open”part of OpenAI）”，2024年3月17日xAI开源了大语言模型Grok。本文主要揭秘Grok-1在全国产GPU上的运行体验。DCU，大语言模型应用的解决方案海光DCU (Deep Com

智能计算芯世界 2024-06-27 670浏览
【光电智造】大语言模型(LLM)快速理解

今日光电有人说，20世纪是电的世纪，21世纪是光的世纪；知光解电，再小的个体都可以被赋能。追光逐电，光赢未来...欢迎来到今日光电！----追光逐电光赢未来----自2022年，ChatGPT发布之后，大语言模型（Large Language Model），简称LLM掀起了一波狂潮。作为学习理解LLM的开始，先来整体理解一下大语言模型。一、发展历史大语言模型的发展历史可以追溯到早期的

今日光电 2024-05-30 648浏览
芯报丨小米大语言模型MiLM通过备案

聚焦:人工智能、芯片等行业欢迎各位客官关注、转发每日芯报0517期❶小米大语言模型MiLM通过备案小米公司5月16日宣布，小米大语言模型MiLM正式通过我国大模型备案。小米表示，将包括大模型在内的人工智能（AI）技术看作一种生产力，将AI真正镶嵌在业务与产品中，为生产、生活赋能。小米表示，小米大模型以轻量化和本地部署为突破口，大模型团队成立于2023年4月。大模型能力下放到端侧，这不仅能更有效地保

AI芯天下 2024-05-17 541浏览
OpenAI推出全新大语言模型GPT-4o；苹果将在中国开售VisionPro；软银几乎全部出售阿里股份|日报

互联网与科技企业每日重点资讯文 | 苏丁巨头动向OpenAI推出全新大语言模型GPT-4oOpenAI推出了新的大语言模型GPT-4o。这是其已经问世一年多的GPT-4模型的更新版本。该模型基于来自互联网的大量数据进行训练，更擅长处理文本和音频，并且支持50种语言。新模式将面向所有用户，而不仅仅是付费用户。相比GPT-4 Turbo，GPT-4o的速度快了两倍，成本降低了50%，API速率限制、即

全球TMT 2024-05-14 706浏览
大语言模型：LLM技术报告

大语言模型（LLM）技术作为人工智能领域的一项重要创新在今年引起了广泛的关注。LLM 是利用深度学习和大数据训练的人工智能系统，专门设计来理解、生成和回应自然语言。这些模型通过分析大量的文本数据来学习语言的结构和用法，从而能够执行各种语言相关任务。以 GPT 系列为代表，LLM 以其在自然语言处理领域的卓越表现，成为推动语言理解、生成和应用的引擎。LLM 在多个领域都取得了令人瞩目的成就。在自然

智能计算芯世界 2024-05-03 888浏览
NVIDIA培训|生成式AI与大语言模型（LLM）选课指南

为了满足广大 AI 初学者和专业开发人员的多样化学习需求，NVIDIA 深度学习培训中心（DLI）近期发布了十多门生成式 AI 与大语言模型（LLM）技术和应用开发的培训课程，并分别从不同维度为您梳理出多套学习路径。希望作为您的选课指南，帮助您按需定制化选择相关课程，高效规划适合您的开发技能提升路径。这些课程中，既提供新手友好的免费课程，例如《生成式 AI 入门》和《使用 RAG 增强大语言模型入

英伟达NVIDIA中国 2024-04-28 750浏览
Meta发布最新一代AI助手与大语言模型Llama3，挑战OpenAI的GPT！

4月19日消息，meta即将挑战OpenAI的GPT，推出了其最新一代大语言模型Llama 3，以及全新升级的人工智能助手meta AI。这一消息于美东时间4月18日周四正式发布。meta自称，Llama 3是迄今为止能力最强的开源LLM，具有强大的参数规模和性能。据了解，Llama 3将在各大云平台得到启用，包括亚马逊、微软、谷歌云等，并且得到了英伟达等芯片巨头以及戴尔等硬件厂商的支持。英伟达透

飙叔科技洞察 2024-04-20 978浏览
解码AI：揭秘聊天机器人的“大脑”-大语言模型

如果说 AI 正处于改变历史的“iPhone 时刻”，那么聊天机器人就是其首批热门应用之一。聊天机器人的诞生离不开大语言模型，这是一种基于大规模数据集进行预训练的深度学习算法，能够识别、总结、翻译、预测和生成文本及其他形式的内容。这类模型可以在由 NVIDIA GeForce 和 RTX GPU 提供支持的 PC 和工作站上本地运行。大语言模型擅长总结大量文本，通过数据分类和挖掘来获取见解，以及按

英伟达NVIDIA中国 2024-04-16 806浏览
南京邮电大学ChatGPT/GPT4等大语言模型研学班

南京邮电大学是国家“双一流”建设高校和江苏高水平大学高峰计划A类建设高校，其前身是1942年诞生于山东抗日根据地的八路军战邮干训班，是我党、我军早期系统培养通信人才的学校之一。办学81年来，学校为国家输送了各类优秀人才27万余名，很多成为国内外信息产业的领军人物、技术精英和管理骨干，享有“华夏IT英才的摇篮”之誉。2023年，学校获批“国家级全民数字素养与技能培训基地”“江苏省全民数字素养与技能培

李肖遥 2024-04-11 692浏览
LLM大语言模型等AI如何加速汽车行业变革

伴随 ChatGPT 的横空出世，大语言模型在算法、算力、数据方面的技术发展，已经从量变积累实现质的飞跃，汽车行业内的人都明白 LLM(large language model) 正在改变着智能驾驶，智能座舱等消费者明显感知的前端应用。但是 AI LLM 作为底层创新的工具不但催生了新的应用，还加速着产业的发展，帮助企业提升效率，所以 LLM 企业级应用是目前汽车行业战略以及高层在重点布局的内容；

Vehicle 2024-04-08 985浏览
【求是缘半导体直播沙龙】第四期预告：大语言模型的应用和边界|4月7日（周日）20:00

【求是缘半导体直播沙龙】第四期大语言模型的应用和边界2024年4月7日（周日）晚20:00主讲人：崔传荣硅基未来创始人浙江省半导体协会副秘书长主持人：张祖赫半导体行业资深投资人求是缘半导体联盟宣传部志愿者敬请期待“求是缘半导体直播沙龙”主播招募中讲讲半导体行业相关的故事为了让大家更加深入地了解半导体行业，求是缘半导体联盟拟推出“求是缘半导体直播沙龙”专栏，每月一期，邀请行业大咖及各位会员走进直

求是缘半导体联盟 2024-04-05 869浏览
NVIDIA培训|快速掌握生成式AI与大语言模型关键技能

生成式 AI 和大语言模型（LLM）实战培训系列课程，邀请您速来解锁！NVIDIA 创始人兼首席执行官黄仁勋在 GTC 2024 大会主题演讲中表示：“计算机图形学、物理学和 AI 是 NVIDIA 的灵魂所在，生成式 AI 时代一切改变都有可能发生。”生成式 AI 在改变所能触及到的所有行业，生成式 AI 和大语言模型（LLM）在塑造未来人工智能发展方向中扮演着关键角色，它们的意义在于拓展创造力

英伟达NVIDIA中国 2024-04-03 642浏览
大语言模型（LLM）推理到底需要什么样的芯片？

▲ 更多精彩内容请点击上方蓝字关注我们吧！顺着Groq公司推出的全球最快的大模型推理服务达到每秒输出500个token，如何看待这一技术？这个问题下的回答进一步延申一下，不讨论groq本身了，讨论一下大语言模型（Large Language Model, LLM）推理需求下对芯片和系统架构设计的基本逻辑。和过去的文章一样，我的观点一般比较激进，主要也是希望能有明确的观点和碰撞，各位看官酌情食用。

电子工程世界 2024-03-05 960浏览
苹果iOS17.4测试版出现AI代码，新版Siri获大语言模型支持

1 月 28 日消息，根据古尔曼等人的说法，苹果将在今年 6 月的 WWDC 中推出带有重磅 AI 功能的 iOS 18。9to5Mac 在 iOS 17.4 首个测试版中发现，苹果已经开始测试其 AI 功能，例如新版 Siri 语音助手，至少代码显示苹果正在进行相关测试，然后在内部将其结果与 ChatGPT 结果进行对比。如图所示，iOS 17.4 代码中包含了一个名为 SiriSummariz

52RD 2024-01-28 969浏览
2024国内各手机品牌大语言模型进展

2023年下半年至2024年1月，AI大模型席卷手机圈，vivo、OPPO、荣耀、华为、小米等国产手机厂商相继将大模型能力应用在手机产品上。国内主要厂商已相继布局手机端AI大模型，在新系统中增加大模型能力。2024年开年，各家纷纷发布搭载AI大模型的手机。目前，采用云端协同部署方案的手机厂商有华为、OPPO、vivo；布局端侧为主的AI大模型手机厂商主要有荣耀、小米。华为：盘古大模型，100亿~1

ittbank 2024-01-19 1259浏览
【榜单】2024国内各手机品牌大语言模型进展

关注国产手机最新消息：2023年下半年至2024年1月，AI大模型席卷手机圈，vivo、OPPO、荣耀、华为、小米等国产手机厂商相继将大模型能力应用在手机产品上。国内主要厂商已相继布局手机端AI大模型，在新系统中增加大模型能力。2024年开年，各家纷纷发布搭载AI大模型的手机。目前，采用云端协同部署方案的手机厂商有华为、OPPO、vivo；布局端侧为主的AI大模型手机厂商主要有荣耀、小米。华为：盘

手机技术资讯 2024-01-18 6833浏览
主流大语言模型集体曝出训练数据泄露漏洞

智能汽车安全新媒体近日，安全研究人员发布的一篇论文给“百模大战”的生成式人工智能开发热潮浇了一盆冷水。研究发现，黑客可利用新的数据提取攻击方法从当今主流的大语言模型（包括开源和封闭，对齐和未对齐模型）中大规模提取训练数据。论文指出，当前绝大多数大语言模型的记忆（训练数据）可被恢复，无论该模型是否进行了所谓的“对齐”。黑客可以通过查询模型来有效提取训练数据，甚至无需事先了解训练数据集。研究者展示

谈思汽车 2023-12-05 695浏览
使用NVIDIAIGXOrin开发者套件在边缘部署大语言模型

随着大语言模型（LLM）的功能日益强大，减少其计算需求的技术也日趋成熟，由此产生了两个引人注目的问题：能够在边缘运行和部署的最先进的 LLM 是什么？现实世界中的应用如何才能充分利用这些成果？即使采用较低的 FP16 精度，运行像 Llama 270b 这样最先进的开源 LLM，也需要超过 140 GB 的 GPU 显存（VRAM）（700 亿参数 x 2 字节 = FP16 精度下的 140 G

英伟达NVIDIA中国 2023-11-24 800浏览

正在努力加载更多...

广告

今日新闻

热门文章排行

1 各大车企付款周期汇总

一览众车  1755
2 突发！美国再次出手！对中国140家芯片公司重大打击！

集成电路IC  1347
3 卫星通信、UWB、星闪…华为Mate70发布会太炸了！

物联传媒  857
4 美国欲限制140家中国芯片公司，包含多家设备巨头

半导体工艺与设备  786
5 打破日本垄断！两大国产HBM芯片材料厂商强强联合，产销跃居全球第二！

飙叔科技洞察  711
6 这，才是今天华为Mate70最大的惊喜！

快科技  679
7 日本一水坝现巨型哥斯拉壁画：预计明年1月底将消失

快科技  469
8 华为Mate70搭载的麒麟9020芯片有多强悍？！

凡亿PCB  417
9 中国芯片新锐50强

贞光科技  413
10 华为Mate70发布，销量或超千万！

WitDisplay  412
11 新一代麒麟到底啥水平！华为Mate70系列麒麟9020处理器跑分揭秘

快科技  405
12 比亚迪智驾团队重大人事变动！

谈思汽车  388
13 走近ISSCC2025：把脉技术趋势，洞察技术前沿

芯思想  379
14 【重磅发布】12月5-7日，金刚石前沿应用、宽禁带半导体、超硬材料、超精密加工…第八届国际碳材料大会暨产业展览会，上海见

DT半导体材料  306
15 马斯克遭遇重击：加州狙击特斯拉致其股价暴跌

国纳科技匠  297
16 华为、联想、美的、小米、海尔、格力等中国35家电子家电公司2024年第三季度财报汇总

全球TMT  293
17 “史上最强大Mate”正式发布！华为Mate70系列起售价5499元

CINNOResearch  292
18 传小米2025年正式发布自研3nmSoC芯片

皇华电子元器件IC供应商  273
19 国内一GaN项目宣布投产，明年大规模推广

第三代半导体风向  265
20 舜宇光学高层变动，孙泱辞任执行董事兼行政总裁

52RD  264
21 “萝卜快跑”落地中国香港，百度终于“守得云开见月明”？

美股研究社  256
22 预计售价100~150万元，华为首款百万级豪车尊界S800正式亮相

谈思实验室  250
23 美国HBM禁令，将于12月6日发布

芯极速  244
24 极氪副总裁入职奇瑞系公司！

谈思汽车  237
25 牙膏挤爆！iPhone17八大升级，苹果史无前例的巨变

手机技术资讯  230
26 一文掌握英伟达全系列GPU

智能计算芯世界  230
27 华为Mate70Pro“纯血鸿蒙版”来了！无法兼容安卓！

飙叔科技洞察  224
28 牙膏挤爆！iPhone17八大升级，苹果史无前例的巨变

快科技  214
29 全球首个可量产UWB雷达泊车方案亮相，这家企业率先抢占新风口

高工智能汽车  213
30 特朗普宣布将对墨西哥与加拿大征收25%关税；对中国加征10%关税！

飙叔科技洞察  210

广告

最新评论更多>>

zanzanzan

洪正安评论文章 2024-11-29

Allegro17.4常用系统参数的设置
xuexixuexi

dkjggger 评论文章 2024-11-27

携手共筑绿色未来：同方威视护航第29届联合国气候变化大会

资料

文库

帖子

博文

在线研讨会

EE直播间

无线前沿新技术与测试技术峰会-线上直播直播时间：12月05日 09:30
首场直播发布： Keysight AP5000 系列新型高性价比模拟信号源直播时间：12月06日 10:00
功率表的基础知识及其校准直播时间：12月10日 10:00
提升毫米波信号测试精度直播时间：12月18日 14:00

E聘热招职位