GenAI核心技术解析及发展趋势

智能计算芯世界 2024-06-17 07:46

本文来自“干货分享:“人工智能+”引爆新质生产力革命(2024)”,传统意义上的AI模型,主要分为判别式模型(Discriminative Models生成式模型Generative Models)。

下载链接:
《2024年中国空间计算行业概览合集》
1、2024年中国空间计算行业概览(1):空间计算先行,软硬件内容生态共振 
2、2024年中国空间计算行业概览(Ⅱ):空间计算设备产业链拆解(摘要版)
干货分享:“人工智能+”引爆新质生产力革命(2024)
模型即服务:MaaS框架与应用研究报告(2024年)
《Computex 2024系列主题演讲合集》
1、Computex 2024系列AMD主题演讲:CPU+GPU+UA互联厂商 
2、Computex 2024英伟达主题演讲:AI时代如何在全球范围内推动新的工业革命


判别式模型(Discriminative Models):用于解决回归或分类任务,重点在于区分不同类别的数据。与生成模型不同,判别模型不生成新数据,而是专注于学习输入特征与输出标签之间的关系,以便准确地进行分类或预测。判别式模型在各种应用中广泛使用,特别是在需要分类或回归任务的场景中,例如:BERT(用于各种NLP任务)、金融风险评估的信用评分系统(如FICO)、癌症检测系统等等。

而生成式模型(Generative Models:是生成式AI背后的技术,是一类能学习和模仿数据分布的模型,它们能够创建看起来与训练数据相当相似的新数据样本。举个例子,如果我们有一个人脸生成模型,它可以生成看起来像真人脸的图片,而这些图片与模型用来训练的真实人脸图片很相似,甚至很难区分哪个是生成的,哪个是真实的。生成式模型已被广泛应用于各种领域,特别是在需要生成新数据样本的任务中,例如:GPTDALL-E(图像生成)、DeepArtPrisma(图像风格转换)等等。

大模型是大算力+强算法结合的产物。大模型通常是在大规模无标注数据上进行训练,学习出一种特征和规则。基于大模型进行应用开发时,将大模型进行微调,如在下游特定任务上的小规模有标注数据进行二次训练,或者不进行微调,就可以完成多个应用场景的任务。

从参数规模上看,AI大模型先后经历了预训练模型、大规模预训练模型、超大规模预训练模型三个阶段,参数量实现了从亿级到百万亿级的突破。从模态支持上看,AI模型从支持图片、图像、文本、语音单一模态下的单一任务,逐渐发展为支持多种模态下的多种任务

人工智能领域中的一些重要基础技术概念如下:

1)神经网络技术(Neural Network Technology:是一种模仿生物神经系统结构和功能的计算方法。神经网络的结构通常分为输入层、隐藏层和输出层。输入层接受原始数据,隐藏层负责数据的特征提取和处理,输出层生成预测结果。神经网络技术可以处理复杂数据和任务,已在人工智能和机器学习领域中广泛应用。

2)神经符号推理(Neuro-Symbolic Reasoning结合了神经网络和符号推理的混合方法,利用两种技术的优势来解决复杂的推理和学习任务。这种方法在人工智能领域具有广泛的应用前景,因为它能够处理复杂的数据和关系,同时保留符号逻辑的可解释性和规则性。

3)尺度定律(Scaling Law是指在训练模型时,模型性能随模型规模(如参数数量)、训练数据量和计算资源的增加而变化的规律。这些定律帮助研究人员和工程师更好地理解和预测扩展模型时的效果和需求。在GPT-3的开发过程中,OpenAI遵循了尺度定律,通过大幅增加模型参数数量(达到1750亿),显著提高了模型的自然语言处理能力。而摩尔定律(Moore's Law)应用于半导体和计算机硬件领域,具体说的是当价格不变时,集成电路上可容纳的晶体管数目,每隔18个月便会增加一倍,意味着性能也将提升一倍。两个定律应用领域不同,但都体现了技术进步在各自领域内的驱动力。

4)自然语言处理技术(Natural Language ProcessingNLP:包括词法分析、句法分析、语义理解等。这些技术帮助模型更好地理解和生成自然语言文本,使得生成的文本更加准确和语义丰富。

5)大规模数据集(Dataset:海量的高质量数据是训练生成式 AI 模型的关键。这些数据集包含丰富的语言知识和模式,能够帮助模型学习到更好的表示和生成能力。

6)无监督学习算法(Unsupervised Learning:能够从数据中自动发现模式和特征,无需人工标记的监督信息。这对于生成式AI 模型的训练至关重要,可以使模型从大量未标记的数据中学习到有用的知识。

7)强化学习(Reinforcement LearningRL是一种机器学习方法,用于训练模型做出决策,以实现最佳结果。通过反复试错和奖惩制度,与环境交互来学习最优策略,有助于实现目标的软件操作会得到加强,而偏离目标的操作将被忽略,从而在不同状态下选择最佳处理路径以获得最大化预期回报。强化学习广泛应用于机器人控制、游戏AI、推荐系统等领域。例如,著名的AlphaGo在训练过程中结合了强化学习策略,以寻找最佳落子策略。

8)强化学习与人类反馈(Reinforcement Learning with Human Feedback, RLHF合强化学习的自动学习能力和人类的反馈,通过人类反馈指导学习的过程,显著加速学习速度,提高性能及安全性。强化学习与AI反馈(Reinforcement Learning with AI FeedbackRLAIF)是结合了强化学习的自动学习能力和AI模型的智能反馈。其智能体不仅从环境中获得奖励,还从另一个AI系统中获得反馈。这种方法利用AI反馈来指导和改进智能体的学习过程,从而加速策略优化,提高整体性能。

9)迁移学习(Transfer Learning是一种机器学习方法,其中一个模型在某个任务上学到的知识被应用到另一个相关的任务中。通过这种方法,迁移学习能够利用已有的经验,提高新任务的学习效率和性能。尤其是在数据有限的情况下,迁移学习能够显著提升模型性能。

10)联邦学习(Federated Learning是一种分布式机器学习方法,允许模型在多个设备或节点上训练。这种方式能够在保护数据隐私的前提下,利用分散的数据进行模型训练,可以在全局模型的基础上,进一步调整和优化个性化模型,满足不同用户的需求。

11)生成对抗网络(Generative Adversarial Networks, GAN):GAN包括两个部分:生成器和判别器。生成器尝试生成与真实数据相似的假数据,而判别器尝试区分真假数据。通过不断的对抗训练,生成器最终能够生成较为逼真的数据。

12)自回归模型(Autoregressive Model:通过前一个时刻的输出来预测下一个时刻的输出,广泛应用于文本生成和音频生成等领域。

13)变分自编码器(VAEs:由编码器和解码器组成。编码器将图片信息压缩成一潜在空间。这就像画家将复杂的画面概括成简单的草图,这个草图包含了图片的关键要素,但省略了细节。解码器根据这些草图画出新图片。就像画家根据草图创作出一幅新画。这些新画看起来像是从原始图片中生成的,但又是独一无二的。在训练过程中,VAE会不断调整编码器和解码器,让生成的图片越来越逼真。

14)优化算法(Algorithms Optimization:用于训练模型,调整模型参数以最小化损失函数,提高模型性能。常见的优化算法包括随机梯度下降(Stochastic Gradient Descent, SGD)和其变种,以及自适应学习率算法如Adam等。例如,随机梯度下降是指不使用全量样本计算当前的梯度,而是使用小批量(mini-batch)样本来估计梯度,大大提高了效率。

15)注意力机制(Attention:使模型聚焦于输入中的关键部分,提高处理效率和效果。注意力机制在生成式AI 中被广泛应用,例如用于自然语言处理任务中的注意力机制模型(如Transformer)能够有效处理长距离依赖关系和提升生成性能。

以上的这些技术在过去的20年中快速发展,直到2017年的历史性的突破Transformer到来,才有了生成式AI的基础。而在2022ChatGPT的横空出世,进一步将生成式AI型从需要大量标注数据而进行训练的时代带入到不需要标注数据而进行海量数据训练的时代。

全球人工智能图谱2024和中美 AI 实力对比

下载链接:
英伟达GPU加速迭代,聚焦AI光通信核心厂商
《Computex 2024系列主题演讲合集》
1、Computex 2024系列AMD主题演讲:CPU+GPU+UA互联厂商 2、Computex 2024英伟达主题演讲:AI时代如何在全球范围内推动新的工业革命
科技前瞻专题:国际巨头的端侧AI布局(2024)
AIoT白皮书:AI硬化向实而生
异构大规模分布式网络设计与性能评估
2024面向未来的算力网络连接:中国算力网络市场发展白皮书
2024面向AIGC的数智广电新质生产力构建白皮书
2024大模型训练数据白皮书
存储器行业:双墙阻碍算力升级,四大新型存储应用探讨
生成式人工智能专题研究:国内大模型(生成式AI加速,国内厂商聚力突破)
《存储专题系列合集》
1、存储专题系列一:新应用发轫,存力升级大势所趋 
2、存储专题系列二:存力需求与周期共振,SSD迎量价齐升 
3、存储专题三:AI时代核心存力HBM
4、存储专题:AI发展驱动HBM高带宽存储器放量
机器人专题研究:产业发展概览(2024)
国产AI算力行业报告:浪潮汹涌,势不可挡(2024)
AI系列之HBM:AI硬件核心,需求爆发增长
2024中国“百模大战”竞争格局分析报告(2024)
2024年中国虚拟现实(VR)行业研究报告

《半导体行业深度报告合集(2024)》

《70+篇半导体行业“研究框架”合集》

600+份重磅ChatGPT专业报告
《人工智能AI大模型技术合集》
《56份GPU技术及白皮书汇总》


本号资料全部上传至知识星球,更多内容请登录智能计算芯知识(知识星球)星球下载全部资料。




免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。



温馨提示:

请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享,点击“阅读原文”获取更多原创技术干货。


智能计算芯世界 聚焦人工智能、芯片设计、异构计算、高性能计算等领域专业知识分享.
评论 (0)
  • 退火炉,作为热处理设备的一种,广泛应用于各种金属材料的退火处理。那么,退火炉究竟是干嘛用的呢?一、退火炉的主要用途退火炉主要用于金属材料(如钢、铁、铜等)的热处理,通过退火工艺改善材料的机械性能,消除内应力和组织缺陷,提高材料的塑性和韧性。退火过程中,材料被加热到一定温度后保持一段时间,然后以适当的速度冷却,以达到改善材料性能的目的。二、退火炉的工作原理退火炉通过电热元件(如电阻丝、硅碳棒等)或燃气燃烧器加热炉膛,使炉内温度达到所需的退火温度。在退火过程中,炉内的温度、加热速度和冷却速度都可以根
    锦正茂科技 2025-04-02 10:13 60浏览
  • 提到“质量”这两个字,我们不会忘记那些奠定基础的大师们:休哈特、戴明、朱兰、克劳士比、费根堡姆、石川馨、田口玄一……正是他们的思想和实践,构筑了现代质量管理的核心体系,也深远影响了无数企业和管理者。今天,就让我们一同致敬这些质量管理的先驱!(最近流行『吉卜力风格』AI插图,我们也来玩玩用『吉卜力风格』重绘质量大师画象)1. 休哈特:统计质量控制的奠基者沃尔特·A·休哈特,美国工程师、统计学家,被誉为“统计质量控制之父”。1924年,他提出世界上第一张控制图,并于1931年出版《产品制造质量的经济
    优思学院 2025-04-01 14:02 145浏览
  • 探针本身不需要对焦。探针的工作原理是通过接触被测物体表面来传递电信号,其精度和使用效果取决于探针的材质、形状以及与检测设备的匹配度,而非对焦操作。一、探针的工作原理探针是检测设备中的重要部件,常用于电子显微镜、坐标测量机等精密仪器中。其工作原理主要是通过接触被测物体的表面,将接触点的位置信息或电信号传递给检测设备,从而实现对物体表面形貌、尺寸或电性能等参数的测量。在这个过程中,探针的精度和稳定性对测量结果具有至关重要的影响。二、探针的操作要求在使用探针进行测量时,需要确保探针与被测物体表面的良好
    锦正茂科技 2025-04-02 10:41 61浏览
  • 职场之路并非一帆风顺,从初入职场的新人成长为团队中不可或缺的骨干,背后需要经历一系列内在的蜕变。许多人误以为只需努力工作便能顺利晋升,其实核心在于思维方式的更新。走出舒适区、打破旧有框架,正是让自己与众不同的重要法宝。在这条道路上,你不只需要扎实的技能,更需要敏锐的观察力、不断自省的精神和前瞻的格局。今天,就来聊聊那改变命运的三大思维转变,让你在职场上稳步前行。工作初期,总会遇到各式各样的难题。最初,我们习惯于围绕手头任务来制定计划,专注于眼前的目标。然而,职场的竞争从来不是单打独斗,而是团队协
    优思学院 2025-04-01 17:29 191浏览
  • 据先科电子官方信息,其产品包装标签将于2024年5月1日进行全面升级。作为电子元器件行业资讯平台,大鱼芯城为您梳理本次变更的核心内容及影响:一、标签变更核心要点标签整合与环保优化变更前:卷盘、内盒及外箱需分别粘贴2张标签(含独立环保标识)。变更后:环保标识(RoHS/HAF/PbF)整合至单张标签,减少重复贴标流程。标签尺寸调整卷盘/内盒标签:尺寸由5030mm升级至**8040mm**,信息展示更清晰。外箱标签:尺寸统一为8040mm(原7040mm),提升一致性。关键信息新增新增LOT批次编
    大鱼芯城 2025-04-01 15:02 190浏览
  • 北京贞光科技有限公司作为紫光同芯授权代理商,专注于为客户提供车规级安全芯片的硬件供应与软件SDK一站式解决方案,同时配备专业技术团队,为选型及定制需求提供现场指导与支持。随着新能源汽车渗透率突破40%(中汽协2024数据),智能驾驶向L3+快速演进,车规级MCU正迎来技术范式变革。作为汽车电子系统的"神经中枢",通过AEC-Q100 Grade 1认证的MCU芯片需在-40℃~150℃极端温度下保持μs级响应精度,同时满足ISO 26262 ASIL-D功能安全要求。在集中式
    贞光科技 2025-04-02 14:50 107浏览
  • 随着汽车向智能化、场景化加速演进,智能座舱已成为人车交互的核心承载。从驾驶员注意力监测到儿童遗留检测,从乘员识别到安全带状态判断,座舱内的每一次行为都蕴含着巨大的安全与体验价值。然而,这些感知系统要在多样驾驶行为、复杂座舱布局和极端光照条件下持续稳定运行,传统的真实数据采集方式已难以支撑其开发迭代需求。智能座舱的技术演进,正由“采集驱动”转向“仿真驱动”。一、智能座舱仿真的挑战与突破图1:座舱实例图智能座舱中的AI系统,不仅需要理解驾驶员的行为和状态,还要同时感知乘员、儿童、宠物乃至环境中的潜在
    康谋 2025-04-02 10:23 86浏览
  • 文/郭楚妤编辑/cc孙聪颖‍不久前,中国发展高层论坛 2025 年年会(CDF)刚刚落下帷幕。本次年会围绕 “全面释放发展动能,共促全球经济稳定增长” 这一主题,吸引了全球各界目光,众多重磅嘉宾的出席与发言成为舆论焦点。其中,韩国三星集团会长李在镕时隔两年的访华之行,更是引发广泛热议。一直以来,李在镕给外界的印象是不苟言笑。然而,在论坛开幕前一天,李在镕却意外打破固有形象。3 月 22 日,李在镕与高通公司总裁安蒙一同现身北京小米汽车工厂。小米方面极为重视此次会面,CEO 雷军亲自接待,小米副董
    华尔街科技眼 2025-04-01 19:39 203浏览
  • 引言在语音芯片设计中,输出电路的设计直接影响音频质量与系统稳定性。WT588系列语音芯片(如WT588F02B、WT588F02A/04A/08A等),因其高集成度与灵活性被广泛应用于智能设备。然而,不同型号在硬件设计上存在关键差异,尤其是DAC加功放输出电路的配置要求。本文将从硬件架构、电路设计要点及选型建议三方面,解析WT588F02B与F02A/04A/08A的核心区别,帮助开发者高效完成产品设计。一、核心硬件差异对比WT588F02B与F02A/04A/08A系列芯片均支持PWM直推喇叭
    广州唯创电子 2025-04-01 08:53 185浏览
  • 文/Leon编辑/cc孙聪颖‍步入 2025 年,国家进一步加大促消费、扩内需的政策力度,家电国补政策将持续贯穿全年。这一利好举措,为行业发展注入强劲的增长动力。(详情见:2025:消费提振要靠国补还是“看不见的手”?)但与此同时,也对家电企业在战略规划、产品打造以及市场营销等多个维度,提出了更为严苛的要求。在刚刚落幕的中国家电及消费电子博览会(AWE)上,家电行业的竞争呈现出胶着的态势,各大品牌为在激烈的市场竞争中脱颖而出,纷纷加大产品研发投入,积极推出新产品,试图提升产品附加值与市场竞争力。
    华尔街科技眼 2025-04-01 19:49 204浏览
  • 在智能交互设备快速发展的今天,语音芯片作为人机交互的核心组件,其性能直接影响用户体验与产品竞争力。WT588F02B-8S语音芯片,凭借其静态功耗<5μA的卓越低功耗特性,成为物联网、智能家居、工业自动化等领域的理想选择,为设备赋予“听得懂、说得清”的智能化能力。一、核心优势:低功耗与高性能的完美结合超低待机功耗WT588F02B-8S在休眠模式下待机电流仅为5μA以下,显著延长了电池供电设备的续航能力。例如,在电子锁、气体检测仪等需长期待机的场景中,用户无需频繁更换电池,降低了维护成本。灵活的
    广州唯创电子 2025-04-02 08:34 145浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦