Transformer - 电子工程专辑

Transformer

【视觉多模态专栏】理解Transformer模型结构

点击上方蓝字关注我们微信公众号：OpenCV学堂关注获取更多计算机视觉与深度学习知识Transformer模型Transformer模型，自2017年由Vaswani等人提出以来，在自然语言处理（NLP）领域引发了革命性的变革。这一模型的核心在于其独特的自注意力机制和多头注意力机制，以及由编码器和解码器构成的精妙架构。模型结构图示如下：Transformer模型结构Transformer模型的核心

OpenCV学堂 2025-01-13 708浏览
2025自动驾驶最大技术「黑马」：AI论文高引TOP3，比Transformer快2.8倍，内存节省86.8%

贾浩楠发自副驾寺智能车参考 | 公众号 AI4Auto现在最前沿、最被学界追捧、被产业界寄予厚望的自动驾驶技术，是什么？地平线创始人余凯博士最新的朋友圈揭晓了答案：Vision Mamba，全球年度AI论文高引TOP 3，也被认为是Transformer最强挑战者——Mamba架构在视觉领域的“飞跃式”进展。背后核心团队，和端到端开山之作UniAD一样，来自华中科技大学和地平线的联合。Visi

智能车参考 2025-01-11 494浏览
揭秘transformer专用ASIC芯片：Sohu!

点击蓝字关注我们2022年，我们打赌说transformer会统治世界。我们花了两年时间打造Sohu，这是世界上第一个用于transformer（ChatGPT中的“T”）的专用芯片。将transformer架构烧到芯片中，我们无法运行大多数传统的AI模型：支持Instagram广告的DLRM，像AlphaFold 2这样的protein-folding模型，或者像Stable Diffusion

SSDFans 2025-01-03 1139浏览
ReID最新综述！武大等全面总结Transformer方法|IJCV2024

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号新智元授权【导读】研究人员对基于Transformer的Re-ID研究进行了全面回顾和深入分析，将现有工作分类为图像/视频Re-ID、数据/标注受限的Re-ID、跨模态Re-ID以及特殊Re-ID场景，提出了Transformer基线UntransReID，设计动物Re-ID的标准化基准测试，为未来Re-ID研究提供新手册。目标重识别（Obj

OpenCV学堂 2024-12-24 471浏览
RNN回归！Bengio新作大道至简与Transformer一较高下

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号新智元授权【导读】近日，深度学习三巨头之一的Yoshua Bengio，带领团队推出了全新的RNN架构，以大道至简的思想与Transformer一较高下。在Transformer统治的AI时代之下，散落在世界各地的「RNN神教」信徒，一直相信并期待着RNN回归的那天：毕竟，凭借强大的顺序和上下文感知能力，RNN曾在各种任务中表现惊艳。直到后来

OpenCV学堂 2024-10-30 297浏览
基于表皮传感器和多任务步态Transformer模型的全流程、细粒度、定量的康复评估平台

近日，国际期刊Advanced Materials刊发华中科技大学机械学院吴豪教授、尹周平教授教授团队，人工智能与自动化学院黄剑教授团队和同济医学院附属协和医院肖喜玲教授团队在柔性电子医工交叉领域的新成果，题为“A full-process, fine-grained, and quantitative rehabilitation assessment platform enabled by o

MEMS 2024-10-26 685浏览
什么是Transformer模型（二）

如果想在 AI 领域引领一轮新浪潮，就需要使用到 Transformer。尽管名为 Transformer，但它们不是电视银幕上的变形金刚，也不是电线杆上垃圾桶大小的变压器。在上一篇《什么是 Transformer 模型（一）》中，通过对 Transformer 模型进行的深入剖析，展开了一幅 AI 领域的创新画卷，本篇文章将聚焦于该模型在现实世界各个领域中的具体应用，以及这些应用如何改变我们的生

英伟达NVIDIA中国 2024-09-10 608浏览
什么是Transformer模型（一）

如果想在 AI 领域引领一轮新浪潮，就需要使用到 Transformer。尽管名为 Transformer，但它们不是电视银幕上的变形金刚，也不是电线杆上垃圾桶大小的变压器。在人工智能的快速发展中，Transformer 模型作为一种神经网络，以其独特的自注意力机制，引领了自然语言处理的新浪潮，以革命性的方式推动了整个行业的进步。本文将带您深入了解 Transformer 模型的起源，探讨其如何通

英伟达NVIDIA中国 2024-09-03 543浏览
Transformer核心作者重返谷歌，任Gemini联合技术负责人！联手JeffDean追赶竞敌

戳👇🏻关注社长带你港股掘金被谷歌买下的AI独角兽Character.AI，已与团队深度融合。来源 | 新智元月初，明星初创Character.AI创始人，携30名员工集体入职谷歌，让AI圈大佬为之震惊。创始人、Transformer核心作者Noam Shazeer可以说是，「重返」谷歌。他曾在2021年离职，自立门户创办了这家AI独角兽。Information报道称，据内部员工消息，Shazee

美股研究社 2024-08-23 599浏览
【光电智造】终于有人将Transformer原理可视化了！

今日光电有人说，20世纪是电的世纪，21世纪是光的世纪；知光解电，再小的个体都可以被赋能。追光逐电，光赢未来...欢迎来到今日光电！----追光逐电光赢未来----2017 年，谷歌在论文《Attention is all you need》中提出了 Transformer，成为了深度学习领域的重大突破。该论文的引用数已经将近 13 万，后来的 GPT 家族所有模型也都是基于 Tr

今日光电 2024-08-16 690浏览
自注意力结构与Transformer模型概述

点击上方蓝字关注我们微信公众号：OpenCV学堂关注获取更多计算机视觉与深度学习知识Transformer模型概述Transformer是一种基于注意力机制的深度学习模型，广泛应用于自然语言处理（NLP）任务，如机器翻译、文本摘要等。它由编码器和解码器两大部分组成，每个部分都包含多个相同的层堆叠而成。01编码器（Encoder）编码器负责处理输入序列，并提取特征。每个编码器层包含两个子层：自注意力

OpenCV学堂 2024-07-06 578浏览
拆分Transformer注意力，韩国团队让大模型解码提速20倍

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号量子位授权只要将注意力切块，就能让大模型解码提速20倍。来自韩国科学技术研究院、LG和DeepMind的研究人员，提出了一种新的Transformer架构。不仅获得了更快的推理速度，内存开销也大幅度下降。研究人员详细分析了原始Transformer推理速度慢的原因——原始Transformer每生成一个Token就要访问一次全局KV缓存，消耗

OpenCV学堂 2024-07-01 492浏览
基于Transformer的自动驾驶传感器融合技术解析

关注公众号，点击公众号主页右上角“ ··· ”，设置星标，实时关注智能汽车电子与软件最新资讯传感器融合是许多感知系统中的一个重要课题，例如自动驾驶和机器人。在许多数据集上的排行榜，基于transformer的检测头和基于CNN的特征编码器（从原始传感器数据中提取特征），已成为性能最高的3D检测多传感器融合框架之一。本文提供了最近基于transformer的3D目标检测任务的文献综述，主要集中于传感

智能汽车电子与软件 2024-05-10 706浏览
Transformer“变形金刚”改变了计算机视觉

Tranformer芝能智芯出品Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，Transformer 模型使用了 Self-Attention 机制，不采用RNN顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。在过去几年里，Transformers 彻底改变了深度学习模型的本质，给人工智能领域带来了革命性的变化。引入了注意力机制的Transf

汽车电子设计 2023-10-09 1244浏览
【AI简报20230922期】华人AI芯片挑战英伟达，深入浅出理解Transformer

1. OpenAI DALL·E 3来了，集成ChatGPT，生图效果太炸了原文：https://mp.weixin.qq.com/s/P4HwP3VwzSnndD5LSt8pXw终于，OpenAI 的文生图 AI 工具 DALL-E 系列迎来了最新版本 DALL・E 3，而上个版本 DALL・E 2 还是在去年 4 月推出的。OpenAI 表示，「DALL・E 3 比以往系统更能理解细微差别和细

RTThread物联网操作系统 2023-09-23 1055浏览
绝了！基于transformer的最新SOTA！

Transformer 如今已经成为主流，为各种任务创造了 SOTA 结果，它是一种新型的神经网络架构，用于处理多种感知模态数据（如图像、文本、音频等），比如机器翻译和文本生成。9.14-9.15日我们邀请到哈工大博士李老师为大家直播分享——基于Transformer的视觉语言新SOTA，为大家解决Transformer基础模型原理、难点痛点以及Vision transformer的变式等问题！扫

OpenCV学堂 2023-09-14 677浏览
基于Transformer的自动驾驶传感器融合技术解析

--关注、星标、回复“智驾圈子”--↓↓查看：「智驾最前沿」智驾圈子资料目录↓↓传感器融合是许多感知系统中的一个重要课题，例如自动驾驶和机器人。在许多数据集上的排行榜，基于transformer的检测头和基于CNN的特征编码器（从原始传感器数据中提取特征），已成为性能最高的3D检测多传感器融合框架之一。欢迎关注「智驾最前沿」微信视频号本文提供了最近基于transformer的3D目标检测任务的文献

智驾最前沿 2023-08-26 4290浏览
Transformer论文「重磅更新」！八子全部离职，谷歌删除AttentionIsAllYouNeed所有作者邮箱

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号新智元授权【导读】随着Transformer八子全部离职，谷歌也「删除」了2017年发表的Attention Is All You Need中，所有作者的邮箱。当年Transformer的那篇惊世之作，早已人去楼（arXiv）空。就在昨天，网友发现谷歌已经把「Attention Is All You Need」论文中的所有作者的邮箱全部「划线

OpenCV学堂 2023-08-04 729浏览
万字聊聊Transformer在BEV、2D/3D检测上的应用、量化与加速！

--关注、星标、回复“自主泊车”--↓↓免费领取：自主代客泊车系统总体技术要求↓↓近年来，Transformer架构在各种自动驾驶应用中表现出了良好的性能。另一方面，其在便携式计算平台上的专用硬件加速已成为在真正的自动驾驶汽车中实际部署的下一个关键步骤。这篇综述对基于Transformer的模型进行了全面的概述、基准测试和分析，这些模型专门为自动驾驶任务（如车道线检测、分割、跟踪、规划和决策）量身

智驾最前沿 2023-07-23 1077浏览
斯坦福博士一己之力让Attention提速9倍！FlashAttention燃爆显存，Transformer上下文长度史诗级提升

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号新智元授权【导读】FlashAttention新升级！斯坦福博士一人重写算法，第二代实现了最高9倍速提升。继超快且省内存的注意力算法FlashAttention爆火后，升级版的2代来了。FlashAttention-2是一种从头编写的算法，可以加快注意力并减少其内存占用，且没有任何近似值。比起第一代，FlashAttention-2速度提升了

OpenCV学堂 2023-07-20 1086浏览
视觉Transformer对加速器架构提出挑战

点击蓝字关注我们在快速发展的人工智能世界里，CNN和其相关模型似乎在很久之前就已经把人工智能引擎架构推向了边缘。虽然神经网络算法的性质已经发生了显著的变化，但它们都被认为是在异构平台上有效处理DNN的不同层：NPU用于张量操作，DSP或GPU用于矢量操作，CPU(或集群)管理其余东西。该架构在视觉处理中工作得很好，其中矢量和标量类操作不会与张量层过多交叉。一个

SSDFans 2023-07-17 729浏览
自动驾驶中基于Transformer的单目BEV感知技术盘点

--关注、星标、回复“40429”--↓↓领取：《汽车驾驶自动化分级》（GB/T 40429-2021）↓↓基于多视角摄像头的3D目标检测在鸟瞰图下的感知（Bird's-eye-view Perception, BEV Perception) 吸引了越来越多的注意力。一方面，将不同视角在BEV下统一与表征是很自然的描述，方便后续规划控制模块任务；另一方面，BEV下的物体没有图像视角下的尺度(sca

智驾最前沿 2023-06-11 1171浏览
【光电智造】星标破10万！Auto-GPT之后，Transformer越新里程碑

今日光电有人说，20世纪是电的世纪，21世纪是光的世纪；知光解电，再小的个体都可以被赋能。欢迎来到今日光电！----与智者为伍为创新赋能----【导读】问世6年来，Transformer不仅成为NLP领域的主流模型，甚至成功向其他领域跨界，一度成为风靡AI界的机器学习架构。恰在今天，Transformers库在GitHub上星标破10万大关！2017年，谷歌团队在论文「Attent

今日光电 2023-05-24 1295浏览
Transformer中的自注意力机制

Transformer中的自注意力和BEV感知中的交叉注意力是目前研究较多的两种注意力机制。在专题的第二篇文章里我们首先来讨论一下自注意力，交叉注意力会在下一篇文章中介绍。Transformer以及其中采用的自注意力机制首先在自然语言处理领域（NLP）取得了成功的应用，替代了处理序列数据常用的循环神经网络（RNN）。之后，自注意力机制很快也被推广到了视觉领域，并同样展示出巨大的潜力。图像虽然本身不

汽车电子与软件 2023-01-13 2952浏览
ConvNeXtV2来了，仅用最简单的卷积架构，性能不输Transformer

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号机器之心授权ConvNeXt 模型更新了！经过几十年的基础研究，视觉识别领域已经迎来了大规模视觉表征学习的新时代。预训练的大规模视觉模型已经成为特征学习（feature learning）和视觉应用的基本工具。视觉表征学习系统的性能在很大程度上受到三个主要因素的影响：模型的神经网络架构、训练网络的方法以及训练数据。每个因素的改进都有助于模型整

OpenCV学堂 2023-01-10 2404浏览

正在努力加载更多...

广告

今日新闻

热门文章排行

1 芯片原产地解读，附18家美国芯片企业原产地详细分析

芯存社  14187
2 中美34%关税！对半导体产业影响几何？

芯极速  4807
3 中方重磅官宣：对美加征34%关税，对半导体行业有哪些影响

芯存社  3705
4 如何应对美国加征关税影响？多家厂商回应，美光决定加收产品附加费！

皇华电子元器件IC供应商  3623
5 美方威胁对华加征50%关税，中方回应！

皇华电子元器件IC供应商  3619
6 暴涨175%！这些化工原料逆势大涨！

PCB资讯  2340
7 小米SU7事故后雷军终于露面略显憔悴：网友喊话心疼一分钟

快科技  2265
8 不允许起火爆炸，GB38031《电动汽车用动力蓄电池安全要求》

锂电联盟会长  2080
9 中美互加关税，数字只是数字，对半导体影响几何

芯思想  1860
10 微软回应“退出中国”传闻

芯极速  1839
11 特朗普最后通牒：若中国不撤回报复关税，就再加征50%！中方严正回应

EETOP  1837
12 针对中国？特朗普将关税加至125%，其他国家暂缓征收90天并降至10%！

飙叔科技洞察  1676
13 公安厅调查“小米SU7事故”

电动知家  1666
14 出事故的小米SU7，到底是谁家的电池？

锂电联盟会长  1436
15 重磅！中方反制，对美加征34%关税！对半导体产业影响几何

DT半导体材料  1296
16 突发：125%关税，立即执行！美国再加码，贸易战“白热化”

硬件笔记本  1271
17 一文看懂OPPOFindX8系列暨移动智能生态旗舰新品发布会，售价3699元起

CINNOResearch  1195
18 【光电集成】华为科学家委员会主任何庭波：半导体正处于变革的十字路口

今日光电  1183
19 特朗普放弃打压英伟达H20芯片！

皇华电子元器件IC供应商  1131
20 国产视频接口标准正式发布！192GPS480W供电，完美取代HDMI和DisplayPort

EETOP  1118
21 重磅！中方反制，对美加征34%关税！对半导体产业影响几何

皇华电子元器件IC供应商  1071
22 史无前例！苹果iPhone恐怕要涨价了，价格翻近一倍

ittbank  1011
23 关税对芯片制造商影响有多大？这篇文章全部说透了！

美股研究社  969
24 突发！某国紧急叫停零跑C16车型认证

谈思汽车  962
25 2000人将失业！传美科技巨头退出中国？最新回应来了

芯通社  886
26 揭秘！2025慕尼黑上海电子展丨展位图及展商名单公布！

电力电子技术与新能源  801
27 史无前例！苹果iPhone恐怕要涨价了，价格翻近一倍

快科技  791
28 中国反制措施五连发！回应：美方危害全球经贸秩序稳定！

飙叔科技洞察  791
29 关税战令苹果手机价格或飙升！政策将重创苹果公司供应链

CINNOResearch  785
30 外媒：苹果iPhone将涨价至1.6万元

芯极速  773

广告

最新评论更多>>

可以在文章引用您的一张数据吗？

listen 评论文章 2025-04-09

221亿、13.9万台-2024年度中国移动机器人产业发展研究报告发布！
正好做这个热释电相关的课题，很有用

用户3871759 评论文章 2025-04-08

一文读懂热释电传感器的原理与应用

资料

文库

帖子

博文

在线研讨会

EE直播间

利用高性能源表和强大的软件，实现半导体参数的测试和分析直播时间：04月17日 10:00

E聘热招职位