Transformer - 电子工程专辑

Transformer

【视觉多模态专栏】理解Transformer模型结构

点击上方蓝字关注我们微信公众号：OpenCV学堂关注获取更多计算机视觉与深度学习知识Transformer模型Transformer模型，自2017年由Vaswani等人提出以来，在自然语言处理（NLP）领域引发了革命性的变革。这一模型的核心在于其独特的自注意力机制和多头注意力机制，以及由编码器和解码器构成的精妙架构。模型结构图示如下：Transformer模型结构Transformer模型的核心

OpenCV学堂 2025-01-13 528浏览
2025自动驾驶最大技术「黑马」：AI论文高引TOP3，比Transformer快2.8倍，内存节省86.8%

贾浩楠发自副驾寺智能车参考 | 公众号 AI4Auto现在最前沿、最被学界追捧、被产业界寄予厚望的自动驾驶技术，是什么？地平线创始人余凯博士最新的朋友圈揭晓了答案：Vision Mamba，全球年度AI论文高引TOP 3，也被认为是Transformer最强挑战者——Mamba架构在视觉领域的“飞跃式”进展。背后核心团队，和端到端开山之作UniAD一样，来自华中科技大学和地平线的联合。Visi

智能车参考 2025-01-11 348浏览
揭秘transformer专用ASIC芯片：Sohu!

点击蓝字关注我们2022年，我们打赌说transformer会统治世界。我们花了两年时间打造Sohu，这是世界上第一个用于transformer（ChatGPT中的“T”）的专用芯片。将transformer架构烧到芯片中，我们无法运行大多数传统的AI模型：支持Instagram广告的DLRM，像AlphaFold 2这样的protein-folding模型，或者像Stable Diffusion

SSDFans 2025-01-03 971浏览
ReID最新综述！武大等全面总结Transformer方法|IJCV2024

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号新智元授权【导读】研究人员对基于Transformer的Re-ID研究进行了全面回顾和深入分析，将现有工作分类为图像/视频Re-ID、数据/标注受限的Re-ID、跨模态Re-ID以及特殊Re-ID场景，提出了Transformer基线UntransReID，设计动物Re-ID的标准化基准测试，为未来Re-ID研究提供新手册。目标重识别（Obj

OpenCV学堂 2024-12-24 303浏览
RNN回归！Bengio新作大道至简与Transformer一较高下

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号新智元授权【导读】近日，深度学习三巨头之一的Yoshua Bengio，带领团队推出了全新的RNN架构，以大道至简的思想与Transformer一较高下。在Transformer统治的AI时代之下，散落在世界各地的「RNN神教」信徒，一直相信并期待着RNN回归的那天：毕竟，凭借强大的顺序和上下文感知能力，RNN曾在各种任务中表现惊艳。直到后来

OpenCV学堂 2024-10-30 275浏览
基于表皮传感器和多任务步态Transformer模型的全流程、细粒度、定量的康复评估平台

近日，国际期刊Advanced Materials刊发华中科技大学机械学院吴豪教授、尹周平教授教授团队，人工智能与自动化学院黄剑教授团队和同济医学院附属协和医院肖喜玲教授团队在柔性电子医工交叉领域的新成果，题为“A full-process, fine-grained, and quantitative rehabilitation assessment platform enabled by o

MEMS 2024-10-26 569浏览
什么是Transformer模型（二）

如果想在 AI 领域引领一轮新浪潮，就需要使用到 Transformer。尽管名为 Transformer，但它们不是电视银幕上的变形金刚，也不是电线杆上垃圾桶大小的变压器。在上一篇《什么是 Transformer 模型（一）》中，通过对 Transformer 模型进行的深入剖析，展开了一幅 AI 领域的创新画卷，本篇文章将聚焦于该模型在现实世界各个领域中的具体应用，以及这些应用如何改变我们的生

英伟达NVIDIA中国 2024-09-10 565浏览
什么是Transformer模型（一）

如果想在 AI 领域引领一轮新浪潮，就需要使用到 Transformer。尽管名为 Transformer，但它们不是电视银幕上的变形金刚，也不是电线杆上垃圾桶大小的变压器。在人工智能的快速发展中，Transformer 模型作为一种神经网络，以其独特的自注意力机制，引领了自然语言处理的新浪潮，以革命性的方式推动了整个行业的进步。本文将带您深入了解 Transformer 模型的起源，探讨其如何通

英伟达NVIDIA中国 2024-09-03 506浏览
Transformer核心作者重返谷歌，任Gemini联合技术负责人！联手JeffDean追赶竞敌

戳👇🏻关注社长带你港股掘金被谷歌买下的AI独角兽Character.AI，已与团队深度融合。来源 | 新智元月初，明星初创Character.AI创始人，携30名员工集体入职谷歌，让AI圈大佬为之震惊。创始人、Transformer核心作者Noam Shazeer可以说是，「重返」谷歌。他曾在2021年离职，自立门户创办了这家AI独角兽。Information报道称，据内部员工消息，Shazee

美股研究社 2024-08-23 578浏览
【光电智造】终于有人将Transformer原理可视化了！

今日光电有人说，20世纪是电的世纪，21世纪是光的世纪；知光解电，再小的个体都可以被赋能。追光逐电，光赢未来...欢迎来到今日光电！----追光逐电光赢未来----2017 年，谷歌在论文《Attention is all you need》中提出了 Transformer，成为了深度学习领域的重大突破。该论文的引用数已经将近 13 万，后来的 GPT 家族所有模型也都是基于 Tr

今日光电 2024-08-16 656浏览
自注意力结构与Transformer模型概述

点击上方蓝字关注我们微信公众号：OpenCV学堂关注获取更多计算机视觉与深度学习知识Transformer模型概述Transformer是一种基于注意力机制的深度学习模型，广泛应用于自然语言处理（NLP）任务，如机器翻译、文本摘要等。它由编码器和解码器两大部分组成，每个部分都包含多个相同的层堆叠而成。01编码器（Encoder）编码器负责处理输入序列，并提取特征。每个编码器层包含两个子层：自注意力

OpenCV学堂 2024-07-06 547浏览
拆分Transformer注意力，韩国团队让大模型解码提速20倍

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号量子位授权只要将注意力切块，就能让大模型解码提速20倍。来自韩国科学技术研究院、LG和DeepMind的研究人员，提出了一种新的Transformer架构。不仅获得了更快的推理速度，内存开销也大幅度下降。研究人员详细分析了原始Transformer推理速度慢的原因——原始Transformer每生成一个Token就要访问一次全局KV缓存，消耗

OpenCV学堂 2024-07-01 492浏览
基于Transformer的自动驾驶传感器融合技术解析

关注公众号，点击公众号主页右上角“ ··· ”，设置星标，实时关注智能汽车电子与软件最新资讯传感器融合是许多感知系统中的一个重要课题，例如自动驾驶和机器人。在许多数据集上的排行榜，基于transformer的检测头和基于CNN的特征编码器（从原始传感器数据中提取特征），已成为性能最高的3D检测多传感器融合框架之一。本文提供了最近基于transformer的3D目标检测任务的文献综述，主要集中于传感

智能汽车电子与软件 2024-05-10 669浏览
Transformer“变形金刚”改变了计算机视觉

Tranformer芝能智芯出品Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，Transformer 模型使用了 Self-Attention 机制，不采用RNN顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。在过去几年里，Transformers 彻底改变了深度学习模型的本质，给人工智能领域带来了革命性的变化。引入了注意力机制的Transf

汽车电子设计 2023-10-09 1208浏览
【AI简报20230922期】华人AI芯片挑战英伟达，深入浅出理解Transformer

1. OpenAI DALL·E 3来了，集成ChatGPT，生图效果太炸了原文：https://mp.weixin.qq.com/s/P4HwP3VwzSnndD5LSt8pXw终于，OpenAI 的文生图 AI 工具 DALL-E 系列迎来了最新版本 DALL・E 3，而上个版本 DALL・E 2 还是在去年 4 月推出的。OpenAI 表示，「DALL・E 3 比以往系统更能理解细微差别和细

RTThread物联网操作系统 2023-09-23 1047浏览
绝了！基于transformer的最新SOTA！

Transformer 如今已经成为主流，为各种任务创造了 SOTA 结果，它是一种新型的神经网络架构，用于处理多种感知模态数据（如图像、文本、音频等），比如机器翻译和文本生成。9.14-9.15日我们邀请到哈工大博士李老师为大家直播分享——基于Transformer的视觉语言新SOTA，为大家解决Transformer基础模型原理、难点痛点以及Vision transformer的变式等问题！扫

OpenCV学堂 2023-09-14 647浏览
基于Transformer的自动驾驶传感器融合技术解析

--关注、星标、回复“智驾圈子”--↓↓查看：「智驾最前沿」智驾圈子资料目录↓↓传感器融合是许多感知系统中的一个重要课题，例如自动驾驶和机器人。在许多数据集上的排行榜，基于transformer的检测头和基于CNN的特征编码器（从原始传感器数据中提取特征），已成为性能最高的3D检测多传感器融合框架之一。欢迎关注「智驾最前沿」微信视频号本文提供了最近基于transformer的3D目标检测任务的文献

智驾最前沿 2023-08-26 4260浏览
Transformer论文「重磅更新」！八子全部离职，谷歌删除AttentionIsAllYouNeed所有作者邮箱

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号新智元授权【导读】随着Transformer八子全部离职，谷歌也「删除」了2017年发表的Attention Is All You Need中，所有作者的邮箱。当年Transformer的那篇惊世之作，早已人去楼（arXiv）空。就在昨天，网友发现谷歌已经把「Attention Is All You Need」论文中的所有作者的邮箱全部「划线

OpenCV学堂 2023-08-04 680浏览
万字聊聊Transformer在BEV、2D/3D检测上的应用、量化与加速！

--关注、星标、回复“自主泊车”--↓↓免费领取：自主代客泊车系统总体技术要求↓↓近年来，Transformer架构在各种自动驾驶应用中表现出了良好的性能。另一方面，其在便携式计算平台上的专用硬件加速已成为在真正的自动驾驶汽车中实际部署的下一个关键步骤。这篇综述对基于Transformer的模型进行了全面的概述、基准测试和分析，这些模型专门为自动驾驶任务（如车道线检测、分割、跟踪、规划和决策）量身

智驾最前沿 2023-07-23 1041浏览
斯坦福博士一己之力让Attention提速9倍！FlashAttention燃爆显存，Transformer上下文长度史诗级提升

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号新智元授权【导读】FlashAttention新升级！斯坦福博士一人重写算法，第二代实现了最高9倍速提升。继超快且省内存的注意力算法FlashAttention爆火后，升级版的2代来了。FlashAttention-2是一种从头编写的算法，可以加快注意力并减少其内存占用，且没有任何近似值。比起第一代，FlashAttention-2速度提升了

OpenCV学堂 2023-07-20 1055浏览
视觉Transformer对加速器架构提出挑战

点击蓝字关注我们在快速发展的人工智能世界里，CNN和其相关模型似乎在很久之前就已经把人工智能引擎架构推向了边缘。虽然神经网络算法的性质已经发生了显著的变化，但它们都被认为是在异构平台上有效处理DNN的不同层：NPU用于张量操作，DSP或GPU用于矢量操作，CPU(或集群)管理其余东西。该架构在视觉处理中工作得很好，其中矢量和标量类操作不会与张量层过多交叉。一个

SSDFans 2023-07-17 712浏览
自动驾驶中基于Transformer的单目BEV感知技术盘点

--关注、星标、回复“40429”--↓↓领取：《汽车驾驶自动化分级》（GB/T 40429-2021）↓↓基于多视角摄像头的3D目标检测在鸟瞰图下的感知（Bird's-eye-view Perception, BEV Perception) 吸引了越来越多的注意力。一方面，将不同视角在BEV下统一与表征是很自然的描述，方便后续规划控制模块任务；另一方面，BEV下的物体没有图像视角下的尺度(sca

智驾最前沿 2023-06-11 1114浏览
【光电智造】星标破10万！Auto-GPT之后，Transformer越新里程碑

今日光电有人说，20世纪是电的世纪，21世纪是光的世纪；知光解电，再小的个体都可以被赋能。欢迎来到今日光电！----与智者为伍为创新赋能----【导读】问世6年来，Transformer不仅成为NLP领域的主流模型，甚至成功向其他领域跨界，一度成为风靡AI界的机器学习架构。恰在今天，Transformers库在GitHub上星标破10万大关！2017年，谷歌团队在论文「Attent

今日光电 2023-05-24 1283浏览
Transformer中的自注意力机制

Transformer中的自注意力和BEV感知中的交叉注意力是目前研究较多的两种注意力机制。在专题的第二篇文章里我们首先来讨论一下自注意力，交叉注意力会在下一篇文章中介绍。Transformer以及其中采用的自注意力机制首先在自然语言处理领域（NLP）取得了成功的应用，替代了处理序列数据常用的循环神经网络（RNN）。之后，自注意力机制很快也被推广到了视觉领域，并同样展示出巨大的潜力。图像虽然本身不

汽车电子与软件 2023-01-13 2820浏览
ConvNeXtV2来了，仅用最简单的卷积架构，性能不输Transformer

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号机器之心授权ConvNeXt 模型更新了！经过几十年的基础研究，视觉识别领域已经迎来了大规模视觉表征学习的新时代。预训练的大规模视觉模型已经成为特征学习（feature learning）和视觉应用的基本工具。视觉表征学习系统的性能在很大程度上受到三个主要因素的影响：模型的神经网络架构、训练网络的方法以及训练数据。每个因素的改进都有助于模型整

OpenCV学堂 2023-01-10 2290浏览

正在努力加载更多...

广告

今日新闻

热门文章排行

1 华为首款新形态手机官宣，余承东：全国人民都买得起！

手机技术资讯  2072
2 打破依赖！华为占据70%以上份额，2025AI芯片产量大增！

飙叔科技洞察  1997
3 冲破封锁！国产7nm芯片良率超80%，华为麒麟芯管够！

飙叔科技洞察  1890
4 华为首款新形态手机官宣，余承东：全国人民都买得起！

快科技  1859
5 SU7Ultra大定破万！雷军失眠了!

中国半导体论坛  1706
6 9人被捕！涉嫌转卖英伟达芯片给DeepSeek

集成电路IC  1324
7 文晔2024年净利润：91亿，创新高！

手机技术资讯  1259
8 这家IGBT/SiC企业被收购！营收超6200万元

行家说汽车半导体  1239
9 9人被捕！涉嫌非法转卖英伟达芯片给DeepSeek

CINNOResearch  1231
10 狼来了！特斯拉FSD将正式入华！

电动知家  1151
11 传美国将全面禁止对华销售AI芯片

芯极速  1095
12 SiC杀入AR眼镜战场！天科合达已抢跑布局

第三代半导体风向  1080
13 突发，美国全面封杀中国芯片！

集成电路IC  939
14 2025年DeepSeek行业级应用白皮书

智能计算芯世界  908
15 突发！美国将全面禁止对华销售AI芯片，国产芯片产业的“至暗时刻”还是“涅槃契机”？

飙叔科技洞察  900
16 致命一击！DeepSeek颠覆全球HBM芯片产业，韩国半导体即将全面溃败！

飙叔科技洞察  861
17 聚焦中麒光电冠名专场：COB显示高速发展，芯片、封装、设备、应用等产业链共进

JMInsights集摩咨询  781
18 中国半导体产业的“豪赌”：中芯国际544亿重金砸向何方？

飙叔科技洞察  768
19 突发！全球最大储能电站起火！

锂电联盟会长  760
20 传蒋自力被调离北汽集团！

谈思汽车  756
21 来自北大！首次实现光子芯片时钟应用，或将颠覆超高速芯片未来！

飙叔科技洞察  747
22 华为成立新公司“北京引望”，聚焦汽车和AI

ittbank  740
23 又一企业实现碳纳米管量产！

DT半导体材料  719
24 文晔2024年净利润：91亿，创新高！

ittbank  707
25 逆袭！国产大飞机C929国产化率突破90%！揭秘“中国翅膀”如何撕裂西方垄断壁垒！

飙叔科技洞察  681
26 突发大裁员！最高赔偿N+11！

中国半导体论坛  662
27 2024人形机器人产业发展研究报告

智能汽车设计  644
28 华为第十，榜首芯片公司价值超其10倍|2024胡润中国500强

EETOP  641
29 奇瑞董事长：成为“汽车界华为”

谈思汽车  627
30 国产GPU芯片独角兽沐曦被曝上市前裁员20%，官方回应

52RD  614

广告

最新评论更多>>

就是为了裁员

自做自受评论文章 2025-03-01

国产EDA大厂大地震：CEO、CTO、COO全部换人！
说的有点复杂，再好好想想

乱世煮酒... 评论文章 2025-03-01

使用共源共栅拓扑消除半导体开关中的米勒效应

资料

文库

帖子

博文

在线研讨会

EE直播间

第三代功率半导体器件测试解决方案直播时间：03月06日 10:00
不一样的热像检测 - 电子产品的热像检测技术要点和案例分享直播时间：03月26日 10:00
利用高性能源表和强大的软件，实现半导体参数的测试和分析直播时间：04月17日 00:00

E聘热招职位