Transformer - 电子工程专辑

Transformer

揭秘transformer专用ASIC芯片：Sohu!

点击蓝字关注我们2022年，我们打赌说transformer会统治世界。我们花了两年时间打造Sohu，这是世界上第一个用于transformer（ChatGPT中的“T”）的专用芯片。将transformer架构烧到芯片中，我们无法运行大多数传统的AI模型：支持Instagram广告的DLRM，像AlphaFold 2这样的protein-folding模型，或者像Stable Diffusion

SSDFans 2025-01-03 346浏览
ReID最新综述！武大等全面总结Transformer方法|IJCV2024

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号新智元授权【导读】研究人员对基于Transformer的Re-ID研究进行了全面回顾和深入分析，将现有工作分类为图像/视频Re-ID、数据/标注受限的Re-ID、跨模态Re-ID以及特殊Re-ID场景，提出了Transformer基线UntransReID，设计动物Re-ID的标准化基准测试，为未来Re-ID研究提供新手册。目标重识别（Obj

OpenCV学堂 2024-12-24 109浏览
RNN回归！Bengio新作大道至简与Transformer一较高下

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号新智元授权【导读】近日，深度学习三巨头之一的Yoshua Bengio，带领团队推出了全新的RNN架构，以大道至简的思想与Transformer一较高下。在Transformer统治的AI时代之下，散落在世界各地的「RNN神教」信徒，一直相信并期待着RNN回归的那天：毕竟，凭借强大的顺序和上下文感知能力，RNN曾在各种任务中表现惊艳。直到后来

OpenCV学堂 2024-10-30 229浏览
基于表皮传感器和多任务步态Transformer模型的全流程、细粒度、定量的康复评估平台

近日，国际期刊Advanced Materials刊发华中科技大学机械学院吴豪教授、尹周平教授教授团队，人工智能与自动化学院黄剑教授团队和同济医学院附属协和医院肖喜玲教授团队在柔性电子医工交叉领域的新成果，题为“A full-process, fine-grained, and quantitative rehabilitation assessment platform enabled by o

MEMS 2024-10-26 351浏览
什么是Transformer模型（二）

如果想在 AI 领域引领一轮新浪潮，就需要使用到 Transformer。尽管名为 Transformer，但它们不是电视银幕上的变形金刚，也不是电线杆上垃圾桶大小的变压器。在上一篇《什么是 Transformer 模型（一）》中，通过对 Transformer 模型进行的深入剖析，展开了一幅 AI 领域的创新画卷，本篇文章将聚焦于该模型在现实世界各个领域中的具体应用，以及这些应用如何改变我们的生

英伟达NVIDIA中国 2024-09-10 511浏览
什么是Transformer模型（一）

如果想在 AI 领域引领一轮新浪潮，就需要使用到 Transformer。尽管名为 Transformer，但它们不是电视银幕上的变形金刚，也不是电线杆上垃圾桶大小的变压器。在人工智能的快速发展中，Transformer 模型作为一种神经网络，以其独特的自注意力机制，引领了自然语言处理的新浪潮，以革命性的方式推动了整个行业的进步。本文将带您深入了解 Transformer 模型的起源，探讨其如何通

英伟达NVIDIA中国 2024-09-03 467浏览
Transformer核心作者重返谷歌，任Gemini联合技术负责人！联手JeffDean追赶竞敌

戳👇🏻关注社长带你港股掘金被谷歌买下的AI独角兽Character.AI，已与团队深度融合。来源 | 新智元月初，明星初创Character.AI创始人，携30名员工集体入职谷歌，让AI圈大佬为之震惊。创始人、Transformer核心作者Noam Shazeer可以说是，「重返」谷歌。他曾在2021年离职，自立门户创办了这家AI独角兽。Information报道称，据内部员工消息，Shazee

美股研究社 2024-08-23 543浏览
【光电智造】终于有人将Transformer原理可视化了！

今日光电有人说，20世纪是电的世纪，21世纪是光的世纪；知光解电，再小的个体都可以被赋能。追光逐电，光赢未来...欢迎来到今日光电！----追光逐电光赢未来----2017 年，谷歌在论文《Attention is all you need》中提出了 Transformer，成为了深度学习领域的重大突破。该论文的引用数已经将近 13 万，后来的 GPT 家族所有模型也都是基于 Tr

今日光电 2024-08-16 591浏览
自注意力结构与Transformer模型概述

点击上方蓝字关注我们微信公众号：OpenCV学堂关注获取更多计算机视觉与深度学习知识Transformer模型概述Transformer是一种基于注意力机制的深度学习模型，广泛应用于自然语言处理（NLP）任务，如机器翻译、文本摘要等。它由编码器和解码器两大部分组成，每个部分都包含多个相同的层堆叠而成。01编码器（Encoder）编码器负责处理输入序列，并提取特征。每个编码器层包含两个子层：自注意力

OpenCV学堂 2024-07-06 525浏览
拆分Transformer注意力，韩国团队让大模型解码提速20倍

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号量子位授权只要将注意力切块，就能让大模型解码提速20倍。来自韩国科学技术研究院、LG和DeepMind的研究人员，提出了一种新的Transformer架构。不仅获得了更快的推理速度，内存开销也大幅度下降。研究人员详细分析了原始Transformer推理速度慢的原因——原始Transformer每生成一个Token就要访问一次全局KV缓存，消耗

OpenCV学堂 2024-07-01 476浏览
基于Transformer的自动驾驶传感器融合技术解析

关注公众号，点击公众号主页右上角“ ··· ”，设置星标，实时关注智能汽车电子与软件最新资讯传感器融合是许多感知系统中的一个重要课题，例如自动驾驶和机器人。在许多数据集上的排行榜，基于transformer的检测头和基于CNN的特征编码器（从原始传感器数据中提取特征），已成为性能最高的3D检测多传感器融合框架之一。本文提供了最近基于transformer的3D目标检测任务的文献综述，主要集中于传感

智能汽车电子与软件 2024-05-10 643浏览
Transformer“变形金刚”改变了计算机视觉

Tranformer芝能智芯出品Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，Transformer 模型使用了 Self-Attention 机制，不采用RNN顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。在过去几年里，Transformers 彻底改变了深度学习模型的本质，给人工智能领域带来了革命性的变化。引入了注意力机制的Transf

汽车电子设计 2023-10-09 1169浏览
【AI简报20230922期】华人AI芯片挑战英伟达，深入浅出理解Transformer

1. OpenAI DALL·E 3来了，集成ChatGPT，生图效果太炸了原文：https://mp.weixin.qq.com/s/P4HwP3VwzSnndD5LSt8pXw终于，OpenAI 的文生图 AI 工具 DALL-E 系列迎来了最新版本 DALL・E 3，而上个版本 DALL・E 2 还是在去年 4 月推出的。OpenAI 表示，「DALL・E 3 比以往系统更能理解细微差别和细

RTThread物联网操作系统 2023-09-23 1028浏览
绝了！基于transformer的最新SOTA！

Transformer 如今已经成为主流，为各种任务创造了 SOTA 结果，它是一种新型的神经网络架构，用于处理多种感知模态数据（如图像、文本、音频等），比如机器翻译和文本生成。9.14-9.15日我们邀请到哈工大博士李老师为大家直播分享——基于Transformer的视觉语言新SOTA，为大家解决Transformer基础模型原理、难点痛点以及Vision transformer的变式等问题！扫

OpenCV学堂 2023-09-14 599浏览
基于Transformer的自动驾驶传感器融合技术解析

--关注、星标、回复“智驾圈子”--↓↓查看：「智驾最前沿」智驾圈子资料目录↓↓传感器融合是许多感知系统中的一个重要课题，例如自动驾驶和机器人。在许多数据集上的排行榜，基于transformer的检测头和基于CNN的特征编码器（从原始传感器数据中提取特征），已成为性能最高的3D检测多传感器融合框架之一。欢迎关注「智驾最前沿」微信视频号本文提供了最近基于transformer的3D目标检测任务的文献

智驾最前沿 2023-08-26 4231浏览
Transformer论文「重磅更新」！八子全部离职，谷歌删除AttentionIsAllYouNeed所有作者邮箱

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号新智元授权【导读】随着Transformer八子全部离职，谷歌也「删除」了2017年发表的Attention Is All You Need中，所有作者的邮箱。当年Transformer的那篇惊世之作，早已人去楼（arXiv）空。就在昨天，网友发现谷歌已经把「Attention Is All You Need」论文中的所有作者的邮箱全部「划线

OpenCV学堂 2023-08-04 628浏览
万字聊聊Transformer在BEV、2D/3D检测上的应用、量化与加速！

--关注、星标、回复“自主泊车”--↓↓免费领取：自主代客泊车系统总体技术要求↓↓近年来，Transformer架构在各种自动驾驶应用中表现出了良好的性能。另一方面，其在便携式计算平台上的专用硬件加速已成为在真正的自动驾驶汽车中实际部署的下一个关键步骤。这篇综述对基于Transformer的模型进行了全面的概述、基准测试和分析，这些模型专门为自动驾驶任务（如车道线检测、分割、跟踪、规划和决策）量身

智驾最前沿 2023-07-23 1013浏览
斯坦福博士一己之力让Attention提速9倍！FlashAttention燃爆显存，Transformer上下文长度史诗级提升

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号新智元授权【导读】FlashAttention新升级！斯坦福博士一人重写算法，第二代实现了最高9倍速提升。继超快且省内存的注意力算法FlashAttention爆火后，升级版的2代来了。FlashAttention-2是一种从头编写的算法，可以加快注意力并减少其内存占用，且没有任何近似值。比起第一代，FlashAttention-2速度提升了

OpenCV学堂 2023-07-20 1024浏览
视觉Transformer对加速器架构提出挑战

点击蓝字关注我们在快速发展的人工智能世界里，CNN和其相关模型似乎在很久之前就已经把人工智能引擎架构推向了边缘。虽然神经网络算法的性质已经发生了显著的变化，但它们都被认为是在异构平台上有效处理DNN的不同层：NPU用于张量操作，DSP或GPU用于矢量操作，CPU(或集群)管理其余东西。该架构在视觉处理中工作得很好，其中矢量和标量类操作不会与张量层过多交叉。一个

SSDFans 2023-07-17 685浏览
自动驾驶中基于Transformer的单目BEV感知技术盘点

--关注、星标、回复“40429”--↓↓领取：《汽车驾驶自动化分级》（GB/T 40429-2021）↓↓基于多视角摄像头的3D目标检测在鸟瞰图下的感知（Bird's-eye-view Perception, BEV Perception) 吸引了越来越多的注意力。一方面，将不同视角在BEV下统一与表征是很自然的描述，方便后续规划控制模块任务；另一方面，BEV下的物体没有图像视角下的尺度(sca

智驾最前沿 2023-06-11 1071浏览
【光电智造】星标破10万！Auto-GPT之后，Transformer越新里程碑

今日光电有人说，20世纪是电的世纪，21世纪是光的世纪；知光解电，再小的个体都可以被赋能。欢迎来到今日光电！----与智者为伍为创新赋能----【导读】问世6年来，Transformer不仅成为NLP领域的主流模型，甚至成功向其他领域跨界，一度成为风靡AI界的机器学习架构。恰在今天，Transformers库在GitHub上星标破10万大关！2017年，谷歌团队在论文「Attent

今日光电 2023-05-24 1264浏览
Transformer中的自注意力机制

Transformer中的自注意力和BEV感知中的交叉注意力是目前研究较多的两种注意力机制。在专题的第二篇文章里我们首先来讨论一下自注意力，交叉注意力会在下一篇文章中介绍。Transformer以及其中采用的自注意力机制首先在自然语言处理领域（NLP）取得了成功的应用，替代了处理序列数据常用的循环神经网络（RNN）。之后，自注意力机制很快也被推广到了视觉领域，并同样展示出巨大的潜力。图像虽然本身不

汽车电子与软件 2023-01-13 2713浏览
ConvNeXtV2来了，仅用最简单的卷积架构，性能不输Transformer

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号机器之心授权ConvNeXt 模型更新了！经过几十年的基础研究，视觉识别领域已经迎来了大规模视觉表征学习的新时代。预训练的大规模视觉模型已经成为特征学习（feature learning）和视觉应用的基本工具。视觉表征学习系统的性能在很大程度上受到三个主要因素的影响：模型的神经网络架构、训练网络的方法以及训练数据。每个因素的改进都有助于模型整

OpenCV学堂 2023-01-10 2172浏览
最高加速9倍！字节跳动开源8比特混合精度Transformer引擎

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号机器之心授权近年来，Transformer 已经成为了 NLP 和 CV 等领域的主流模型，但庞大的模型参数限制了它的高效训练和推理。于是字节跳动在 2019 年 12 月和 2021 年 6 月分别推出了高效推理和训练引擎 LightSeq，大大加速了 Transformer 系列模型的训练和推理，也打通了 Transformer 从训练到

OpenCV学堂 2022-10-31 1414浏览
PyTorch创始人：Transformer太火很不好，AI易撞墙

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号机器之心授权Souminth Chintala 担心 Transformer 可能导致人工智能碰壁。2017 年 Transformer 首次亮相，便迅速在 AI 领域扩散开来，CV、NLP 等任务都有其身影，越来越多的研究人员投入其中。要说 Transformer 有多厉害，比如 OpenAI 重磅推出的 GPT-3，就是基于 Transf

OpenCV学堂 2022-10-03 1046浏览

正在努力加载更多...

广告

今日新闻

热门文章排行

广告

最新评论更多>>

我这，原先V10.5跑的好好的代码，更新V11后，单片机初始化时就不断重启

vaov_3734... 评论文章 2025-01-06

FreeRTOSV11.0升级了多项重要功能，兼容V10版本
这里http://www.zhefar.com/download/training/zhefar/Training%20-%20JTAG(CHS).pdf 有份培训资料挺好，是杭州哲发科技有限公司的。他们是专业JTAG方案供应商，其JTAG综合应用系统是众多杰出工程师在二十多年电子通信产品开发过程中，根据工作需要在实践中建立并完善起来的一套调试/调测/维修系统。产品经过大量验证，已经服务于众多知名公司和上市公司。 JTAG综合应用系统三大功能：板卡测试维修、PLD加载/编程和 Flash烧写/编程/加载。 www.zhefar.com 我们和好几个兄弟单位都用过，非常好！

xxdg 评论文章 2025-01-05

强大的JTAG边界扫描2-BSDL文件

资料

文库

帖子

博文

在线研讨会

EE直播间

精密半导体参数测试解决方案直播时间：01月08日 10:00

E聘热招职位