LSTM - 电子工程专辑

LSTM

LSTM之父：我也是注意力之父！1991年就发表线性复杂度，遥遥领先Transformer26年

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号新智元授权【导读】Transformer模型自2017年问世以来，已成为AI领域的核心技术，尤其在自然语言处理中占据主导地位。然而，关于其核心机制“注意力”的起源，学界存在争议，一些学者如Jürgen Schmidhuber主张自己更早提出了相关概念。当今AI届的繁荣，很大程度上要归功于Transformer模型，2017年的开山之作，把「注

OpenCV学堂 2024-12-15 7浏览
原作者带队，LSTM真杀回来了！

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号机器之心授权LSTM：这次重生，我要夺回 Transformer 拿走的一切。20 世纪 90 年代，长短时记忆（LSTM）方法引入了恒定误差选择轮盘和门控的核心思想。三十多年来，LSTM 经受住了时间的考验，并为众多深度学习的成功案例做出了贡献。然而，以可并行自注意力为核心 Transformer 横空出世之后，LSTM 自身所存在的局限性

OpenCV学堂 2024-05-11 1128浏览
LSTM之父炮轰LLaMA2：抄我想法还羞辱我！网友：LeCun干的吧？

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号量子位授权LLaMA可谓是「驼红是非多」。新版本刚发布没多久，就遭到了LSTM之父Jürgen Schmidhuber的炮轰。你「饭来张口」也就算了，竟然还「放下碗骂娘」？Schmidhuber称，Meta在训练LLaMA 2的时候用到了他在1991年提出的想法，结果LLaMA却对他疯狂抹黑。一开始，网友发现在询问LLaMA 2关于Schmi

OpenCV学堂 2023-07-26 423浏览
LeCun论文被指「洗稿」？LSTM之父发文怒怼：抄我的还标原创

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号新智元授权【导读】LSTM之父、暴脾气大爷Jürgen Schmidhuber又开炮了？这回怼的是LeCun，说最近的新论文是炒了自己20多年前的冷饭，只不过换了种说法而已。图灵奖得主Yann Lecun，作为AI界的三巨头之一，他发表的论文自然是被人当成「圣经」来学习的。然而，最近突然有一个人跳出来炮轰LeCun「炒冷饭」：「无非就是把我的

OpenCV学堂 2022-07-08 683浏览
Transformer深至1000层还能稳定训练，微软实习生一作，LSTM之父转发

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号量子位授权近几年，随着业内“大力出奇迹”的趋势，Transformer的模型参数量也是水涨船高。不过，当参数从数百万增加至数十亿，甚至数万亿，性能实现相应提升时，Transformer的深度也受到了训练不稳定的限制。至少，还没有优化方法能在Transformer扩展至上千层的同时，还保证其稳定性。但现在，微软研究院一篇论文出手，直接将Tran

OpenCV学堂 2022-03-03 729浏览

正在努力加载更多...

广告

今日新闻

热门文章排行

1 网友贪便宜买了一个WiFi信号增强器，拆开后看到里面的用料我惊呆了......

芯片之家  485
2 曝保时捷中国裁员，赔偿N+6

52RD  337
3 传上海某新势力将“原地解散”？！

谈思汽车  336
4 悼念！清华大学计算机教授、《数据结构》编著者严蔚敏去世，享年86岁

C语言与CPP编程  313
5 最快倒闭的新势力！只剩24小时的极越能否起死回生？车主又该何去何从？

电动车公社  276
6 谷歌发布“Willow”量子计算芯片，马斯克和奥尔特曼双双惊叹不已！

国纳科技匠  232
7 百度、吉利联合声明！极越汽车命运尘埃落定，车主情绪失控接受不了

快科技  231
8 初步协定达成，百度、吉利已为极越员工缴纳11月社保

52RD  226
9 苹果将推可折叠iPad，直逼20吋

WitDisplay  221
10 重大突破，华为芯片实现100%国产！

PCB资讯  220
11 2024年11月中国手机市场排行：华为超越苹果，小米“遥遥领先”

手机技术资讯  214
12 谷歌发布新量子芯片，创始人称已证明存在平行宇宙

阿尔法工场研究院  213
13 核显超过RTX4060！AMD最强APU首次跑分

硬件世界  195
14 麒麟9020VS骁龙8至尊，跑分差距真没意义？实测答案来了！

手机技术资讯  181
15 传欧洲芯片三巨头：将在中国生产芯片！

皇华电子元器件IC供应商  177
16 不交社保、员工自费上班

一览众车  174
17 最新IPO排队名单（截至2024.12.12）

ittbank  161
18 极越最新消息：资方解决11月社保、夏一平说百度审计了没问题，员工直播找工作

车智  161
19 极越汽车或关停整车！员工：工资、社保已停

谈思汽车  159
20 深度丨华为布局人形机器人，开发与竞争迈入新阶段

AI芯天下  156
21 2024年11月汽车销量排名

一览众车  154
22 这些SiC/GaN企业荣耀登榜！2024行家极光奖揭晓

第三代半导体风向  153
23 英伟达：中国爱查查，我们凭实力取胜

芯通社  149
24 华为Mate70手机芯片100%国产，国产芯片“至暗时刻”已飘过！

飙叔科技洞察  146
25 魏少军教授报告：中国芯片设计业要自强不息

皇华电子元器件IC供应商  135
26 SpaceX估值超过OpenAI！

科创板日报  129
27 东风公司领导最新分工曝光！

谈思汽车  120
28 苹果发布iOS18.2正式版重磅更新：Siri接入ChatGPT

快科技  118
29 三星GalaxyS25Ultra影像规格：2亿像素主摄默认输出1250万像素

手机技术资讯  111
30 HOYA与京东方重庆合资工厂正式投产！将成世界上规模最大光掩膜版生产据点

CINNOResearch  110

广告

最新评论更多>>

温度有误，车规IC温度最高是125度

Zeit 评论文章 2024-12-17

一文读懂车规级芯片及车载芯片的分类
假设工作频率为5.8GHz，该频点处微带天线的输入阻抗为150欧姆,这里怎么算出来的

用户17340... 评论文章 2024-12-15

一个矩形微带贴片天线的调试

资料

文库

帖子

博文

在线研讨会

EE直播间

提升毫米波信号测试精度直播时间：12月18日 14:00
EE Talk主题专访系列直播-对话：释放 Wi-Fi 7 在高带宽应用中的技术潜力直播时间：12月19日 10:00

E聘热招职位