面包芯语

【光电智造】终于有人将Transformer原理可视化了！

今日光电 2024-08-16 18:02
揭秘：新一代半导体器件如何提升测试电源的性能 汽车用卸负载电阻低价方案

 今日光电 

     有人说，20世纪是电的世纪，21世纪是光的世纪；知光解电，再小的个体都可以被赋能。追光逐电，光赢未来...欢迎来到今日光电！



----追光逐电 光赢未来----


2017 年，谷歌在论文《Attention is all you need》中提出了 Transformer，成为了深度学习领域的重大突破。该论文的引用数已经将近 13 万，后来的 GPT 家族所有模型也都是基于 Transformer 架构，可见其影响之广。

作为一种神经网络架构，Transformer 在从文本到视觉的多样任务中广受欢迎，尤其是在当前火热的 AI 聊天机器人领域。


不过，对于很多非专业人士来说，Transformer 的内部工作原理仍然不透明，阻碍了他们的理解和参与进来。因此，揭开这一架构的神秘面纱尤其必要。但很多博客、视频教程和 3D 可视化往往强调数学的复杂性和模型实现，可能会让初学者无所适从。同时为 AI 从业者设计的可视化工作侧重于神经元和层级可解释性，对于非专业人士来说具有挑战性。

因此，佐治亚理工学院和 IBM 研究院的几位研究者开发了一款基于 web 的开源交互式可视化工具「Transformer Explainer」，帮助非专业人士了解 Transformer 的高级模型结构和低级数学运算。如下图 1 所示。


Transformer Explainer 通过文本生成来解释 Transformer 内部工作原理，采用了桑基图可视化设计，灵感来自最近将 Transformer 视为动态系统的工作，强调了输入数据如何流经模型组件。从结果来看，桑基图有效地说明了信息如何在模型中传递，并展示了输入如何通过 Transformer 操作进行处理和变换。

在内容上，Transformer Explainer 紧密集成了对 Transformer 结构进行总结的模型概述，并允许用户在多个抽象层级之间平滑过渡，以可视化低级数学运算和高级模型结构之间的相互作用，帮助他们全面理解 Transformer 中的复杂概念。

在功能上，Transformer Explainer 在提供基于 web 的实现之外，还具有实时推理的功能。与现有很多需要自定义软件安装或缺乏推理功能的工具不同，它集成了一个实时 GPT-2 模型，使用现代前端框架在浏览器本地运行。用户可以交互式地试验自己的输入文本，并实时观察 Transformer 内部组件和参数如何协同工作以预测下一个 token。

在意义上，Transformer Explainer 拓展了对现代生成式 AI 技术的访问，且不需要高级计算资源、安装或编程技能。而之所以选择 GPT-2，是因为该模型知名度高、推理速度快，并且与 GPT-3、GPT-4 等更高级的模型在架构上相似。


  • 论文地址：https://arxiv.org/pdf/2408.04619
  • GitHub 地址：http://poloclub.github.io/transformer-explainer/
  • 类LLM可视化在线体验地址：https://t.co/jyBlJTMa7m


既然支持自己输入，试用了一下「what a beautiful day」，运行结果如下图所示。


对于 Transformer Explainer，一众网友给出了很高的评价。有人表示，这是非常酷的交互式工具。


有人称自己一直在等待一个直观的工具来解释自注意力和位置编码，就是 Transformer Explainer 了。它会是一个改变游戏规则的工具。


还有人展示了类LLM可视化中文项目。

展示地址：http://llm-viz-cn.iiiai.com/llm

这里不禁想到了另一位科普界的大牛 Karpathy，它之前写了很多关于复现 GPT-2 的教程，包括「纯 C 语言手搓 GPT-2，前 OpenAI、特斯拉高管新项目火了」、「Karpathy 最新四小时视频教程：从零复现 GPT-2，通宵运行即搞定」等。如今有了 Transformer 内部原理可视化工具，看起来两者搭配使用，学习效果会更佳。

Transformer Explainer 系统设计与实现

Transformer Explainer 可视化展示了基于 Transformer 的 GPT-2 模型经过训练是如何处理文本输入并预测下一个 token 的。前端使用了 Svelte 和 D3 实现交互式可视化，后端则利用 ONNX runtime 和 HuggingFace 的 Transformers 库在浏览器中运行 GPT-2 模型。

设计 Transformer Explainer 的过程中，一个主要的挑战是如何管理底层架构的复杂性，因为同时展示所有细节会让人抓不住重点。为了解决这个问题，研究者十分注意两个关键的设计原则。 

首先，研究者通过多级抽象来降低复杂性。他们将工具进行结构化设计，以不同的抽象层次呈现信息。这让用户能够从高层概览开始，并根据需要逐步深入了解细节，从而避免信息过载。在最高层，工具展示了完整的处理流程：从接收用户提供的文本作为输入（图 1A），将其嵌入，经过多个 Transformer 块处理，再到使用处理后的数据来对最有可能的下一个 token 预测进行排序。

中间操作，如注意力矩阵的计算（图 1C），这在默认情况下被折叠起来，以便直观地显示计算结果的重要性，用户可以选择展开，通过动画序列查看其推导过程。研究者采用了一致的视觉语言，比如堆叠注意力头和折叠重复的 Transformer 块，以帮助用户识别架构中的重复模式，同时保持数据的端到端流程。 

其次，研究者通过交互性增强理解和参与。温度参数在控制 Transformer 的输出概率分布中至关重要，它会影响下一个 token 预测的确定性（低温时）或随机性（高温时）。但是现有关于 Transformers 的教育资源往往忽视了这一方面。用户现在能够使用这个新工具实时调整温度参数（图 1B），并可视化其在控制预测确定性中的关键作用（图 2）。


此外，用户可以从提供的示例中选择或输入自己的文本（图 1A）。支持自定义输入文本可以让用户更深入参与，通过分析模型在不同条件下的行为，并根据不同的文本输入对自己的假设进行交互式测试，增强了用户的参与感。 

那在实际中有哪些应用场景呢？

Rousseau 教授正在对自然语言处理课程的课程内容进行现代化改造，以突出生成式 AI 的最新进展。她注意到，一些学生将基于 Transformer 的模型视为捉摸不透的「魔法」，而另一些学生则希望了解这些模型的工作原理，但不确定从何入手。

为了解决这一问题，她引导学生使用 Transformer Explainer，该工具提供了 Transformer 的互动概览（图 1），鼓励学生积极进行实验和学习。她的班级有 300 多名学生，而 Transformer Explainer 能够完全在学生的浏览器中运行，无需安装软件或特殊硬件，这是一个显著的优势，消除了学生对管理软件或硬件设置的担忧。

该工具通过动画和互动的可逆抽象（图 1C），向学生介绍了复杂的数学运算，如注意力计算。这种方法帮助学生既获得了对操作的高层次理解，又能深入了解产生这些结果的底层细节。

Rousseau 教授还意识到，Transformer 的技术能力和局限性有时会被拟人化（例如，将温度参数视为「创造力」控制）。通过鼓励学生实验温度滑块（图 1B），她向学生展示了温度实际上是如何修改下一个词元的概率分布（图 2），从而控制预测的随机性，在确定性和更具创造性的输出之间取得平衡。

此外，当系统可视化 token 处理流程时，学生们可以看到这里并没有任何所谓的「魔法」—— 无论输入文本是什么（图 1A），模型都遵循一个定义明确的操作顺序，使用 Transformer 架构，一次只采样一个 token，然后重复这一过程。

未来工作

研究者们正在增强工具的交互式解释来改善学习体验。同时，他们还在通过 WebGPU 提升推理速度，并通过压缩技术来减小模型的大小。他们还计划进行用户研究，来评估 Transformer Explainer 的效能和可用性，观察 AI 新手、学生、教育者和从业者如何使用该工具，并收集他们希望支持的额外功能的反馈意见。 

还在等什么，你也上手体验一下，打破对 Transformer 的「魔法」幻想，真正了解这背后的原理吧。
  • 论文地址：https://arxiv.org/pdf/2408.04619
  • GitHub 地址：http://poloclub.github.io/transformer-explainer/
    类LLM可视化在线体验地址：https://t.co/jyBlJTMa7m


来源：新机器视觉


申明：感谢原创作者的辛勤付出。本号转载的文章均会在文中注明，若遇到版权问题请联系我们处理。


 

----与智者为伍 为创新赋能----


【说明】欢迎企业和个人洽谈合作，投稿发文。欢迎联系我们
诚招运营合伙人 ，对新媒体感兴趣，对光电产业和行业感兴趣。非常有意者通过以下方式联我们！条件待遇面谈
投稿丨合作丨咨询

联系邮箱：uestcwxd@126.com

QQ：493826566




登录阅读全文
免责声明： 该内容由专栏作者授权发布或作者转载，目的在于传递更多信息，并不代表本网赞同其观点，本站亦不保证或承诺内容真实性等。若内容或图片侵犯您的权益，请及时联系本站删除。侵权投诉联系：  nick.zong@aspencore.com！
今日光电
评论 （0）
  • 电磁数据展示系统软件平台全面解析
    　　电磁数据展示系统平台解析 　　北京华盛恒辉电磁数据展示系统平台是实现电磁数据高效展示、分析与管理的综合性软件体系，以下从核心功能、技术特性、应用场景及发展趋势展开解读： 　　应用案例 　　目前，已有多个电磁数据展示系统在实际应用中取得了显著成效。例如，北京华盛恒辉和北京五木恒润电磁数据展示系统。这些成功案例为电磁数据展示系统的推广和应用提供了有力支持。 　　一、核心功能模块 　　数据采集与预处理 　　智能分析处理 　　集成频谱分析、时频变换等信号处理算法，自动提取时域频域特征;
    华盛恒辉l58ll334744 2025-05-13 10:20 381浏览
  • 胖东来：光环背后的真实与挣扎​
    在当下的商业版图中，胖东来宛如一颗璀璨的明星，散发着独特的光芒。它以卓越的服务、优质的商品以及独特的企业文化，赢得了消费者的广泛赞誉和业界的高度关注。然而，近期胖东来与自媒体博主之间的一场激烈对战，却如同一面镜子，映照出了这家企业在光环背后的真实与挣扎，也引发了我们对于商业本质、企业发展以及舆论生态的深入思考。​冲突爆发：舆论场中的硝烟弥漫​2025年4月，抖音玉石博主“柴怼怼”（粉丝约28万）突然发难，发布多条视频直指河南零售巨头胖东来。他言辞犀利，指控胖东来在玉石销售方面存在暴利行为，声称其
    疯人评 2025-05-14 13:49 72浏览
  • 舰艇电磁兼容分析与整改系统平台全面解析
    　　舰艇电磁兼容分析与整改系统平台解析 　　北京华盛恒辉舰艇电磁兼容分析与整改系统平台是保障海军装备作战效能的关键技术，旨在确保舰艇电子设备在复杂电磁环境中协同运行。本文从架构、技术、流程、价值及趋势五个维度展开解析。 　　应用案例 　　目前，已有多个舰艇电磁兼容分析与整改系统在实际应用中取得了显著成效。例如，北京华盛恒辉和北京五木恒润舰艇电磁兼容分析与整改系统。这些成功案例为舰艇电磁兼容分析与整改系统的推广和应用提供了有力支持。 　　一、系统架构：模块化智能体系 　　电磁环境建模：基
    华盛恒辉l58ll334744 2025-05-14 11:22 87浏览
  • 零一万物困局：人走了，钱烧了，大模型牌还怎么打？
    在当下竞争激烈的 AI 赛道，企业高层的变动往往牵一发而动全身，零一万物近来就深陷这样的动荡漩涡。近日，零一万物联合创始人、技术副总裁戴宗宏离职创业的消息不胫而走。这位在大模型基础设施领域造诣颇深的专家，此前在华为云、阿里达摩院积累了深厚经验，在零一万物时更是带领团队短期内完成了千卡 GPU 集群等关键设施搭建，其离去无疑是重大损失。而这并非个例，自 2024 年下半年以来，李先刚、黄文灏、潘欣、曹大鹏等一众联创和早期核心成员纷纷出走。
    用户1742991715177 2025-05-13 21:24 143浏览
  • 电磁数据管理系统软件平台设计方案
    　　电磁数据管理系统深度解析 　　北京华盛恒辉电磁数据管理系统作为专业的数据处理平台，旨在提升电磁数据的处理效率、安全性与可靠性。以下从功能架构、核心特性、应用场景及技术实现展开分析： 　　应用案例 　　目前，已有多个电磁数据管理系统在实际应用中取得了显著成效。例如，北京华盛恒辉和北京五木恒润电磁数据管理系统。这些成功案例为电磁数据管理系统的推广和应用提供了有力支持。 　　一、核心功能模块 　　数据采集与接入：实时接收天线、频谱仪等设备数据，兼容多协议接口，确保数据采集的全面性与实时性
    华盛恒辉l58ll334744 2025-05-13 10:59 290浏览
  • 仿真推演系统平台
    　　军事仿真推演系统平台核心解析 　　北京华盛恒辉军事仿真推演系统平台以计算机仿真技术为基石，在功能、架构、应用及效能上展现显著优势，成为提升军事作战与决策能力的核心工具。 　　应用案例 　　目前，已有多个仿真推演系统在实际应用中取得了显著成效。例如，北京华盛恒辉和北京五木恒润仿真推演系统。这些成功案例为仿真推演系统的推广和应用提供了有力支持。 　　一、全流程功能体系 　　精准推演控制：覆盖推演启动至结束全流程。 　　智能想定管理：集成作战信息配置、兵力部署功能。 　　数据模型整合
    华盛恒辉l58ll334744 2025-05-14 17:11 79浏览
  • 仿真推演系统:军事领域的战略性应用与未来展望
    　　军事领域仿真推演系统的战略价值与发展前瞻 　　北京华盛恒辉仿真推演系统通过技术创新与应用拓展，已成为作战效能提升的核心支撑。以下从战略应用与未来趋势展开解析： 　　应用案例 　　目前，已有多个仿真推演系统在实际应用中取得了显著成效。例如，北京华盛恒辉和北京五木恒润仿真推演系统。这些成功案例为仿真推演系统的推广和应用提供了有力支持。 　　一、核心战略应用 　　1. 作战理论创新引擎 　　依托低成本仿真平台，军事人员可高效验证新型作战概念。 　　2. 装备全周期优化 　　覆盖武器
    华盛恒辉l58ll334744 2025-05-14 16:41 92浏览
  • 【意法半导体 STM32 WL55】1、开箱+介绍
    感谢面包板论坛组织的本次测评活动，本次测评的对象是STM32WL Nucleo-64板 (NUCLEO-WL55JC) ，该测试板专为LoRa™应用原型构建，基于STM32WL系列sub-GHz无线微控制器。其性能、功耗及特性组合经过精心挑选，支持通过Arduino® Uno V3连接，并利用ST morpho接头扩展STM32WL Nucleo功能，便于访问多种专用屏蔽。STM32WL Nucleo-64板集成STLINK-V3E调试器与编程器，无需额外探测器。该板配备全面的STM
    无言的朝圣 2025-05-13 09:47 199浏览
  • 磁光克尔效应在量子计算中的应用
    一、量子自旋态光学操控1、‌拓扑量子态探测‌磁光克尔效应通过检测拓扑磁结构（如磁斯格明子）的磁光响应，实现对量子材料中非平庸拓扑自旋序的非侵入式表征。例如，二维量子磁体中的“拓扑克尔效应”可通过偏振光旋转角变化揭示斯格明子阵列的动态演化，为拓扑量子比特的稳定性评估提供关键手段。2、‌量子态调控界面‌非厄米磁光耦合系统（如法布里-珀罗腔）通过耗散调控增强克尔灵敏度，可用于奇异点附近的量子自旋态高精度操控，为超导量子比特与光子系统的耦合提供新思路。二、光子量子计算架构优化1、‌光子内存计算器件‌基于
    锦正茂科技 2025-05-13 09:57 51浏览
  • 超声波流量计，流体计量系统的绿色“智造”先锋
    在全球能源结构转型加速推进与政策驱动的双重作用下，油气输送、智慧水务及化学化工等流体计量场景正面临效率革命与智能化升级的迫切需求。传统机械式流量计虽在工业初期有效支撑了基础计量需求，但其机械磨损、精度衰减与运维困难等固有缺陷已难以适应现代工业对精准化、智能化与可持续发展的多维诉求。在此背景下，超声波流量计则凭借着高精度探测、可实时监测、无侵入式安装、无阻流部件、易于维护与绿色环保等优势实现了突破性发展，成为当代高精度流体计量体系中不可或缺的重要一环。该技术不仅是撬动能源利用效率提升、支撑智慧管网
    华普微HOPERF 2025-05-14 11:49 47浏览
我要评论
0
0
点击右上角，分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦