多模态 - 电子工程专辑

多模态

多模态大模型训练

模态 (Modality）指信息呈现和存储的不同类型和格式。它是理解事物发生方式和经验过程的关键元素。多模态大模型是一种能够处理和理解多种类型数据（如文本、图像、音频和视频）的人工智能模型。本文来自西南财大《大模型应用：从提示工程到AI智能体》，参考自“35+份大模型技术三部曲合集”，“AI智能体核心技术”，“大模型检索增强”，“预训练语言模型”，“多模态大模型训练”，“大模型认知框架”，“从知识

智能计算芯世界 2025-04-24 294浏览
电子科技大学研发多模态光谱自适应光电探测器，实现可见光/近红外宽带探测

机器视觉在新兴领域快速发展，对其在复杂动态环境中的感知能力提出更高要求。传统CCD和CMOS传感器光谱响应固定，难以适应环境变化，限制了有效视觉特征的提取，影响成像质量与信息精度。为此，亟需开发具备多模态可调光谱响应的新型传感器，以提升感知准确性与环境适应性。近年来，可见光-近红外双波段的传感因其在环境感知和智能视觉中的应用潜力受到关注，研究多采用垂直堆叠结构实现光谱选择性。有机光电探测器因柔性优

MEMS 2025-04-24 351浏览
集成碳涂层微电极的神经探针，实现多模态神经递质传感

神经递质作为“化学信使”，在调节生理机能、稳定神经回路以及各种认知（包括动机形成、情绪调节和学习记忆）过程中发挥关键作用。实时监测其快速动态变化对于推动基础神经科学发展及研发脑部疾病（例如帕金森病、药物成瘾、抑郁症及注意力缺陷多动障碍等）治疗手段至关重要。尽管生物化学传感技术已取得重大进展，但在体内神经递质快速波动精准测量方面仍面临技术挑战。此外，现有神经递质传感器件普遍存在时空分辨率不足、与神经

MEMS 2025-04-22 191浏览
2025中国多模态AI大模型座舱应用洞察研究报告

智车文库 2025-04-17 105浏览
用于鼻孔气流压力和温度监测的多模态传感器

准确检测鼻孔气流对于实时呼吸监测至关重要。然而，已开发的方法仅依赖于鼻孔气流的单一刺激传感，在复杂的环境中极易受到干扰，严重影响了检测结果的准确性。据麦姆斯咨询报道，近日，广州医科大学刘珍珍教授科研团队探索了一种多模态集成共晶凝胶（eutectogel）传感器，通过分别独立输出电容和电阻，同时感测鼻孔气流的压力和温度刺激，而没有交叉耦合。羟基磷灰石和单宁酸在网络中的完全物理交联和协同作用赋予了这种

MEMS 2025-04-17 114浏览
2025中国多模态AI大模型座舱应用洞察研究报告

智能汽车设计 2025-04-14 96浏览
2025多模态大模型洞察：大模型向多模态发展，深入产业垂直场景

本文来自“2025年中国安全大模型行业概览：AI重构网络安全：大模型如何颠覆攻防博弈？”，“2025年大模型研究系列多模态大模型洞察：大模型向多模态发展，深入产业端垂直场景”。多模态模型的高效运作依赖于多个组件的协同配合，具体包括模态编码器、输入投影器、大型模型基座、输出投影器以及模态生成器。这些组件共同协作，使得模型能够有效地处理并生成多种模态的数据。多模态大模型的分类方法，包括基于处理输入的方

智能计算芯世界 2025-04-13 1011浏览
重大突破！微米级脑机接口多模态三维图普在武汉发布

据麦姆斯咨询报道，近日，武汉协和医院叶哲伟教授、周弘博士团队与武汉衷华脑机融合科技发展有限公司合作，通过融合micro-CT、9.4T超高场磁共振与混合现实技术，成功构建全球首个集成颅骨、脑组织功能分区、脑血管及侵入式脑机接口装置的微米级三维多模态图谱。这一突破性成果，标志着在微米级精度上，实现了脑机接口装置与脑组织关键解剖结构的混合现实呈现。这项技术不仅解决了二维影像呈现维度低的问题，更首次将脑

MEMS 2025-04-06 281浏览
全志科技新一代高集成、低功耗、多模态前处理感知SoC「V821系列」全面量产

在视觉IoT市场，当前各类创新应用产品层出不穷并保持稳定增长，在传统安防视觉监控应用上发展出细分的低功耗视觉品类，产品形态上持续衍生出如智能门铃、婴儿看护器、智能喂鸟器、打猎相机、宠物相机等。此外还有最近半年兴起的话题热度产品AI智能穿戴眼镜和AI多模型感知交互玩具等，也开始融合视觉模块。而这一趋势对底层芯片方案提出了更高要求：设备需在低功耗条件下实现前端高清视觉处理、稳定联网能力并与云端AI多模

全志在线 2025-03-21 646浏览
这个多模态智能体，让电力装备运维越来越“聪明”

#昇腾逐梦人#在昇腾AI创新大赛2024总决赛上斩获应用创新组金奖的“许继智算”团队，用大模型巧妙破解了缺陷检测、风险识别等人工巡检难以解决的“历史性难题”，给出了大模型落地电力装备运维的技术路线。撰文｜张贺飞编辑｜沈菲菲DeepSeek的现象级出圈，为业界开辟了一条通向AI的新路径，也为大模型的落地应用打开了更大的空间。在大模型走深向实的氛围下，越来越多的企业改变了观望态度，开始深入挖掘大模型带

Alter聊科技 2025-03-14 221浏览
MEMS测振仪：多模态惯性换能器的动力学建模

使用超声导波（GUW）进行结构健康监测（SHM）是一种成熟的板材和板状结构无损检测技术。然而，针对纤维-金属层压板（FML）的结构健康监测仍是当前的研究主题。特别是，它需要结构集成的传感器来监测FML的内层。虽然压电晶片主动传感器（PWAS）能够分辨甚至超过100 kHz范围的表面波，但它们在FML中的集成能力受到声阻抗不匹配和这些传感器典型尺寸的限制。惯性MEMS传感器是土木结构健康监测中的常用

MEMS 2025-03-13 137浏览
独家！华为昇腾适配阶跃星辰多模态开源模型

《科创板日报》记者注意到，魔乐社区（Modelers）今日上架由阶跃星辰自研的Step-Video视频生成和Step-Audio语音模型两款开源多模态大模型，并基于华为昇腾CANN异构计算架构和昇腾服务器，完成了对模型的适配。除魔乐社区外，魔搭社区、模力方舟、HuggingFace、Replicate平台也已上架。此外，包括天数智芯、阿里云、火山引擎、金山云、TCL、LiblibAI、欢瑞世纪等标

科创板日报 2025-03-10 199浏览
芯报丨千觉机器人推出全球首个触觉仿真工具及多模态高精度触觉传感器

·聚焦:人工智能、芯片等行业欢迎各位客官关注、转发每日芯报0307期❶千觉机器人推出全球首个触觉仿真工具及多模态高精度触觉传感器多模态触觉感知公司千觉机器人自主研发的触觉感知解决方案落地应用于具身智能头部企业智元机器人——千觉首创推出的全球首个触觉仿真工具Xense_Sim以及多模态高精度触觉传感器G1-WS，助力智元机器人完备数据采集模态，为人形机器人在精密装配、工业智造及智能服务等复杂场景中落

AI芯天下 2025-03-07 189浏览
【效果震撼】Ollama多模态视觉大模型应用

点击上方蓝字关注我们微信公众号：OpenCV学堂关注获取更多计算机视觉与深度学习知识OLLama安装安装Ollama工具，下载地址如下：https://github.com/ollama/ollama下载与运行llama3大语言对话模型ollama run llama3.2下载与运行llama-vision3.2多模态视觉大模型ollama run llama3.2-vision下载与运行llav

OpenCV学堂 2025-03-03 712浏览
微软首个多模态Phi-4问世，56亿参数秒杀GPT-4o！LoRA华人大佬带队

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号新智元授权【导读】Phi-4系列模型上新了！56亿参数Phi-4-multimodal集语音、视觉、文本多模态于一体，读图推理性能碾压GPT-4o；另一款38亿参数Phi-4-mini在推理、数学、编程等任务中超越了参数更大的LLM，支持128K token上下文。今天，微软CEO纳德拉官宣，Phi系列家族新增两员：Phi-4-multimo

OpenCV学堂 2025-02-28 279浏览
重磅发现！DeepSeekR1方法成功迁移到视觉领域，多模态AI迎来新突破！

点击上方↑↑↑“OpenCV学堂”关注我来源：公众号机器之心授权嘿，各位开发小伙伴，今天要给大家安利一个全新的开源项目 ——VLM-R1！它将 DeepSeek 的 R1 方法从纯文本领域成功迁移到了视觉语言领域，这意味着打开了对于多模态领域的想象空间！这个项目的灵感来自去年 DeepSeek 开源的那个 R1 方法，靠着 GRPO（Group Relative Policy Optimiza

OpenCV学堂 2025-02-20 243浏览
基于AI大模型的新能源汽车智能座舱多模态交互技术研究综述

【摘要】智能座舱是汽车智能化的重要组成部分，多模态交互是智能座舱的核心功能。为了研究AI 大模型赋能智能座舱实现多模态交互的技术原理，利用AI 大模型的学习和泛化能力，分析了多模态交互技术框架和关键技术，评估国内外科技公司和车企在多模态交互领域的应用案例，如百度、华为、腾讯和科大讯飞的大语言模型，并对其效果进行对比。对比结果表明，AI 大模型在多模态交互中的应用显著提高了任务处理效率与准确性，增强

智能汽车设计 2025-02-07 1726浏览
UDA-seq：基于液滴微流控平台的组合标记，用于大规模多模态单细胞测序

据麦姆斯咨询报道，近日，中国科学院北京基因组研究所（国家生物信息中心）蒋岚团队，在《自然-方法》（Nature Methods）上发表了题为UDA-seq: universal droplet microfluidics-based combinatorial indexing for massive-scale multimodal single-cell sequencing的研究论文。该团队

MEMS 2025-02-04 1150浏览
DeepSeek深夜发布全新多模态大模型性能碾压OpenAI

爆火的国产大模型DeepSeek又放大招，今天凌晨突然发布Janus-Pro多模态大模型，进军文生图领域。在GenEval和DPG-Bench基准测试中，Janus-Pro-7B不仅击败了OpenAI的DALL-E 3，还击败了Stable Diffusion、Emu3-Gen等热门模型。Janus-Pro采用MIT开源协议，这意味着可无限制用于商业场景。DeepSeek方面表示，该大模型是202

快科技 2025-01-28 520浏览
基于共价有机框架的仿生发光传感器，实现听觉、味觉与嗅觉信息监测的多模态感知

仿生传感器是一种模拟生物系统的传感器，通过模拟人类的感知系统来提升传感器性能和灵敏度，主要是在视觉、味觉、嗅觉、听觉和触觉等方面。声音作为一种无处不在的物理现象，是情感表达、文化传递及环境感知的重要载体。然而，听力障碍者由于疾病或先天性缺陷而无法有效感知声音。因此，研发高性能的仿生声学传感器具有重要的意义。味觉和嗅觉是人类感知食物的重要方式，在识别食物的种类和质量方面发挥着至关重要的作用。苦味感知

MEMS 2025-01-21 304浏览
ViT|视觉与文本多模态的基石

点击上方蓝字关注我们微信公众号：OpenCV学堂关注获取更多计算机视觉与深度学习知识思想核心Visual Transformer将Transformer架构应用于计算机视觉任务，特别是图像分类。其核心思想是将输入的图像切分成多个图像块（patches），然后将每个图像块视为一个“词”（类似于自然语言处理中的单词），输入到Transformer网络进行处理。通过这种方式，Visual Transfo

OpenCV学堂 2025-01-14 382浏览
【视觉多模态专栏】理解Transformer模型结构

点击上方蓝字关注我们微信公众号：OpenCV学堂关注获取更多计算机视觉与深度学习知识Transformer模型Transformer模型，自2017年由Vaswani等人提出以来，在自然语言处理（NLP）领域引发了革命性的变革。这一模型的核心在于其独特的自注意力机制和多头注意力机制，以及由编码器和解码器构成的精妙架构。模型结构图示如下：Transformer模型结构Transformer模型的核心

OpenCV学堂 2025-01-13 933浏览
上海技物所研制出航空大视场全谱段多模态成像光谱仪

在过去的四十年里，机载高光谱成像光谱仪一直用于地球观测。尽管推扫式高光谱成像仪的灵敏度很高，但它们的测绘带和波长覆盖范围有限。近年来，基于无人机（UAV）的高光谱传感器和基于地面平台的高光谱成像仪相继问世。无人机高光谱传感器可以达到厘米级的空间分辨率，而高光谱成像仪通过从固定角度连续观察同一区域来提供更高的时间分辨率。利用机载高光谱成像仪的优势，2012年设计了机载多模态成像光谱仪（AMMIS

MEMS 2025-01-02 328浏览
OntheRadar:百度智能云千帆大模型平台加速企业多模态生成式AI应用落地

摘要全球生成式人工智能（AI）市场仍处于起步阶段。根据最新预测，该市场将在五年内增长五倍，从2024年的146亿美元增长到2029年的728亿美元。顶尖的应用领域包括消费类、企业服务、零售业、媒体娱乐业以及医疗保健业。作为生成式AI的下一个前沿领域，多模态生成式AI技术凭借其日益增强的多样化功能，正在推动各行业的应用案例，例如客户服务、企业知识管理、3D数字分身以及制造业等。目前，专注于多模态生

Omdia 2024-12-11 1442浏览
多模态融合将成为2025年AI技术新趋势，共谈应用场景与商业价值｜爱分析活动

多模态大语言模型是当前AI领域的热点之一，其核心在于能够同时处理和理解多种类型的数据，包括文本、图像、音频等。这一特性使其在智能客服、内容创作、图像识别、虚拟助理等领域展现出巨大的应用潜力与价值。无论是通过图像与文本的结合提升用户体验，还是利用声音与文字的交互增强学习效果，多模态大语言模型正在不断打破传统技术的界限。正应如此，12月12日19:00，爱分析特别邀请亚马逊云科技的GenAI技术专家，

爱分析ifenxi 2024-12-10 3349浏览

正在努力加载更多...

广告

今日新闻

热门文章排行

1 传中国对部分美国芯片加征关税豁免：125%降至0

52RD  3142
2 传中国对部分美国芯片加征关税豁免：125%降至0

射频美学  2895
3 传！部分美国产芯片获中国125%关税豁免

芯极速  2735
4 闭环！DeepSeek-R2与华为深度合体，昇腾芯片利用率达82%；推理成本较GPT-4下降了97.4%！

飙叔科技洞察  2247
5 中国对部分美国芯片加征关税豁免：125%降至0

芯片视界  2209
6 重磅！华为AI芯片910C将于5月量产出货，920也在路上了！

飙叔科技洞察  2197
7 储能行业中的“五大四小”是什么？

锂电联盟会长  2016
8 传中国对部分美国芯片免征关税！

皇华电子元器件IC供应商  1904
9 美国要破防了！DeepSeekR2将彻底摆脱英伟达，全部基于华为芯片

快科技  1764
10 曝蔚来一智驾技术大佬离职！

谈思汽车  1658
11 DeepSeekR2要来了！看点大爆料

ittbank  1657
12 突发！传中国对部分美国芯片免征关税！

ittbank  1349
13 华为激进！Mate80塞进大风扇，麒麟性能这下爆发了

手机技术资讯  1295
14 iQOOZ10TurboPro发布：特爆越级，样样超Pro

Qualcomm中国  1208
15 泡沫正在破灭！英伟达高位下跌60%正在成为现实

美股研究社  1165
16 2025上海车展智驾域控制器方案大盘点（共28家）

汽车电子与软件  1155
17 2025上海车展前瞻报告：创新智联自主竞逐高端

智车文库  1138
18 CIS全球出货排名TOP3：中国包揽两席！

EETOP  1109
19 传华为接洽多家企业，测试昇腾910D

芯极速  832
20 传海关通知：符合条件的美产芯片豁免关税

贞光科技  793
21 REDMITurbo4Pro发布：首发第四代骁龙8s，体验再升级

Qualcomm中国  788
22 小米推出首个大模型MiMo，赶超OpenAI阿里

WitDisplay  775
23 粤芯半导体启动IPO辅导！国产射频芯片厂商锐石创芯拟A股IPO！

飙叔科技洞察  762
24 中国台湾将实施“N-1”限制，禁止台积电出口最先进制程技术！

飙叔科技洞察  726
25 索尼Xperia1VII真机首曝：手机行业唯一清流设计

快科技  699
26 IDC：2025年Q1中国折叠屏手机出货增长53.1%，华为份额超75%

ittbank  698
27 PCI总线到底是什么？PCI总线是串行还是并行?PCIE5.0哪些主要指标呢？

Keysight射频测试资料分  609
28 394号文重磅发布，储能有何影响？

行家说储能  599
29 编程语言4月排名榜单：C++排名第二！

OpenCV学堂  575
30 SiC收入超13亿！三安、意法等企业披露近况

第三代半导体风向  561

广告

最新评论更多>>

学习了

青青水草评论文章 2025-04-22

湿度正在偷偷毁掉你的基准源精度！
good,.

mhlyjay 评论文章 2025-04-22

MOS管损耗理论计算公式推导及LTspice仿真验证

资料

文库

帖子

博文

在线研讨会

EE直播间

中小数字IC云仿真加速方案：弹性资源与验证效率提升直播时间：05月22日 10:00

E聘热招职位