智能座舱中多模态交互设计浅析

智驾最前沿 2023-01-08 08:30

--关注回复“40429--

领取:《汽车驾驶自动化分级》(GB/T 40429-2021)
智能座舱中新技术、新场景、新模式不断涌现,设计师需要考虑如何让驾驶员在驾驶车辆时有安全、高效、舒适的人机交互体验,多模态交互将会成为未来人机交互的主流。

什么是智能座舱与多模态交互
跟传统座舱相比,智能座舱的“智能”主要体现在以下几个方面:
智能化:App远程控制、智能形象+语音欢迎语等;
科技性:高精地图、智能导航、疲劳监测、驾驶坐姿调整等;
易用性:多屏互联(中控屏、仪表盘)等;
安全感:底盘操控、驾乘品质感等;
人性化:自动泊车、寻找充电桩、自动充电等;
第三空间:沉浸式座舱、智能游戏等。

什么是多模态交互
“多模态交互”就是融合了人的视觉、听觉、触觉、嗅觉等多种感官,计算机利用多种通信通道响应输入,并充分模拟人与人之间的交互方式。
智能座舱中常见的模态有哪些?
目前智能座舱的模态包括视觉、听觉、触觉、嗅觉,对应的模态在智能座舱的体现:
视觉:HUD+仪表盘+中控+后视镜+氛围灯
听觉:音乐+语音交互+警示音
触觉:方向盘+按键+中控+挡位+座椅+安全带更多用于提示场景
手势:隔空控制音量、切换歌曲、控制车窗等场景
嗅觉:不同气味用于不同场景,疲劳场景可提神 

智能座舱常见模态的优缺点
智能座舱的大部分的信息都放在视觉通道里面,这无疑会增加驾驶员的认知负荷,单模态交互难以满足复杂的驾驶场景,各模块彼此间的关联性不强,大大降低了信息感知的价值。
如何实现高效、安全、易用的人机交互,避免驾驶员注意力分散,降低交互认知和改善人车交互体验是值得思考的问题。
多模态的交互如何改善驾驶过程的安全与效率?

智能座舱为什么需要多模态交互
研究表明,人更习惯多模态交互,尤其高优先级消息以多模态的冗余增益可以加快处理时间,例如视觉+听觉或视觉+振动触觉警告比单模警告拥有更快响应。
通过【多重资源理论】和【态势感知】两个模型来进行分析
多重资源理论:一个通道接收的信息是有上限的,当信息过载时,会导致人的认知负荷,从而降低效率。为避免视觉通道超负荷,可以将部分信息通过听觉通道呈现,这能有效降低司机的工作负荷。
态势感知:态势感知是一种感受者根据环境因素而动态、整体地理解当前情境的能力,由此可以提升对安全风险的发现识别、理解分析及响应能力,以便于做出最终的决策与行动。
比如,对新手司机来说在驾驶中,会比较关注路面,这时候如果在视觉上弹出信息,就很容易分散注意力,这就是态势感知的丧失。而通过语音或者触觉的通道去反馈,可以提高了安全性和效率。
智能座舱多模态交互的重要性对驾驶员行为和状态进行多模监测
通过对方向盘的转向,行驶轨迹,油门的加减速,以及视觉摄像头的分析,可以判断驾驶员是否在开启ADAS系统后,处于瞌睡、疲劳、分心等脱离驾驶状态中。
多模提示让驾驶员保持良好的态势感知
当车辆开启ACC(Adaptive Cruise Control)功能时,车辆监测车外环境,包括其他车辆的运动状态、特定工况等,结合车内动态信息显示在AR-HUD上,比如当下时速、车距、基本车辆信息,帮助驾驶员判断前车运动轨迹,增强态势感知,降低驾驶员工作负荷,及时作出有效判断及行动。

智能座舱多模态交互的应用
1. 语音+视觉
语音交互在实际应用中是不可见的,如果不与其他模态进行融合,很难预判出他们发出的指令处于哪个状态。比如在进行语音命令时,它产生的状态有:唤醒-聆听-识别-播报-持续倾听,通过中控屏幕上的语音虚拟形象状态属性来区别不同阶段,可以提高驾驶员的安全感。
2. 视觉+触觉
小鹏P7打开车道辅助时,为了减少驾驶员在开车时低头看仪表盘,方向盘会通过抖动的方式来提示目前车辆压线的状态;另外,还可以通过方向盘的物理按键唤醒语音,语音虚拟形象的状态变化显示在中控屏上。
除了常规的多模态交互以外,在广义的模态交互还包括了什么?
通过面部特征识别分析当前驾驶者的坐姿设置,自动调节座椅和方向盘高度换而言之,通过眼动追踪、心电、呼吸特征监测驾驶者是否疲劳、身体异常、分神等异常情况,进行多模态警示,来保障驾驶者的安全。

转载自网络,文中观点仅供分享交流,不代表本公众号立场,如涉及版权等问题,请您告知,我们将及时处理。

-- END --

智驾最前沿 「智驾最前沿」深耕自动驾驶领域技术、资讯等信息,解读行业现状、紧盯行业发展、挖掘行业前沿,致力于助力自动驾驶发展与落地!公众号:智驾最前沿
评论 (0)
  • 文/郭楚妤编辑/cc孙聪颖‍越来越多的企业开始蚕食动力电池市场,行业“去宁王化”态势逐渐明显。随着这种趋势的加强,打开新的市场对于宁德时代而言至关重要。“我们不希望被定义为电池的制造者,而是希望把自己称作新能源产业的开拓者。”4月21日,在宁德时代举行的“超级科技日”发布会上,宁德时代掌门人曾毓群如是说。随着宁德时代核心新品骁遥双核电池的发布,其搭载的“电电增程”技术也走进业界视野。除此之外,经过近3年试水,宁德时代在换电业务上重资加码。曾毓群认为换电是一个重资产、高投入、长周期的产业,涉及的利
    华尔街科技眼 2025-04-28 21:55 182浏览
  • 一、智能家居的痛点与创新机遇随着城市化进程加速,现代家庭正面临两大核心挑战:情感陪伴缺失:超60%的双职工家庭存在“亲子陪伴真空期”,儿童独自居家场景增加;操作复杂度攀升:智能设备功能迭代导致用户学习成本陡增,超40%用户因操作困难放弃高阶功能。而WTR096-16S录音语音芯片方案,通过“语音交互+智能录音”双核驱动,不仅解决设备易用性问题,更构建起家庭成员间的全天候情感纽带。二、WTR096-16S方案的核心技术突破1. 高保真语音交互系统动态情绪语音库:支持8种语气模板(温柔提醒/紧急告警
    广州唯创电子 2025-04-28 09:24 192浏览
  •  探针台的维护直接影响其测试精度与使用寿命,需结合日常清洁、环境控制、定期校准等多维度操作,具体方法如下:一、日常清洁与保养1.‌表面清洁‌l 使用无尘布或软布擦拭探针台表面,避免残留清洁剂或硬物划伤精密部件。l 探针头清洁需用非腐蚀性溶剂(如异丙醇)擦拭,检查是否弯曲或损坏。2.‌光部件维护‌l 镜头、观察窗等光学部件用镜头纸蘸取wu水jiu精从中心向外轻擦,操作时远离火源并保持通风。3.‌内部防尘‌l 使用后及时吹扫灰尘,防止污染物进入机械滑
    锦正茂科技 2025-04-28 11:45 121浏览
  • 在智能硬件设备趋向微型化的背景下,语音芯片方案厂商针对小体积设备开发了多款超小型语音芯片方案,其中WTV系列和WT2003H系列凭借其QFN封装设计、高性能与高集成度,成为微型设备语音方案的理想选择。以下从封装特性、功能优势及典型应用场景三个方面进行详细介绍。一、超小体积封装:QFN技术的核心优势WTV系列与WT2003H系列均提供QFN封装(如QFN32,尺寸为4×4mm),这种封装形式具有以下特点:体积紧凑:QFN封装通过减少引脚间距和优化内部结构,显著缩小芯片体积,适用于智能门铃、穿戴设备
    广州唯创电子 2025-04-30 09:02 290浏览
  • 浪潮之上:智能时代的觉醒    近日参加了一场课题的答辩,这是医疗人工智能揭榜挂帅的国家项目的地区考场,参与者众多,围绕着医疗健康的主题,八仙过海各显神通,百花齐放。   中国大地正在发生着激动人心的场景:深圳前海深港人工智能算力中心高速运转的液冷服务器,武汉马路上自动驾驶出租车穿行的智慧道路,机器人参与北京的马拉松竞赛。从中央到地方,人工智能相关政策和消息如雨后春笋般不断出台,数字中国的建设图景正在智能浪潮中徐徐展开,战略布局如同围棋
    广州铁金刚 2025-04-30 15:24 235浏览
  • 网约车,真的“饱和”了?近日,网约车市场的 “饱和” 话题再度引发热议。多地陆续发布网约车风险预警,提醒从业者谨慎入局,这背后究竟隐藏着怎样的市场现状呢?从数据来看,网约车市场的“过剩”现象已愈发明显。以东莞为例,截至2024年12月底,全市网约车数量超过5.77万辆,考取网约车驾驶员证的人数更是超过13.48万人。随着司机数量的不断攀升,订单量却未能同步增长,导致单车日均接单量和营收双双下降。2024年下半年,东莞网约出租车单车日均订单量约10.5单,而单车日均营收也不容乐
    用户1742991715177 2025-04-29 18:28 242浏览
  • 你是不是也有在公共场合被偷看手机或笔电的经验呢?科技时代下,不少现代人的各式机密数据都在手机、平板或是笔电等可携式的3C产品上处理,若是经常性地需要在公共场合使用,不管是工作上的机密文件,或是重要的个人信息等,民众都有防窃防盗意识,为了避免他人窥探内容,都会选择使用「防窥保护贴片」,以防止数据外泄。现今市面上「防窥保护贴」、「防窥片」、「屏幕防窥膜」等产品就是这种目的下产物 (以下简称防窥片)!防窥片功能与常见问题解析首先,防窥片最主要的功能就是用来防止他人窥视屏幕上的隐私信息,它是利用百叶窗的
    百佳泰测试实验室 2025-04-30 13:28 407浏览
  • 一、gao效冷却与控温机制‌1、‌冷媒流动设计‌采用低压液氮(或液氦)通过毛细管路导入蒸发器,蒸汽喷射至样品腔实现快速冷却,冷却效率高(室温至80K约20分钟,至4.2K约30分钟)。通过控温仪动态调节蒸发器加热功率,结合温度传感器(如PT100铂电阻或Cernox磁场不敏感传感器),实现±0.01K的高精度温度稳定性。2、‌宽温区覆盖与扩展性‌标准温区为80K-325K,通过降压选件可将下限延伸至65K(液氮模式)或4K(液氦模式)。可选配475K高温模块,满足材料在ji端温度下的性能测试需求
    锦正茂科技 2025-04-30 13:08 306浏览
  • 4月22日下午,备受瞩目的飞凌嵌入式「2025嵌入式及边缘AI技术论坛」在深圳深铁皇冠假日酒店盛大举行,此次活动邀请到了200余位嵌入式技术领域的技术专家、企业代表和工程师用户,共享嵌入式及边缘AI技术的盛宴!1、精彩纷呈的展区产品及方案展区是本场活动的第一场重头戏,从硬件产品到软件系统,从企业级应用到高校教学应用,都吸引了现场来宾的驻足观看和交流讨论。全产品矩阵展区展示了飞凌嵌入式丰富的产品线,从嵌入式板卡到工控机,从进口芯片平台到全国产平台,无不体现出飞凌嵌入式在嵌入式主控设备研发设计方面的
    飞凌嵌入式 2025-04-28 14:43 174浏览
  • 在CAN总线分析软件领域,当CANoe不再是唯一选择时,虹科PCAN-Explorer 6软件成为了一个有竞争力的解决方案。在现代工业控制和汽车领域,CAN总线分析软件的重要性不言而喻。随着技术的进步和市场需求的多样化,单一的解决方案已无法满足所有用户的需求。正是在这样的背景下,虹科PCAN-Explorer 6软件以其独特的模块化设计和灵活的功能扩展,为CAN总线分析领域带来了新的选择和可能性。本文将深入探讨虹科PCAN-Explorer 6软件如何以其创新的模块化插件策略,提供定制化的功能选
    虹科汽车智能互联 2025-04-28 16:00 214浏览
  • 文/Leon编辑/cc孙聪颖‍2023年,厨电行业在相对平稳的市场环境中迎来温和复苏,看似为行业增长积蓄势能。带着对市场向好的预期,2024 年初,老板电器副董事长兼总经理任富佳为企业定下双位数增长目标。然而现实与预期相悖,过去一年,这家老牌厨电企业不仅未能达成业绩目标,曾提出的“三年再造一个老板电器”愿景,也因市场下行压力面临落空风险。作为“企二代”管理者,任富佳在掌舵企业穿越市场周期的过程中,正面临着前所未有的挑战。4月29日,老板电器(002508.SZ)发布了2024年年度报告及2025
    华尔街科技眼 2025-04-30 12:40 241浏览
  • 贞光科技代理品牌紫光国芯的车规级LPDDR4内存正成为智能驾驶舱的核心选择。在汽车电子国产化浪潮中,其产品以宽温域稳定工作能力、优异电磁兼容性和超长使用寿命赢得市场认可。紫光国芯不仅确保供应链安全可控,还提供专业本地技术支持。面向未来,紫光国芯正研发LPDDR5车规级产品,将以更高带宽、更低功耗支持汽车智能化发展。随着智能网联汽车的迅猛发展,智能驾驶舱作为人机交互的核心载体,对处理器和存储器的性能与可靠性提出了更高要求。在汽车电子国产化浪潮中,贞光科技代理品牌紫光国芯的车规级LPDDR4内存凭借
    贞光科技 2025-04-28 16:52 289浏览
  • 随着电子元器件的快速发展,导致各种常见的贴片电阻元器件也越来越小,给我们分辨也就变得越来越难,下面就由smt贴片加工厂_安徽英特丽就来告诉大家如何分辨的SMT贴片元器件。先来看看贴片电感和贴片电容的区分:(1)看颜色(黑色)——一般黑色都是贴片电感。贴片电容只有勇于精密设备中的贴片钽电容才是黑色的,其他普通贴片电容基本都不是黑色的。(2)看型号标码——贴片电感以L开头,贴片电容以C开头。从外形是圆形初步判断应为电感,测量两端电阻为零点几欧,则为电感。(3)检测——贴片电感一般阻值小,更没有“充放
    贴片加工小安 2025-04-29 14:59 257浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦