案例简介
本案例中通过在 NVIDIA Isaac 平台集成触觉仿真器,借助 NVIDIA Isaac Sim 平台的 3D 场景生成技术和 NVIDIA Isaac Lab 的强化学习与数据增扩技术,帕西尼感知科技实现了从接触仿真、触觉信号产生、仿真数据生成,再到触觉模态模型训练的全流程 GPU 加速,提升标定和训练效率 100 倍,完成触觉传感器的批量标定和触觉模态规模化实机部署。
NVIDIA 技术驱动
帕西尼触觉感知与人形机器人智能突破
帕西尼感知科技(深圳)有限公司作为一家在触觉技术及人形机器人领域拥有前沿核心技术的创新企业,致力于将机器人的触觉感知能力提升至人类水平,从而实现对外界环境的精细解析与敏捷响应。
作为国内触觉传感技术的革新者,帕西尼感知科技凭借其触觉传感阵列与深度学习算法,能够实时采集并精准分析灵巧手及机器人与外部环境交互的触觉数据,通过基于物理模型的预处理与特征提炼,将其转化为对物体形状、质地、力度等属性的精准描述。帕西尼感知科技应用 NVIDIA Warp 提供的高效并行机制和高层级接口,高效实现了柔性体接触计算和触觉仿真器,并集成到 Isaac Sim 平台上。Isaac Sim 平台的 3D 场景生成技术和 Isaac Lab 的数据增扩技术协助帕西尼感知科技实现了从接触仿真、触觉信号产生、仿真数据生成,再到触觉模态模型训练的全流程,在 NVIDIA GPU 的并行能力加持下,提升训练效率超 100 倍,完成触觉传感器的触觉模态规模化实机部署。在此基础上,借助高性能计算平台与智能优化算法,实现复杂触觉信息的深度挖掘与高效解析,为灵巧手及机器人在动态环境中构建强大的智能决策引擎。
具身智能触觉感知突破与三大挑战
触觉的双向交互性对人类意义重大,让我们感知自身存在,帮助我们完成各种复杂任务。同样的,具身智能体也必须依靠触觉感知才能实现精巧、实时的反馈。高精度的触觉感知,一直都是具身智能领域极为关键和稀缺的模态,智能通用化能力是限制人形机器人规模化和商业化的瓶颈所在,在通往具身智能的道路上依然需要克服的几大挑战:
一是传感数据仿真模型的参数优化和轻量化,主要挑战在于构建阵列式触觉传感器的计算物理和计算力学模型,该模型需要在边缘侧以毫秒量级处理近万个独立参数,并在服务器端实现高速仿真和求解。此外,模型还需进一步突破材质纹理、摩擦系数、热导系数等感知执行边界的限制。物理模型参数的快速优化计算和轻量化是实现复杂物理交互,适应更广泛应用场景和任务需求的重要前提;
二是触觉模态和多模态模型构建和调优,主要挑战在于整合多模态数据提供的特征集,增强机器人任务执行时对环境上下文的理解,并在此基础上实现高效的规划、决策和执行,从而指导机器人完成复杂的闭环任务。这需要处理包括图像、三维视觉、触觉和文字标注在内的高维度异构数据,涉及跨模态表示学习、融合网络设计以及联合训练与优化等算法策略。这些策略通常依赖于具备高吞吐量的算力支持,以实现并行计算任务的高效调度与执行,提高模型的训练和推理效率,从而提升任务执行的智能化水平;
三是人形机器人学习技能训练与应用,主要挑战在于实现虚拟数据采集和真实数据精调。训练数据和训练场地的局限使得难以低成本、系统化地扩展机器人的数据集,当前的数据集仍难以满足产业化需求中的泛化能力要求。这涉及到如何高效地收集、整合和利用来自虚拟仿真环境和真实物理世界的海量数据,以及如何实现不同机器人本体之间的数据共享和协同,从而为模型训练和优化提供充足且多样化的数据支持。
NVIDIA 生态赋能帕西尼触觉感知全链路突破
基于以上挑战,帕西尼感知科技选择采用 NVIDIA GPU 作为硬件基础,结合 NVIDIA Omniverse 生态系统提供支持,为产品矩阵和业务能力带来提升和优化。
帕西尼感知科技选择采用 Isaac Sim 仿真开发平台,实现自研高效多物理系统的模拟和参数辨识。Isaac Sim 集成的统一刚体求解器,结合 NVIDIA Warp 框架支持下的柔性体快速求解器,在仿真过程中对刚体和柔性体进行协调优化,从而高效处理模拟传感器与不同材质物体接触时的复杂动力学行为。同时,帕西尼利用 CUDA 加速了自研快速超弹性材料的参数辨识和有限元正算仿真和接触计算。这不仅减少了对真实物理环境和硬件升级的依赖,还大幅缩短了解耦算法的调试和优化周期,将开发周期从数月缩减至几周,成本效益显著提升约 40% 以上。
帕西尼感知科技选择采用 NVIDIA GPU,其高性能架构和特性高度契合多模态大模型训练所需的并行计算能力。NVIDIA GPU 的高显存容量和带宽,能够满足训练与优化过程中大量存储模型参数、中间计算结果和数据集的需求。在高数据吞吐量下,能够实现低延迟,通过 CUDA 工具充分调用与执行 NVIDIA GPU 的计算资源,将图像特征提取、文本编码和模态融合等任务并行化执行。借助 GPU 并行优势,进一步加速深度学习算法的执行效率,在成本仅增加约 50% 的情况下,模型训练提速近 100 倍。
帕西尼感知科技选择采用 Isaac Lab 支持大规模机器人仿真。采用 Isaac Lab 仿真开发平台,高效构建人形机器人的数字孪生,通过 GPU 加速高度逼真的物理模拟、实时渲染、深度强化学习(RL)模仿学习(IL)集成等先进技术,在虚拟环境中复现真实机器人的运动、感知和交互过程等,实现虚实融合与多本体融合数据共享和协同,从而提高模型的泛化能力和适应性。避免物理硬件的损坏和高昂的实验成本局限。在数据方面,Isaac Lab 支持数据增扩,能有效生成和收集机器人在虚拟环境中的各类数据。同时,它还可通过连接外设进行虚拟遥操作,丰富训练数据,进一步提升机器人在不同场景下的泛化能力。在 Isaac Lab 的加持下,提高训练效率约至 100 倍,为机器人学习技能训练与应用提供了强有力的支持,快速打开并扩展应用场景。
在 NVIDIA GPU 和 SDK 生态的共同支持下,帕西尼得以迅速完成从传感计算、触觉多模态数据集到具身智能模型的全链路落地,触觉传感器、灵巧手、机器人和算法方案得以快速服务到众多客户。目前,帕西尼感知科技已经成为国内知名的高精度多维触觉传感器研发企业,依托 NVIDIA 开发平台和算力的全栈式软硬件生态体系,为人形机器人提供“大脑”,形成人形机器人训练提升的良性循环,实现智能化水平的快速升级。
NVIDIA 算力驱动帕西尼触觉感知
引领人形机器人多模态升级
帕西尼感知科技依托 NVIDIA 软硬件解决方案,特别是高性能 AI 加速集群算力技术,实现了海量触觉数据的高速运算与算法优化。这一技术支撑使帕西尼感知科技在触觉传感技术领域处于行业领先地位。
帕西尼感知科技 CEO 许晋诚博士表示:在具身智能的发展进程中,人形机器人正快速进入“多模态感知 2.0”时代。精细触觉感知能力作为实现高级交互与自主行动的关键要素,成为行业竞争焦点。帕西尼感知科技在“多维度多阵列触觉感知”领域大幅提升了触觉传感器的灵敏度与精度。NVIDIA 凭借强大的 GPU 矩阵和 AI 加速解决方案,构建起从芯片到算法的全栈生态体系,为帕西尼感知科技提供了底层算力支持。在此基础上,帕西尼的触觉传感器能够在毫秒级时间内完成数据的捕捉、解析与反馈,为算法模型的持续迭代优化提供动力,有力推动了人形机器人触觉技术的发展。
机器人及自动化设备一直以来缺乏完善的触觉感知能力,只有依靠多维度触觉传感器,才能更大程度提升机器人及设备对环境的感知能力,从而能够更好与物理世界进行交互,协助人类执行更多重要的任务。
许晋诚博士表示:“我们帕西尼作为触觉传感领域的佼佼者,深知与顶尖技术伙伴携手共进的重要性。NVIDIA 作为全球领先的 AI 计算平台提供商,为我们提供了高性能的 AI 加速集群算力,将‘多维阵列触觉传感算法’和‘触觉模态模型’发挥到极致。”
*本文图片由帕西尼感知科技制作,如果您有任何疑问或需要使用此图片,请联系帕西尼感知科技。
NVIDIA 初创加速计划
想获得 NVIDIA 初创加速生态助力?扫描下方二维码,仅需一分钟填写意向申请表单,获得快速联系。