智元开源百万真机数据集!具身智能领域的ImageNet时刻已到来!

电子科技世界 2024-12-30 17:36

作为上海模塑申城语料普惠计划中的一份子,智元机器人携手上海人工智能实验室、国家地方共建人形机器人创新中心以及上海库帕思,今天重磅发布全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集开源项目AgiBot World。这一里程碑式的开源项目,标志着具身智能领域“ImageNet时刻”已到来。

图片1.png

这是智元机器人本年度开源的第三个项目,亦是对智元818发布会承诺的完美兑现。我们将按计划在HuggingFace、Github以及agibot-world.com项目主页上分批上传数据,加速人类迈向通用人工智能的新时代。

项目开源地址

HuggingFace:

https://huggingface.co/agibot-world

Github:

https://github.com/OpenDriveLab/agibot-world

项目主页:

https://agibot-world.com/

AgiBot World是全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集。相比 Google 开源的 Open X-Embodiment 数据集,AgiBot World 长程数据规模高出10倍,场景范围覆盖面扩大100倍,数据质量从实验室级上升到工业级标准!在这个具身数据的世界里,机器人不再只是进行简单的桌面任务,而是进入到人类日常生活的方方面面。

多样任务  十八般武艺样样精通

AgiBot World数据集中涵盖的场景具备多样化和多元化特点,从抓取、放置、推、拉等基础操作,到搅拌、折叠、熨烫等复杂动作,几乎涵盖了人类日常生活所需的绝大多数场景。比如,其中一个视频展示的是机器人在电脑主机中内存条的过程,这需要机器人毫米级精细控制,稍有不慎就可能导致设备损坏,其如神经纤维般灵敏的末端触觉传感器,助力机器人实现了精准的对接;还有试图教会机器人如何用洗碗机的视频——在这条数据中,展现了厨房水池里勺筷碗盘层层堆叠,机器人将杂乱的餐具一一准确无误地整理至洗碗机相应卡槽中,操作流程长且动作十分繁琐。AgiBot World数据集中收录了80多种日常生活中的多样化技能视频,让机器人能够“十八般武艺样样精通”。

图片2.png

图片3.png

图片4.png

图片5.png

全域场景  上得厅堂下得厨房

AgiBot World数据集诞生于智元自建的大规模数据采集工厂与应用实验基地,空间总面积超过4000平方米,包含3000多种真实物品,一方面为机器人大规模数据训练提供场地,另一方面真实复刻了家居、餐饮、工业、商超和办公五大核心场景,全面覆盖了机器人在生产、生活中的典型应用需求。

图片6.png

家居场景再现人类真实住宅布局,包括卧室、客厅、厨房、卫生间等核心空间,可以实现机器人家务清洁、物品整理和厨房任务等。工业场景模拟分拣与物流自动化,复刻工业仓库与生产线,包括分拣系统、打包设备、传输带等,可以实现物料分拣、包装打包、物流搬运等。通过多场景的高度还原与任务设计,AgiBot World为机器人研发和测试构建了实现具身智能的必要条件。

图片7.png

图片8.png

图片9.png

图片19.png

像这样类似的真实场景AgiBot World百万真机数据集中有100多种,家居占40%、餐饮20%、工业20%、商超10%以及办公场景10%,其中80%的任务均为长程任务,任务时长集中在60s-150s之间,并且包含多个原子技能,长程数据是DROID和OpenX-Embodiment 的10倍以上,3000多种物品基本涵盖了这五大场景,同时还在不断丰富中。

图片11.png

场景和任务分布

图片12.png

各个场景物品分类

图片13.png

数据集时长分布

全能硬件   没有金刚钻难揽瓷器活

机器人能够如此灵活智能、胜任多种任务和技能,也得益于智元对于机器人本体的迭代升级——我们为机器人安装了8个环绕式布局的摄像头,让机器人可以实时360度全方位感知周围环境的动态变化;配备6自由度灵巧手,保障动作精准且灵活,同时末端还增加了六维力传感器和高精度触觉传感器,能够感知力的微小变化,做到“拿捏有度”;机器人全身拥有32个主动自由度,能够灵活应对多种复杂任务。

图片14.png

图片15.png

质量把控 严师出高徒

同时,数据集的质量,也是决定机器人能否快速学习的关键。AgiBot World中的数据,都需历经一套严苛的流程与验证链路。在项目之初,我们便邀请学界、工业界、消费者等多方介入提出建议,不断迭代流程设计规划;数据采集质量环节,无论是采集员还是采集质量,均由完善的管理体系和专业的管理团队全程保障;对于采集到的数据本身,将通过端、云两侧严格筛选,自动剔除不符合要求的数据,再由专业的审核员逐帧审核,确保每一个动作都符合任务标准;最后,这些数据还会通过算法进行二次验证,全方位筑牢数据质量防线。

图片16.png

———————————————————————————————

高质量的数据集对于当下具身智能技术的发展尤为重要。现有开源数据集,或多或少都存在采集流程缺乏标准化、机器人构型过时、数据质量格式参差不齐等问题,在机器人策略学习的过程中甚至会带来副作用。

图片17.png

谷歌OXE数据集,任务缺少真实生活场景,本体多样,数据质量和格式参差不齐

智元在此刻开源全球首个基于全域真实场景、全能硬件平台、全程质量把控的百万真机数据集AgiBot World,是具身智能技术发展的重大突破和里程碑事件,更是推进具身智能通用人工智能(AGI)实现的重要加速器。我们通过汇聚顶尖资源与技术力量,将共同推动具身智能发展新范式,加速人类迈向通用人工智能的新时代,在全球范围内奠定中国在这一前沿领域的领导地位。

图片18.png

未来,智元机器人将陆续开源千万仿真数据,以支持更泛化和更通用的大模型训练;将发布具身基座大模型,可支持模型微调,赋能千行百业;发布全套工具链,实现采集、训练和评测完美闭环;为激发创新的无限潜能,我们还将举办一系列AgiBot World Challenge,欢迎科技爱好者加入我们!

电子科技世界 关注电子行业最新动态
评论
  •  在这个日新月异的科技时代,智能家居正以前所未有的速度融入我们的日常生活,从智能灯光到温控系统,从安防监控到语音助手,每一处细节都透露着科技的温度与智慧。而在这场智能化浪潮中,一个看似不起眼却至关重要的组件——晶体管光耦,正扮演着连接物理世界与数字世界的隐形桥梁角色,默默推动着智能家居行业的发展与革新。 晶体管光耦——智能家居的“神经递质”晶体管光耦,作为一种能够将电信号转换为光信号,再通过光信号控制另一侧电路开关的电子元器件,其独特的工作原理使得它在隔离传输、抗干扰及保护电
    晶台光耦 2025-01-02 16:19 43浏览
  •  近年来,消费电子行业难言景气,长期处于萎靡不振的状态。其中,作为明星品类的智能手机同样被寒意所笼罩,出货量持续下跌。据IDC发布的报告显示,2023年全年,中国智能手机市场出货量约2.71亿台,同比下降5.0%,创近10年以来最低出货量。不过,在智能手机行业整体低迷之际,折叠屏手机却表现亮眼,成为智能手机市场唯一实现增长的品类。据IDC发布的跟踪报告显示,2023年,中国折叠屏手机市场出货量约700.7万台,同比增长114.5%。而这也是自2019年首款产品上市以来,出货量连续4年同
    刘旷 2025-01-02 11:27 31浏览
  • 早期概念与探索阶段(19 世纪以前):在古代,人类就对自动机械充满了想象,如古希腊时期的希罗发明的自动门、水钟等自动装置,中国古代的指南车、木牛流马等,虽然这些装置不能称之为真正的机器人,但为后来机器人的发展奠定了思想基础。从概念走向实践阶段(19 世纪~20 世纪初):随着工业革命的到来,自动机概念开始与实际机械设计结合,出现了具有实际功能的自动机械,例如雅卡尔提花机等,可通过穿孔卡片控制编织图案,为后续可编程控制的机器人发展提供了灵感。现代机器人产业萌芽期(1920 年代~1950 年代):
    Jeffreyzhang123 2025-01-02 14:53 69浏览
  • 国际标准IPC 标准:IPC-A-600:规定了印刷电路板制造过程中的质量要求和验收标准,涵盖材料、外观、尺寸、焊接、表面处理等方面。IPC-2221/2222:IPC-2221 提供了用于设计印刷电路板的一般原则和要求,IPC-2222 则针对高可靠性电子产品的设计提供了进一步的指导。IPC-6012:详细定义了刚性基板和柔性基板的要求,包括材料、工艺、尺寸、层次结构、特征等。IPC-4101:定义了印刷电路板的基板材料的物理和电气特性。IPC-7351:提供了元件封装的设计规范,包括封装尺寸
    Jeffreyzhang123 2025-01-02 16:50 69浏览
  • 2层PCB设计时候回路的寄生电感计算方式。由两个平面构成电流路径的回路电感,取决于每个平面路径的局部自感和它们之间的局部互感。平面越宽,电流分布就越扩散开,平面的局部自感就越小,从而回路电感也就越小。平面越长,局部自感就越大,从而回路电感也就越大。平面间距越小,平面之间的互感就越大,从而回路电感也就越小。当该区域为正方形,即长度等于宽度时,无论边长是多少,长和宽之比始终等于1。令人惊奇的是,一对平面上的边长为100mil的正方形区域和边长为1in的正方形区域的回路电感相同。平面对上的任一正方形区
    tao180539_524066311 2025-01-02 13:51 34浏览
  • 很荣幸收到富芮坤 FR3068x-C低功耗开发板,参加测评。断断续续看了一些资料,今天有时间把开发环境初步搭建好了,能下载程序了。记录一下,给大家分享一下。1、找不到ARMCM33_DSP_FP。安装Keil。我之前安装的Keil版本低,下载了重新安装了5.41,安装完成后,在工程配置页面的Device页面没有找到官方说的ARMCM33_DSP_FP,下图为官方文档内的截图,没有关系,注意右边涂黄色部分,Pack 的信息。打开keil的Pack Installer,找到ARM::CMSIS,找到
    王晓明 2025-01-01 15:38 73浏览
  • 在科技飞速发展的今天,5G 通信技术无疑是最耀眼的明星之一。它如同一场数字革命的风暴,以其前所未有的速度、极低的延迟和强大的连接能力,为我们的生活、经济和社会带来了翻天覆地的变化,开启了一个万物互联的崭新时代。5G 技术的卓越特性5G,即第五代移动通信技术,相比其前辈们,有着诸多令人瞩目的特性。首先是超高速率。5G 网络的理论峰值下载速度可达 10Gbps,这意味着下载一部高清电影只需短短几秒钟,而 4G 网络可能需要几分钟甚至更长时间。这种高速率让高清视频流、云游戏等对带宽要求极高的应用变得流
    Jeffreyzhang123 2025-01-02 14:18 55浏览
  • 在科技飞速发展的今天,机器人已经逐渐深入到我们生活和工作的各个领域。从工业生产线上不知疲倦的机械臂,到探索未知环境的智能探测机器人,再到贴心陪伴的家用服务机器人,它们的身影无处不在。而在这些机器人的背后,C 语言作为一种强大且高效的编程语言,发挥着至关重要的作用。C 语言为何适合机器人编程C 语言诞生于 20 世纪 70 年代,凭借其简洁高效、可移植性强以及对硬件的直接操控能力,成为机器人编程领域的宠儿。机器人的运行环境往往对资源有着严格的限制,需要程序占用较少的内存和运行空间。C 语言具有出色
    Jeffreyzhang123 2025-01-02 16:26 58浏览
  • 随着全球汽车行业向更加清洁、可持续的能源转型,燃料电池汽车(FCV)作为一种具有广阔前景的技术,正逐渐受到业界的广泛关注。这类氢能源车辆通过燃料电池中的电化学反应,将氢气转化为电能,并仅产生水作为副产品,展现出显著的环境效益。然而,氢气的易燃性也为燃料电池汽车的安全带来了挑战,因此,高效的氢气泄漏检测系统和残氢排放监控技术对于确保车辆的安全性和可靠性至关重要。 ‌一、氢能源车氢气泄漏检测技术‌为了确保燃料电池汽车的安全性,氢气传感器被广泛应用于氢气泄漏检测中。这些传感器能够集成到车辆的
    锂电小助手 2025-01-02 10:05 38浏览
  • 常见通信标准无线通信标准蜂窝移动通信标准:如 2G(GSM)、3G(WCDMA、CDMA2000、TD - SCDMA)、4G(LTE)以及 5G 等。以 5G 为例,其具有高速率、低时延、大容量等特点,为智能交通、工业互联网和物联网等领域提供支持。无线局域网标准:主要是 IEEE802.11 标准,也就是我们常说的 Wi - Fi。例如 IEEE802.11ac 和 IEEE802.11ax(Wi-Fi 6)等标准,不断提升无线局域网的传输速度和稳定性。短距离无线通信标准:包括蓝牙(Bluet
    Jeffreyzhang123 2025-01-02 14:33 33浏览
  • 从无到有:智能手机的早期探索无线电话装置的诞生:1902 年,美国人内森・斯塔布菲尔德在肯塔基州制成了第一个无线电话装置,这是人类对 “手机” 技术最早的探索。第一部移动手机问世:1938 年,美国贝尔实验室为美国军方制成了世界上第一部 “移动” 手机。民用手机的出现:1973 年 4 月 3 日,摩托罗拉工程师马丁・库珀在纽约曼哈顿街头手持世界上第一台民用手机摩托罗拉 DynaTAC 8000X 的原型机,给竞争对手 AT&T 公司的朋友打了一个电话。这款手机重 2 磅,通话时间仅能支持半小时
    Jeffreyzhang123 2025-01-02 16:41 59浏览
  • 起源与诞生:AI 技术的起源可以追溯到 20 世纪 40 年代,随着计算机技术的兴起,科学家们开始思考如何让机器具备类似人类的智能。1950 年,英国数学家艾伦・图灵提出了著名的 “图灵测试”,为 AI 技术的发展奠定了理论基础。1956 年,美国达特茅斯学院举行了一次人工智能研讨会,标志着 AI 作为一门独立学科的诞生。符号主义阶段(20 世纪 50 年代 - 70 年代):研究人员主要关注如何使用符号逻辑和推理规则来模拟人类思维,试图通过构建复杂的逻辑系统来解决各种问题。然而,由于这种方法的
    Jeffreyzhang123 2025-01-02 15:15 66浏览
  • 前言近年来,随着汽车工业的快速发展,尤其是新能源汽车与智能汽车领域的崛起,汽车安全标准和认证要求日益严格,应用范围愈加广泛。ISO 26262和ISO 21448作为两个重要的汽车安全标准,它们在“系统安全”中扮演的角色各自不同,但又有一定交集。在智能网联汽车的高级辅助驾驶系统(ADAS)应用中,理解这两个标准的区别及其相互关系,对于保障车辆的安全性至关重要。ISO 26262:汽车功能安全的基石如图2.1所示,ISO 26262对“功能安全”的定义解释为:不存在由于电子/电气系统失效引起的危害
    广电计量 2025-01-02 17:18 53浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦