【光电智造】李飞飞揭秘创业方向“空间智能”:视觉化为洞察,看见成为理解,理解导致行动

今日光电 2024-05-17 18:01

今日光电

     有人说,20世纪是电的世纪,21世纪是光的世纪;知光解电,再小的个体都可以被赋能。追光逐电,光赢未来...欢迎来到今日光电!




----追光逐电 光赢未来----

斯坦福李飞飞创业后,首次揭秘新概念“空间智能”
这不仅是她的创业方向,也是指引她的“北极星”,被她认为是“解决人工智能难题的关键拼图”。
视觉化为洞察;看见成为理解;理解导致行动。

李飞飞最新15分钟TED演讲完整公开,从数亿年前生命进化的起源开始,到人类如何不满足于自然赋予而发展人工智能,到下一步如何构建空间智能。

而9年前,正是在同一个舞台上,李飞飞向世界介绍了刚诞生不久的ImageNet——这一轮深度学习爆发的起点之一。

她本人也向网友自我安利:如果把两个视频都看了,你就能对过去10年的计算机视觉、空间智能和AI有很好的了解

下面在不改变其原意的基础上,我们对李飞飞演讲内容做整理。

空间智能,让AI理解现实世界

生物视觉的进化

让我向你展示一些东西,确切地说,我将向你展示“空无一物”。
这是5.4亿年前的世界。纯粹、无尽的黑暗。它之所以黑暗,并不是因为缺少光线。它之所以黑暗,是因为缺少视觉。
尽管阳光能够穿透海洋表面下1000米,来自海底热泉喷口的光线也能渗透到海底,充满了生命的海底,但这些古老的水域中找不到一只眼睛。
没有视网膜,没有角膜,没有晶状体。所以所有这些光线,所有这些生命,都未被看见。
曾经有一段时间,“看到”的概念还不存在。它曾经从未被实现过,直到它被实现了。
出于某种我们才开始理解的原因,能够感知光线的第一批生物——三叶虫出现了。它们是最早一批能够感知我们习以为常的现实的生物。它们是最早一批发现除了自己之外还有其他事物存在的生物。
世界第一次充满众多“自我”。

视觉能力被认为引发了寒武纪大爆发,一个动物物种大量进入化石记录的时期。最初是被动体验,简单让光线进入的行为,很快变得更加主动,神经系统开始进化。
视觉变成了洞察力。看变成了理解。理解导致了行动。
所有这些都催生了智能。

计算机视觉的崛起

今天,我们不再满足于自然界赋予的视觉能力。好奇心驱使我们创造机器,希望其视觉能力至少和我们一样,甚至更好。
九年前,在这个舞台上,我提交了一份关于计算机视觉的早期进展报告。
当时,三个强大的力量首次汇聚在一起:
  • 一类称为神经网络的算法
  • 快速、专门的硬件,称为图形处理单元,或GPU
  • 再加上大数据,比如我的实验室花数年时间整理的1500万张图像,称为ImageNet。
它们共同迎来了现代人工智能时代。

从那时起到现在,我们已经走了相当远。
最开始,仅仅给图像贴上标签就是一个重大突破,但算法的速度和准确性迅速提高。
由我的实验室主办的年度ImageNet挑战赛衡量了这一进展。在这张图表中,可以看到每年模型能力的提高,和其中一些里程碑模型。

我们更进一步,创建了能够分割视觉对象或预测它们之间动态关系的算法,这些工作是由我的学生和合作者完成的。
还有更多。
回想上次演讲我展示的第一个计算机视觉算法,AI可以用人类的自然语言描述一张照片。那是我和聪明的学生Andrej Karpathy一起完成的工作。

当时,我大胆地说:“Andrej,我们能让计算机做相反的事情吗?”Andrej笑着说说:“哈哈,那是不可能的。”
好吧,正如您今天看到的,不可能已经变得可能。
这要归功于一系列扩散模型,为当今的生成式AI算法提供动力,可以将人类的提示词转化为照片和视频,创造出全新的事物。
你们中许多人已经看到了OpenAI的Sora,最近取得令人印象深刻的成果。不过,早在几个月前,在没有大量GPU的情况下,我的学生和合作者们就开发出了一个名为Walt的AI视频生成模型。

Walt发表于2023年12月

这里还有改进的空间,看看那只猫的眼睛,它在波浪下从未被弄湿,好一个灾~难~(cat-astrophe)

(谐音梗扣钱!)

空间智能:仅仅看是不够的

过去是一个序章,我们将从这些错误中学习,并创造一个我们想象中的未来。在这个未来,我们希望AI尽其所能为我们做事,或帮助我们做事。
多年来,我一直在说拍照和看到和理解不是一回事。今天,我想再补充一点:仅仅看是不够的。

看,是为了行动和学习。

当我们在3D时空中采取行动时,我们学习,我们学会更好地看,更好地做事。大自然通过“空间智能”创造了一个看和行动的良性循环。
为了展示空间智能是什么,请看这张照片。如果你有想要做点什么的冲动,就举起手

在一刹那,你的大脑观察了这个杯子的几何形状,它在3D空间中的位置,它与桌子、猫和所有其他物体的关系,而且你可以预测接下来会发生什么。
行动的冲动是所有具有空间智能的生物固有的,它将感知与行动联系起来。
如果我们想让AI超越当前能力,我们不仅想要能够看到和说话的AI,我们想要能够行动的AI。
事实上,我们正在取得令人兴奋的进展。
空间智能的最新里程碑是教计算机看到、学习、行动,并学习看到和行动得更好
而这并不容易。
大自然花费了数百万年时间进化出空间智能,眼睛捕捉光线,将2D图像投射到视网膜上,大脑将这些数据转换成3D信息。
直到最近,一群来自谷歌的研究人员才开发出一种算法,将一组照片转换成3D空间。

我的学生和合作者们更进一步,创建了一个将单个图像变成3D形状的算法。

密歇根大学的一组研究人员找到了一种方法,将句子转换成3D房间布局。

我在斯坦福大学的同事和他的学生们开发了一种算法,可以从单个图像生成无限可能的空间,供观众探索。

这些就是未来可能性的的原型。在这个可能性中,人类可以将我们的整个世界转化为数字形式,并模拟其丰富和细微之处。
大自然在我们每个人的头脑中隐性地做了什么,空间智能技术有望能为我们的集体意识(collective consciousness)做同样的事情。

随着空间智能的加速进步,一个新时代在这个良性循环中正在我们眼前展开。这种循环正在催化机器人学习,这是任何需要理解和与3D世界互动的具身智能系统的关键组成部分。
十年前,我的实验室的ImageNet使数百万张高质量照片的数据库成为可能,帮助训练计算机视觉。
今天,我们正在做类似的事情,训练计算机和机器人如何在3D世界中行动
这次我们不是收集静态图像,而是开发由3D空间模型驱动的模拟环境,以便计算机可以学习行动的无限可能性。
你刚刚看到的是教导我们的机器人的一小部分例子,这是一个由我的实验室领导的项目,称为Behavior。

我们也在机器人语言智能方面取得了令人兴奋的进展。
使用基于大型语言模型的输入,我学生以及合作者是第一批展示机械臂可以根据口头指令执行各种任务的团队之一。
比如打开这个抽屉或拔掉电话线。或者制作三明治,使用面包、生菜、西红柿,甚至为用户放一张餐巾纸。通常情况下我希望三明治更丰富一些,但这是一个好的起点。

空间智能的应用前景

在古老时代的原始海洋中,能够看到和感知环境的能力引发了与其他生命形式互动的寒武纪大爆发。
今天,那道光正在达到数字思维。

空间智能不仅允许机器与彼此互动,而且还能与人类,以及真实或虚拟的3D世界互动。
随着这个未来成形,它将对许多生命产生深远的影响。
让我们以医疗保健为例。在过去的十年中,我的实验室一直在做初步努力,将AI应用于解决影响患者结果和医疗人员疲劳的挑战。
与来自斯坦福医学院的合作者和其他合作医院一起,我们正在试验一些智能传感器,可以检测到临床医生是否在没有正确洗手的情况下进入病人房间。或跟踪手术器械,或在病人身体面临风险,如跌倒时提醒护理团队。

我们认为这些技术是一种环境智能,就像额外的眼睛。
但我更希望为我们的患者、临床医生和护理人员提供更多的互动帮助,他们迫切需要额外的一双手
想象一下,一个自主机器人在护理人员专注于病人的同时运输医疗用品,或者用增强现实技术,引导外科医生进行更安全、更快、更少侵入性的操作。

再想象一下,严重瘫痪的病人可以用他们的思想控制机器人。没错,用脑电波来执行你和我习以为常的日常任务。
这是最近我的实验室进行的一项试点研究。在这个视频中,机器人手臂仅通过大脑电信号控制,正在烹饪一顿日本寿喜锅餐。其中信号非侵入性地通过EEG帽收集。

五亿年前,视觉的出现颠覆了黑暗的世界,引发了最深刻的进化过程:动物世界的智能发展。
过去十年AI的进步同样令人惊叹。但我相信,直到我们为计算机和机器人赋予空间智能,就像大自然对我们所有人所做的那样,这场数字寒武纪大爆发的全部潜力才会完全展现。
这是一个激动人心的时刻,教我们的数字伙伴学会推理,和与我们称之为家的这个美丽的3D空间互动,同时也创造更多我们可以探索的新世界。
实现这一未来并不容易,它要求我们所有人深思熟虑,开发始终以人为本的技术。
但如果我们做得好,由空间智能驱动的计算机和机器人不仅会成为有用的工具,还会成为值得信赖的伙伴,在尊重个人尊严的同时,提高我们的生产力、增强我们的人性,提升我们的集体繁荣。

在所有未来中我最兴奋的,是一个AI变得更有感知、有洞察和空间意识,并与我们一道追求创造更好的世界的方法。


来源:新机器视觉



申明:感谢原创作者的辛勤付出。本号转载的文章均会在文中注明,若遇到版权问题请联系我们处理。


 

----与智者为伍 为创新赋能----


【说明】欢迎企业和个人洽谈合作,投稿发文。欢迎联系我们
诚招运营合伙人 ,对新媒体感兴趣,对光电产业和行业感兴趣。非常有意者通过以下方式联我们!条件待遇面谈
投稿丨合作丨咨询

联系邮箱:uestcwxd@126.com

QQ:493826566



评论
  • 光耦合器,也称为光隔离器,是用于电气隔离和信号传输的多功能组件。其应用之一是测量电路中的电压。本文介绍了如何利用光耦合器进行电压测量,阐明了其操作和实际用途。使用光耦合器进行电压测量的工作原理使用光耦合器进行电压测量依赖于其在通过光传输信号的同时隔离输入和输出电路的能力。该过程包括:连接到电压源光耦合器连接在电压源上。输入电压施加到光耦合器的LED,LED发出的光与施加的电压成比例。光电二极管响应LED发出的光由输出侧的光电二极管或光电晶体管检测。随着LED亮度的变化,光电二极管的电阻相应减小,
    腾恩科技-彭工 2024-12-20 16:31 146浏览
  • ALINX 正式发布 AMD Virtex UltraScale+ 系列 FPGA PCIe 3.0 综合开发平台 AXVU13P!这款搭载 AMD 16nm 工艺 XCVU13P 芯片的高性能开发验证平台,凭借卓越的计算能力和灵活的扩展性,专为应对复杂应用场景和高带宽需求而设计,助力技术开发者加速产品创新与部署。随着 5G、人工智能和高性能计算等领域的迅猛发展,各行业对计算能力、灵活性和高速数据传输的需求持续攀升。FPGA 凭借其高度可编程性和实时并行处理能力,已成为解决行业痛点的关
    ALINX 2024-12-20 17:44 148浏览
  • 耳机虽看似一个简单的设备,但不仅只是听音乐功能,它已经成为日常生活和专业领域中不可或缺的一部分。从个人娱乐到专业录音,再到公共和私人通讯,耳机的使用无处不在。使用高质量的耳机不仅可以提供优良的声音体验,还能在长时间使用中保护使用者听力健康。耳机产品的质量,除了验证产品是否符合法规标准,也能透过全面性的测试和认证过程,确保耳机在各方面:从音质到耐用性,再到用户舒适度,都能达到或超越行业标准。这不仅保护了消费者的投资,也提升了该公司在整个行业的产品质量和信誉!客户面临到的各种困难一家耳机制造商想要透
    百佳泰测试实验室 2024-12-20 10:37 244浏览
  • 百佳泰特为您整理2024年12月各大Logo的最新规格信息。——————————USB▶ 百佳泰获授权进行 USB Active Cable 认证。▶ 所有符合 USB PD 3.2 标准的产品都有资格获得USB-IF 认证——————————Bluetooth®▶ Remote UPF Testing针对所有低功耗音频(LE Audio)和网格(Mesh)规范的远程互操作性测试已开放,蓝牙会员可使用该测试,这是随时测试产品的又一绝佳途径。——————————PCI Express▶ 2025年
    百佳泰测试实验室 2024-12-20 10:33 153浏览
  • 国产数字隔离器已成为现代电子产品中的关键部件,以增强的性能和可靠性取代了传统的光耦合器。这些隔离器广泛应用于医疗设备、汽车电子、工业自动化和其他需要强大信号隔离的领域。准确测试这些设备是确保其质量和性能的基本步骤。如何测试数字隔离器测试数字隔离器需要精度和正确的工具集来评估其在各种条件下的功能和性能。以下设备对于这项任务至关重要:示波器:用于可视化信号波形并测量时序特性,如传播延迟、上升时间和下降时间。允许验证输入输出信号的完整性。频谱分析仪:测量电磁干扰(EMI)和其他频域特性。有助于识别信号
    克里雅半导体科技 2024-12-20 16:35 121浏览
  • 汽车行业的变革正愈演愈烈,由交通工具到“第三生活空间”。业内逐渐凝聚共识:汽车的下半场在于智能化。而智能化的核心在于集成先进的传感器,以实现高等级的智能驾驶乃至自动驾驶,以及更个性、舒适、交互体验更优的智能座舱。毕马威中国《聚焦电动化下半场 智能座舱白皮书》数据指出,2026年中国智能座舱市场规模将达到2127亿元,5年复合增长率超过17%。2022年到2026年,智能座舱渗透率将从59%上升至82%。近日,在SENSOR CHINA与琻捷电子联合举办的“汽车传感系列交流会-智能传感专场”上,艾
    艾迈斯欧司朗 2024-12-20 19:45 204浏览
  • 随着工业自动化和智能化的发展,电机控制系统正向更高精度、更快响应和更高稳定性的方向发展。高速光耦作为一种电气隔离与信号传输的核心器件,在现代电机控制中扮演着至关重要的角色。本文将详细介绍高速光耦在电机控制中的应用优势及其在实际工控系统中的重要性。高速光耦的基本原理及优势高速光耦是一种光电耦合器件,通过光信号传递电信号,实现输入输出端的电气隔离。这种隔离可以有效保护电路免受高压、电流浪涌等干扰。相比传统的光耦,高速光耦具备更快的响应速度,通常可以达到几百纳秒到几微秒级别的传输延迟。电气隔离:高速光
    晶台光耦 2024-12-20 10:18 194浏览
  • 光耦固态继电器(SSR)作为现代电子控制系统中不可或缺的关键组件,正逐步取代传统机械继电器。通过利用光耦合技术,SSR不仅能够提供更高的可靠性,还能适应更加复杂和严苛的应用环境。在本文中,我们将深入探讨光耦固态继电器的工作原理、优势、挑战以及未来发展趋势。光耦固态继电器:如何工作并打破传统继电器的局限?光耦固态继电器通过光电隔离技术,实现输入信号与负载之间的电气隔离。其工作原理包括三个关键步骤:光激活:LED接收输入电流并发出与其成比例的光信号。光传输:光电传感器(如光电二极管或光电晶体管)接收
    腾恩科技-彭工 2024-12-20 16:30 124浏览
  •                                                窗        外       年底将近,空气变得格外寒冷,估计这会儿北方已经是千里
    广州铁金刚 2024-12-23 11:49 108浏览
  • Supernode与艾迈斯欧司朗携手,通过Belago红外LED实现精准扫地机器人避障;得益于Belago出色的红外补光功能,使扫地机器人能够大大提升其识别物体的能力,实现精准避障;Belago点阵照明器采用迷你封装,兼容标准无铅回流工艺,适用于各种3D传感平台,包括移动设备、物联网设备和机器人。全球领先的光学解决方案供应商艾迈斯欧司朗(瑞士证券交易所股票代码:AMS)近日宣布,与国内领先的多行业三维视觉方案提供商超节点创新科技(Supernode)双方联合推出采用艾迈斯欧司朗先进Belago红
    艾迈斯欧司朗 2024-12-20 18:55 146浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦