【光电智造】李飞飞揭秘创业方向“空间智能”:视觉化为洞察,看见成为理解,理解导致行动

今日光电 2024-05-17 18:01

今日光电

     有人说,20世纪是电的世纪,21世纪是光的世纪;知光解电,再小的个体都可以被赋能。追光逐电,光赢未来...欢迎来到今日光电!




----追光逐电 光赢未来----

斯坦福李飞飞创业后,首次揭秘新概念“空间智能”
这不仅是她的创业方向,也是指引她的“北极星”,被她认为是“解决人工智能难题的关键拼图”。
视觉化为洞察;看见成为理解;理解导致行动。

李飞飞最新15分钟TED演讲完整公开,从数亿年前生命进化的起源开始,到人类如何不满足于自然赋予而发展人工智能,到下一步如何构建空间智能。

而9年前,正是在同一个舞台上,李飞飞向世界介绍了刚诞生不久的ImageNet——这一轮深度学习爆发的起点之一。

她本人也向网友自我安利:如果把两个视频都看了,你就能对过去10年的计算机视觉、空间智能和AI有很好的了解

下面在不改变其原意的基础上,我们对李飞飞演讲内容做整理。

空间智能,让AI理解现实世界

生物视觉的进化

让我向你展示一些东西,确切地说,我将向你展示“空无一物”。
这是5.4亿年前的世界。纯粹、无尽的黑暗。它之所以黑暗,并不是因为缺少光线。它之所以黑暗,是因为缺少视觉。
尽管阳光能够穿透海洋表面下1000米,来自海底热泉喷口的光线也能渗透到海底,充满了生命的海底,但这些古老的水域中找不到一只眼睛。
没有视网膜,没有角膜,没有晶状体。所以所有这些光线,所有这些生命,都未被看见。
曾经有一段时间,“看到”的概念还不存在。它曾经从未被实现过,直到它被实现了。
出于某种我们才开始理解的原因,能够感知光线的第一批生物——三叶虫出现了。它们是最早一批能够感知我们习以为常的现实的生物。它们是最早一批发现除了自己之外还有其他事物存在的生物。
世界第一次充满众多“自我”。

视觉能力被认为引发了寒武纪大爆发,一个动物物种大量进入化石记录的时期。最初是被动体验,简单让光线进入的行为,很快变得更加主动,神经系统开始进化。
视觉变成了洞察力。看变成了理解。理解导致了行动。
所有这些都催生了智能。

计算机视觉的崛起

今天,我们不再满足于自然界赋予的视觉能力。好奇心驱使我们创造机器,希望其视觉能力至少和我们一样,甚至更好。
九年前,在这个舞台上,我提交了一份关于计算机视觉的早期进展报告。
当时,三个强大的力量首次汇聚在一起:
  • 一类称为神经网络的算法
  • 快速、专门的硬件,称为图形处理单元,或GPU
  • 再加上大数据,比如我的实验室花数年时间整理的1500万张图像,称为ImageNet。
它们共同迎来了现代人工智能时代。

从那时起到现在,我们已经走了相当远。
最开始,仅仅给图像贴上标签就是一个重大突破,但算法的速度和准确性迅速提高。
由我的实验室主办的年度ImageNet挑战赛衡量了这一进展。在这张图表中,可以看到每年模型能力的提高,和其中一些里程碑模型。

我们更进一步,创建了能够分割视觉对象或预测它们之间动态关系的算法,这些工作是由我的学生和合作者完成的。
还有更多。
回想上次演讲我展示的第一个计算机视觉算法,AI可以用人类的自然语言描述一张照片。那是我和聪明的学生Andrej Karpathy一起完成的工作。

当时,我大胆地说:“Andrej,我们能让计算机做相反的事情吗?”Andrej笑着说说:“哈哈,那是不可能的。”
好吧,正如您今天看到的,不可能已经变得可能。
这要归功于一系列扩散模型,为当今的生成式AI算法提供动力,可以将人类的提示词转化为照片和视频,创造出全新的事物。
你们中许多人已经看到了OpenAI的Sora,最近取得令人印象深刻的成果。不过,早在几个月前,在没有大量GPU的情况下,我的学生和合作者们就开发出了一个名为Walt的AI视频生成模型。

Walt发表于2023年12月

这里还有改进的空间,看看那只猫的眼睛,它在波浪下从未被弄湿,好一个灾~难~(cat-astrophe)

(谐音梗扣钱!)

空间智能:仅仅看是不够的

过去是一个序章,我们将从这些错误中学习,并创造一个我们想象中的未来。在这个未来,我们希望AI尽其所能为我们做事,或帮助我们做事。
多年来,我一直在说拍照和看到和理解不是一回事。今天,我想再补充一点:仅仅看是不够的。

看,是为了行动和学习。

当我们在3D时空中采取行动时,我们学习,我们学会更好地看,更好地做事。大自然通过“空间智能”创造了一个看和行动的良性循环。
为了展示空间智能是什么,请看这张照片。如果你有想要做点什么的冲动,就举起手

在一刹那,你的大脑观察了这个杯子的几何形状,它在3D空间中的位置,它与桌子、猫和所有其他物体的关系,而且你可以预测接下来会发生什么。
行动的冲动是所有具有空间智能的生物固有的,它将感知与行动联系起来。
如果我们想让AI超越当前能力,我们不仅想要能够看到和说话的AI,我们想要能够行动的AI。
事实上,我们正在取得令人兴奋的进展。
空间智能的最新里程碑是教计算机看到、学习、行动,并学习看到和行动得更好
而这并不容易。
大自然花费了数百万年时间进化出空间智能,眼睛捕捉光线,将2D图像投射到视网膜上,大脑将这些数据转换成3D信息。
直到最近,一群来自谷歌的研究人员才开发出一种算法,将一组照片转换成3D空间。

我的学生和合作者们更进一步,创建了一个将单个图像变成3D形状的算法。

密歇根大学的一组研究人员找到了一种方法,将句子转换成3D房间布局。

我在斯坦福大学的同事和他的学生们开发了一种算法,可以从单个图像生成无限可能的空间,供观众探索。

这些就是未来可能性的的原型。在这个可能性中,人类可以将我们的整个世界转化为数字形式,并模拟其丰富和细微之处。
大自然在我们每个人的头脑中隐性地做了什么,空间智能技术有望能为我们的集体意识(collective consciousness)做同样的事情。

随着空间智能的加速进步,一个新时代在这个良性循环中正在我们眼前展开。这种循环正在催化机器人学习,这是任何需要理解和与3D世界互动的具身智能系统的关键组成部分。
十年前,我的实验室的ImageNet使数百万张高质量照片的数据库成为可能,帮助训练计算机视觉。
今天,我们正在做类似的事情,训练计算机和机器人如何在3D世界中行动
这次我们不是收集静态图像,而是开发由3D空间模型驱动的模拟环境,以便计算机可以学习行动的无限可能性。
你刚刚看到的是教导我们的机器人的一小部分例子,这是一个由我的实验室领导的项目,称为Behavior。

我们也在机器人语言智能方面取得了令人兴奋的进展。
使用基于大型语言模型的输入,我学生以及合作者是第一批展示机械臂可以根据口头指令执行各种任务的团队之一。
比如打开这个抽屉或拔掉电话线。或者制作三明治,使用面包、生菜、西红柿,甚至为用户放一张餐巾纸。通常情况下我希望三明治更丰富一些,但这是一个好的起点。

空间智能的应用前景

在古老时代的原始海洋中,能够看到和感知环境的能力引发了与其他生命形式互动的寒武纪大爆发。
今天,那道光正在达到数字思维。

空间智能不仅允许机器与彼此互动,而且还能与人类,以及真实或虚拟的3D世界互动。
随着这个未来成形,它将对许多生命产生深远的影响。
让我们以医疗保健为例。在过去的十年中,我的实验室一直在做初步努力,将AI应用于解决影响患者结果和医疗人员疲劳的挑战。
与来自斯坦福医学院的合作者和其他合作医院一起,我们正在试验一些智能传感器,可以检测到临床医生是否在没有正确洗手的情况下进入病人房间。或跟踪手术器械,或在病人身体面临风险,如跌倒时提醒护理团队。

我们认为这些技术是一种环境智能,就像额外的眼睛。
但我更希望为我们的患者、临床医生和护理人员提供更多的互动帮助,他们迫切需要额外的一双手
想象一下,一个自主机器人在护理人员专注于病人的同时运输医疗用品,或者用增强现实技术,引导外科医生进行更安全、更快、更少侵入性的操作。

再想象一下,严重瘫痪的病人可以用他们的思想控制机器人。没错,用脑电波来执行你和我习以为常的日常任务。
这是最近我的实验室进行的一项试点研究。在这个视频中,机器人手臂仅通过大脑电信号控制,正在烹饪一顿日本寿喜锅餐。其中信号非侵入性地通过EEG帽收集。

五亿年前,视觉的出现颠覆了黑暗的世界,引发了最深刻的进化过程:动物世界的智能发展。
过去十年AI的进步同样令人惊叹。但我相信,直到我们为计算机和机器人赋予空间智能,就像大自然对我们所有人所做的那样,这场数字寒武纪大爆发的全部潜力才会完全展现。
这是一个激动人心的时刻,教我们的数字伙伴学会推理,和与我们称之为家的这个美丽的3D空间互动,同时也创造更多我们可以探索的新世界。
实现这一未来并不容易,它要求我们所有人深思熟虑,开发始终以人为本的技术。
但如果我们做得好,由空间智能驱动的计算机和机器人不仅会成为有用的工具,还会成为值得信赖的伙伴,在尊重个人尊严的同时,提高我们的生产力、增强我们的人性,提升我们的集体繁荣。

在所有未来中我最兴奋的,是一个AI变得更有感知、有洞察和空间意识,并与我们一道追求创造更好的世界的方法。


来源:新机器视觉



申明:感谢原创作者的辛勤付出。本号转载的文章均会在文中注明,若遇到版权问题请联系我们处理。


 

----与智者为伍 为创新赋能----


【说明】欢迎企业和个人洽谈合作,投稿发文。欢迎联系我们
诚招运营合伙人 ,对新媒体感兴趣,对光电产业和行业感兴趣。非常有意者通过以下方式联我们!条件待遇面谈
投稿丨合作丨咨询

联系邮箱:uestcwxd@126.com

QQ:493826566



评论 (0)
  • 文/Leon编辑/cc孙聪颖‍《中国家族企业传承研究报告》显示,超四成“企二代” 明确表达接班意愿,展现出对家族企业延续发展的主动担当。中国研究数据服务平台(CNRDS)提供的精准数据进一步佐证:截至 2022 年,已有至少 280 家上市家族企业完成权杖交接,其中八成新任掌门人为创始人之子,凸显家族企业代际传承中 “子承父业” 的主流模式。然而,对于“企二代” 而言,接棒掌舵绝非易事。在瞬息万变的商业环境中,他们既要在白热化的市场竞争中开拓创新、引领企业突破发展瓶颈,又需应对来自父辈管理层的经
    华尔街科技眼 2025-05-06 18:17 51浏览
  • 硅二极管温度传感器是一种基于硅半导体材料特性的测温装置,其核心原理是利用硅二极管的电学参数(如正向压降或电阻)随温度变化的特性实现温度检测。以下是其工作原理、技术特点及典型应用:一、工作原理1、‌PN结温度特性‌硅二极管由PN结构成,当温度变化时,其正向电压 VF与温度呈线性负相关关系。例如,温度每升高1℃,VF约下降2 mV。2、‌电压—温度关系‌通过jing确测量正向电压的微小变化,可推算出环境温度值。部分型号(如SI410)在宽温域内(如1.4 K至475 K)仍能保持高线性度。
    锦正茂科技 2025-05-09 13:52 289浏览
  • ‌一、高斯计的正确选择‌1、‌明确测量需求‌‌磁场类型‌:区分直流或交流磁场,选择对应仪器(如交流高斯计需支持交变磁场测量)。‌量程范围‌:根据被测磁场强度选择覆盖范围,例如地球磁场(0.3–0.5 G)或工业磁体(数百至数千高斯)。‌精度与分辨率‌:高精度场景(如科研)需选择误差低于1%的仪器,分辨率需匹配微小磁场变化检测需求。2、‌仪器类型选择‌‌手持式‌:便携性强,适合现场快速检测;‌台式‌:精度更高,适用于实验室或工业环境。‌探头类型‌:‌横向/轴向探头‌:根据磁场方向选择,轴向探头适合
    锦正茂科技 2025-05-06 11:36 463浏览
  • 随着智能驾驶时代到来,汽车正转变为移动计算平台。车载AI技术对存储器提出新挑战:既要高性能,又需低功耗和车规级可靠性。贞光科技代理的紫光国芯车规级LPDDR4存储器,以其卓越性能成为国产芯片产业链中的关键一环,为智能汽车提供坚实的"记忆力"支持。作为官方授权代理商,贞光科技通过专业技术团队和完善供应链,让这款国产存储器更好地服务国内汽车厂商。本文将探讨车载AI算力需求现状及贞光科技如何通过紫光国芯LPDDR4产品满足市场需求。 车载AI算力需求激增的背景与挑战智能驾驶推动算力需求爆发式
    贞光科技 2025-05-07 16:54 230浏览
  • 文/郭楚妤编辑/cc孙聪颖‍相较于一众措辞谨慎、毫无掌舵者个人风格的上市公司财报,利亚德的财报显得尤为另类。利亚德光电集团成立于1995年,是一家以LED显示、液晶显示产品设计、生产、销售及服务为主业的高新技术企业。自2016年年报起,无论业绩优劣,董事长李军每年都会在财报末尾附上一首七言打油诗,抒发其对公司当年业绩的感悟。从“三年翻番顺大势”“智能显示我第一”“披荆斩棘幸从容”等词句中,不难窥见李军的雄心壮志。2012年,利亚德(300296.SZ)在深交所创业板上市。成立以来,该公司在细分领
    华尔街科技眼 2025-05-07 19:25 474浏览
  • 温度传感器的工作原理依据其类型可分为以下几种主要形式:一、热电阻温度传感器利用金属或半导体材料的电阻值随温度变化的特性实现测温:l ‌金属热电阻‌(如铂电阻 Pt100、Pt1000):高温下电阻值呈线性增长,稳定性高,适用于工业精密测温。l ‌热敏电阻‌(NTC/PTC):NTC 热敏电阻阻值随温度升高而下降,PTC 则相反;灵敏度高但线性范围较窄,常用于电子设备温控。二、热电偶传感器基于‌塞贝克效应‌(Seebeck effect):两种不同
    锦正茂科技 2025-05-09 13:31 262浏览
  • 在过去的很长一段时间里,外卖市场呈现出美团和饿了么双寡头垄断的局面。美团凭借先发优势、强大的地推团队以及精细化的运营策略,在市场份额上长期占据领先地位。数据显示,截至2024年上半年,美团外卖以68.2%的市场份额领跑外卖行业,成为当之无愧的行业老大。其业务广泛覆盖,从一线城市的繁华商圈到二三线城市的大街小巷,几乎无处不在,为无数消费者提供便捷的外卖服务。饿了么作为阿里本地生活服务的重要一环,依托阿里强大的资金和技术支持,也在市场中站稳脚跟,以25.4%的份额位居第二。尽管市场份额上与美团有一定
    用户1742991715177 2025-05-06 19:43 119浏览
  • 二位半 5线数码管的驱动方法这个2位半的7段数码管只用5个管脚驱动。如果用常规的7段+共阳/阴则需要用10个管脚。如果把每个段看成独立的灯。5个管脚来点亮,任选其中一个作为COM端时,另外4条线可以单独各控制一个灯。所以实际上最多能驱动5*4 = 20个段。但是这里会有一个小问题。如果想点亮B1,可以让第3条线(P3)置高,P4 置低,其它阳极连P3的灯对应阴极P2 P1都应置高,此时会发现C1也会点亮。实际操作时,可以把COM端线P3设置为PP输出,其它线为OD输出。就可以单独控制了。实际的驱
    southcreek 2025-05-07 15:06 582浏览
  • 飞凌嵌入式作为龙芯合作伙伴,隆重推出FET-2K0300i-S全国产自主可控工业级核心板!FET-2K0300i-S核心板基于龙芯2K0300i工业级处理器开发设计,集成1个64位LA264处理器,主频1GHz,提供高效的计算能力;支持硬件ECC;2K0300i还具备丰富的连接接口USB、SDIO、UART、SPI、CAN-FD、Ethernet、ADC等一应俱全,龙芯2K0300i支持四路CAN-FD接口,具备良好的可靠性、实时性和灵活性,可满足用户多路CAN需求。除性价比超高的国产处理器外,
    飞凌嵌入式 2025-05-07 11:54 99浏览
  • UNISOC Miracle Gaming奇迹手游引擎亮点:• 高帧稳帧:支持《王者荣耀》等主流手游90帧高画质模式,连续丢帧率最高降低85%;• 丝滑操控:游戏冷启动速度提升50%,《和平精英》开镜开枪操作延迟降低80%;• 极速网络:专属游戏网络引擎,使《王者荣耀》平均延迟降低80%;• 智感语音:与腾讯GVoice联合,弱网环境仍能保持清晰通话;• 超高画质:游戏画质增强、超级HDR画质、游戏超分技术,优化游戏视效。全球手游市场规模日益壮大,游戏玩家对极致体验的追求愈发苛刻。紫光展锐全新U
    紫光展锐 2025-05-07 17:07 355浏览
  • Matter协议是一个由Amazon Alexa、Apple HomeKit、Google Home和Samsung SmartThings等全球科技巨头与CSA联盟共同制定的开放性标准,它就像一份“共生契约”,能让原本相互独立的家居生态在应用层上握手共存,同时它并非另起炉灶,而是以IP(互联网协议)为基础框架,将不同通信协议下的家居设备统一到同一套“语义规则”之下。作为应用层上的互通标准,Matter协议正在重新定义智能家居行业的运行逻辑,它不仅能向下屏蔽家居设备制造商的生态和系统,让设备、平
    华普微HOPERF 2025-05-08 11:40 408浏览
  • 后摄像头是长这个样子,如下图。5孔(D-,D+,5V,12V,GND),说的是连接线的个数,如下图。4LED,+12V驱动4颗LED灯珠,给摄像头补光用的,如下图。打开后盖,发现里面有透明白胶(防水)和白色硬胶(固定),用合适的工具,清理其中的胶状物。BOT层,AN3860,Panasonic Semiconductor (松下电器)制造的,Cylinder Motor Driver IC for Video Camera,如下图。TOP层,感光芯片和广角聚焦镜头组合,如下图。感光芯片,看着是玻
    liweicheng 2025-05-07 23:55 499浏览
  • 这款无线入耳式蓝牙耳机是长这个样子的,如下图。侧面特写,如下图。充电接口来个特写,用的是卡座卡在PCB板子上的,上下夹紧PCB的正负极,如下图。撬开耳机喇叭盖子,如下图。精致的喇叭(HY),如下图。喇叭是由电学产生声学的,具体结构如下图。电池包(AFS 451012  21 12),用黄色耐高温胶带进行包裹(安规需求),加强隔离绝缘的,如下图。451012是电池包的型号,聚合物锂电池+3.7V 35mAh,详细如下图。电路板是怎么拿出来的呢,剪断喇叭和电池包的连接线,底部抽出PCB板子
    liweicheng 2025-05-06 22:58 661浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦