随着人工神经网络应用的持续深化，机器视觉算法复杂度剧增，亟需高算力支持。然而，受制于摩尔定律放缓，现有电子计算性能趋于饱和，难以满足大规模智能算法对算力和能效日益增长的需求。用光子替代电子作为智能计算载体有望对当前视觉计算带来革命性的突破。然而，现有智能光计算架构往往依赖电子处理器作为计算中继，严重削弱了光计算高速高并行的计算优势，难以赋能超快机器视觉应用。
近日，清华大学电子系方璐副教授课题组建立了空时域超快智能光计算架构，提出了跨维度空时域匹配方法和联合空时域矩阵向量光计算模型，首次实现了三维空时域智能光计算系统，突破了数字内存读写的掣肘，将动态机器视觉处理速度提升三个数量级（达到纳秒量级）。
图1 空时域光计算模型
该课题组通过刻画多维光场传播模型，首次建立空时域计算表征，同时在空间和时序维度完成连续光计算。针对空间光场和时序光场内在维度失配问题，提出空间复用和光谱复用计算模型，匹配空时域光计算维度。进一步建立时序矩阵乘加计算模型，扩展空时域光计算维度。所有空间和时序计算操作均在光学模拟域完成，因此空时域光计算的速度不受制于电子内存的传输和读写。该论文进一步提出了多变量全光非线性函数，成功构建多层非线性神经网络，支撑复杂视觉智能任务的高速推理。在多个视频数据集上的实验结果表明，空时域光计算能够将视频智能处理速度提升至数百兆赫兹量级，有望为后摩尔时代高性能智能计算以及瞬态科学现象的实时分析和控制等带来新的契机。
图2 高速目标追踪
图3 纳秒超快计算
该研究工作以“面向超快机器视觉的空时域光计算”（Ultrafast dynamic machine vision with spatiotemporal photonic computing）为题发表在国际期刊《科学-进展》（Science Advances）上，并入选期刊首页专题文章（feature article）。课题组博士生周天贶和吴蔚是本文共同第一作者，通讯作者为方璐。
文章链接：
https://www.science.org/doi/10.1126/sciadv.adg4391
