微软(Microsoft)近日首度透露了其扩增实境(AR)头戴设备HoloLens内部的客制化视觉处理器芯片细节;该款芯片的处理能力达到每秒1兆 (trillin)次像素运作(pixel-operations),功耗比采用代号Cherry Trail的英特尔(Intel) Atom系列核心之主机处理器的4W还低。
该 HoloLens处理单元(HPU)融合来自5个摄影机镜头、一个深度传感器以及运动传感器的输入信息,将之压缩并传送到Intel的主处理器SoC;此 外HPU还能辨识手势以及涵盖多个房间的地图环境。微软在今年稍早介绍了HoloLens的主要功能内容,但并未公开其HPU细节。
微 软评估了包括来自Movidius等供货商的市售计算机视觉芯片,却发现并没有任何一款产品能以其要求的性能、延迟以及功耗目标处理所有算法;而后来的客 制化HPU是采用28纳米台积电(TSMC)工艺,内含24颗Tensilica数字信号处理器(DSP)核心以及8Mbyte的高速缓存, 在尺寸仅12x12mm的芯片封装中纳入了6,500个逻辑闸以及1Gbyte容量的LPDDR 3。
*HPU的运算引擎整合了Tensilica DPS核心以及多个加速器
(来源:Microsoft)*
在 近日于美国硅谷举行的Hot Chips大会上介绍HPU的微软杰出技术人员Nick Baker表示,选择Tensilica核心有部份原因是考虑其弹性,微软在核心中添加了300个客制化指令集:“如果你无法添加客制化指令集,最后可达到的数学运算密度不会是你需要的。”
HPU 芯片混合采用独立的加速器(accelerator),以及与DSP核心紧密耦合的加速器,在一个纯软件版本达到整体200倍的加速;Baker表示: “我们尽可能按照需要采用可编程元素以及固定的功能硬件,以达到我们需要的性能目标;”芯片的软件程序代码包含多样化的算法:“具备不同的成熟度、数学运 算以及内存存取模式。”
Baker 透露,HoloLens的开发分成硬件、软件、用户体验与性能等不同团队同时进行:“我们在这个项目上将共同设计发挥到极致;”他并强调,微软内部就有 能力可将软件仿真(simulation)测试结果,转化为也能在最终硬件成果上执行的硬件仿真(emulation)程序:“所有工作都在 Windows 10开发期间同时进行。”
在 3月份上市、定价3,000美元的HoloLens开发工具包就内含了HPU;不过对于HPU是否将有更新计划,或是微软何时会推出消费者版本的 HoloLens,Baker婉拒发表意见。展望未来,Baker认为设计工程师们会将头戴设备进一步推向8K分辨率,以及支持更宽广的视野。
“注视点渲染(Foveated rendering,也就是将用户目标聚焦范围以外的任何景物维持模糊化的一种方法)可望变得越来越普及…以及各种不同分辨率的显示器也可能出现;” Baker表示:“我们需要思考这样的趋势对GPU、互连技术以及面板产业等整个供应链会带来什么影响。”
编译:Judith Cheng
本文授权编译自EE Times,版权所有,谢绝转载
关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”。