外科手术在过去的几十年里有着巨大的蜕变，其中特别令人感兴趣的进展是显微外科（microsurgery）的出现。由于使用外科手术显微镜可以放大手术区域并实现更高的精度，这一进展尤其有意义。将显微外科技术与新型相机相结合，使其真正地“让看不见的东西变得可见”。
这种方法必将为医疗带来革命性变化。想象一下，外科医生能够在分子水平上根据有关组织化学成分的实时信息做出决策，“看到”流经动脉和血管的血液氧合情况，或者在人体内（活体组织中）区分健康组织与异常组织（例如肿瘤细胞）。这是一个比人们所想象的更接近未来的憧憬。一个重要的驱动因素是当前医疗实践恰好与光谱成像技术的发展相匹配。
在外科手术中使用高光谱相机的想法并不新鲜。关于这一主题的许多研究已经进行，但一些问题的存在阻碍了该技术融入医院的日常工作流程。
高光谱成像（HSI）解决方案的外形尺寸因素就是一项重要障碍。它们通常体积庞大，因此与手术室已经拥挤不堪的无菌区域不兼容。高光谱成像的另一个限制是缺乏可以获取实时数据的视频速率高光谱相机，这对于捕捉外科手术场景中的运动和动态至关重要。imec研究机构及一些企业需要对此需求做出响应。
imec片上光谱成像活动的项目经理Wouter Charle表示，紧凑型高光谱成像相机一旦集成到严格的临床工作流程中，就会具有巨大的潜力。
据麦姆斯咨询报道，与构建高光谱相机的传统方法不同，imec并没有在镜头与图像传感器之间使用精密光学元件来过滤和衍射光线。相反，imec利用了直接沉积在图像传感器上的薄膜光谱滤波器。这意味着imec可以打造稳定且紧凑的高光谱成像解决方案，非常类似于标准机器视觉芯片和相机。由于这种技术建立在与制造IC芯片相同的晶圆级CMOS工艺之上，因此其可大规模制造、兼具成本效益，并且能够根据特定的客户和应用需求实现高度定制化。
imec在高光谱成像研究和原型开发领域拥有着丰富的经验，根据光谱滤波器的图案种类，其产品组合主要有两种类型。一种类型：每行像素顶部是条纹图案，可以实现高分辨率的高光谱成像，该类型产品与经典的线阵扫描相机相当，但具备更紧凑、更快速、更易操作等特点，其构成了imec的“snapscan”系列高光谱传感器。
另一种类型：在3x3像素、4x4像素或5x5像素顶部是马赛克图案，成像的分辨率稍低，但即使在运动中也能够实现用于实时数据采集的视频速率光谱成像。这种被称为“snapshot”的高光谱传感器有多种款式。每种款式都涵盖了特定的光谱分辨率和范围——从可见光（VIS）、近红外（NIR）到短波红外（SWIR）。
图为各种imec高光谱传感器，光谱滤波器以条纹图案或马赛克图案直接沉积在图像传感器之上。
案例研究：利用高光谱成像在人体内鉴定低级别胶质瘤
低级别胶质瘤是各类生长缓慢的脑肿瘤，通常发病于年轻健康的患者身上。虽然通常情况是良性的，但研究表明，低级别胶质瘤每年可增长4mm至5mm，并有恶变风险。因此，早期外科手术切除是一种最受青睐的治疗选择——尽管即使有外科手术显微镜的帮助，在人体内检测低级别胶质瘤并确定其精确边界也是极其困难的。
为外科医生提供合适的工具在人体内检测这些肿瘤将是一个重要突破。正如imec的snapscan VNIR 150高光谱相机最近的研究项目所证明的那样，高光谱成像技术显示出了实现这一目标的潜力。
由于其小巧的外形尺寸以及与标准C接口光学元件的兼容性，imec的snapscan系列产品可以轻松安装于标准外科手术显微镜。
由于其小巧的外形尺寸（10cm x 7cm x 6.5cm，重645g），并与标准C接口光学元件的兼容性，imec的snapscan系列产品可以轻松安装于标准外科手术显微镜。与以往研究中使用的体积庞大的系统大相径庭，该产品为紧凑型，能够顺利地纳入医院严格的临床工作流程中。
更重要的是，该设备能够生成准确的临床数据，这些数据可以输入深度学习神经网络。这样就能够将数据转化为可操作的知识，使外科医生能够区分健康组织和异常组织。因此，这是适应体内检测脑肿瘤（例如低级别胶质瘤）的重要第一步。
虽然术中使用该设备尚不成熟，但迄今为止，该方法已通过比利时鲁汶大学医学中心（Belgium’s Leuven University Hospital）6名患者的临床数据集进行了验证。imec旨在通过集成其snapshot技术来进一步推进该项目，该技术适用于视频速率光谱成像。这将使研究人员能够在外科手术实践中探索低级别胶质瘤的实时检测。
让高光谱成像技术实验更容易
越来越多的厂商正在研究“如何利用高光谱成像技术增强其产品和/或服务，或者如何在（外科手术）实践中使用该技术”。对于一些厂商来说，从一开始就很明确最适合其需求的光谱范围。然而，对于另一些厂商来说，合适的光谱范围需要通过测试多种相机选项来确认。虽然有多种相机选项可供使用，但将其数据融合到一个数据集中并从中得出结论，是一项公认的挑战。
这就是imec最近通过多传感器系统扩充了其snapshot产品组合的原因，该系统涵盖可见光和近红外光谱，并辅以高分辨率RGB图像传感器。该系列产品专门针对从事高光谱成像应用开发的企业和研究团队。
imec的新型高光谱相机搭载三颗集成于一个外壳中的传感器，并配备了标准F接口镜头。该高光谱相机将允许合作伙伴灵活地评估不同光谱分辨率和范围的优缺点，而无需投入大量的设备或重复实验。
全球首款涵盖可见光和近红外光谱的高光谱相机，辅以高分辨率RGB成像，可用于视频速率下的数据采集。
在相机内部，光线被引导至三个通道。其中两个通道配备了imec现成的200万像素高光谱传感器，覆盖可见光和近红外光谱范围。第三个通道配备了高分辨率RGB图像传感器。因此，该相机覆盖了460nm至870nm范围内的30个波段，并辅以500万像素的真彩色图像。相机内的三个通道均能以视频速率同步工作，以实现实时数据采集（即使面对动态场景）。
这款新相机特别适合涉及不可控动态场景的用例，例如辅助（微）外科手术、环境监测、异常检测、汽车视觉、精准农业和农作物检查等。
到目前为止，潜在的复杂性阻碍了该行业构建功能齐全的多传感器高光谱相机。imec认为这是其专业知识最有价值的地方：探索并原型化所需组件，帮助业界克服所有相关障碍。这款相机系统凭借其灵活性和附带软件，使得高光谱成像技术试验从未如此容易。该特点可以让那些仍在考虑哪种传感器最适合其需求的合作伙伴专注于其核心业务，即应用发现和开发。
作为下一步发展目标，imec计划与相机制造商和系统厂商分享其经验和完整开发套件，以支持高光谱成像系统的进一步商业化。
