微信公众号：OpenCV学堂
关注获取更多计算机视觉与深度学习知识
医生专家的手动标注是医学影像AI研究的基石。标注软件需要尽可能节省医生手动标注的耗时，减少医生标注的痛苦，并帮助医生提高标注的质量与一致性。作为首款国产一站式医学影像标注软件，Pair软件具备专业便捷、通用易用且智能化的特点。自2020年公开以来，Pair收获了诸多肯定与批评反馈，实现了持续的迭代优化与智能化再升级。此次将对Pair在2021年的重要更新做系统整理与呈现。Pair软件的核心功能亮点如下：
研究项目通用，兼容各种影像模态和文件格式
Pair可兼容CT、X-Ray、MRI、PET、超声、病理切片、细胞涂片等10余种影像模态，兼容2D、视频、3D、病理、信号、放疗勾画文件等20余种文件格式。所有医学影像AI研究项目可通过Pair完成标注，无需在不同项目间频繁、耗时费力地切换、培训不同的标注软件。
Pair提供测量线、角度、多边形、曲线、曲面、矩形框、关键点、分类标签、文本属性、时间轴、切面等20多项标注功能，涵盖测量、分割、分类、目标检测、关键点定位、动作预测等常见影像AI分析所需的标注类型。更重要的，Pair支持标注功能与类型的混合使用，充分适应复杂的研究与标注需求。
Pair提供多层次的智能化辅助标注功能，可大幅减轻医生的手动标注工作量。Pair提供阈值分割、魔术棒、曲线拟合、矩形框跟踪、标签记忆/复制等自动化辅助标注功能。Pair尤其配备独有的用户自定义AI标注和通用智能分割标注AutoSeg。两项功能均可搭载深度学习模型，仅需普通电脑CPU，即可实现对解剖结构的一键式智能标注。
Pair提供标注标签的配置和管理功能，可有效避免标注者因误操作或个人习惯而引发的标签错用和标注功能误用，从而实现标注流程的规范化，有效降低标注结果的噪声。Pair通过优化内存管理，可支持同时导入超1000例影像文件进行标注，支持2万帧的超大视频文件标注，支持2GB以上病理影像文件的标注。
病例的隐私和影像是AI研究的宝贵资源，且面临日益严重的泄露风险。通用易用的隐私脱敏工具和支持加密的标注软件仍旧缺乏。Pair因此提供了完善的脱敏功能、多层权限的高阶加解密标注功能，以实现病例隐私、医学影像以及标注资源的多重安全。
Pair拥有简洁和直觉化的标注逻辑设计，以方便医生快速入手并减少标注交互的耗时。Pair提供详细的文档说明及视频演示，便于用户快速熟悉软件的操作流程，节省标注的培训耗时。截止目前，Pair已更新15期制作精良的视频教程，并将陆续邀请多位医生专家分享使用Pair做高效标注的案例。
截止目前，Pair已基本完成基础功能框架的研发，正在朝全面智能化的方向快速前进，以进一步减轻医生手动标注的痛苦。Pair保持高频的更新优化进度，追求对标注功能设计的极致专业，致力于成为基础重要软件。Pair在2021年内已进行如下多项重要功能的更新与优化：
通用智能分割标注AutoSeg
用户自定义AI模型的辅助标注
视频时间轴事件标注
多模态影像互补标注
全面支持放疗勾画的DICOM RT Struct
病例隐私脱敏和影像信息安全化软件PairCode
实现Windows / Ubuntu / CentOS版本
下面我们将详细介绍各大重要功能更新（备注：本文所示所有医学影像均已做隐私信息脱敏处理）：
精细的分割标注是医学影像标注中最为耗时的任务。不同的影像模态、解剖结构和病灶需要不同专业与资质的医生进行繁重的逐点分割标注。为解决上述关键问题，Pair团队研发了重磅的智能功能AutoSeg，旨在实现通用的解剖结构精细分割标注，大幅节省手动标注的耗时，进而推动AI影像研究的快速实现与普及。AutoSeg的优势特性如下：
无需任何配置，简单直接、方便易用
无需区分影像模态、解剖结构、病灶类型
1秒完成，普通笔记本电脑即可使用
一键框定操作，实现精细分割标注
据统计，使用Pair的AutoSeg自动分割标注功能，可节省约70%的分割标注耗时。Pair基于华为开源的深度学习平台MindSpore实现该功能，以MindSpore Lite完成最终部署。MindSpore Lite中高效的内核算子实现可以充分发挥普通CPU的硬件算力，有效平衡了模型算力需求和模型精度要求，使得推理耗时缩短至1秒内，极大地提升了AutoSeg的用户体验。
AutoSeg已在CT，MRI，超声，X-ray，PET，扫描电镜，病理，涂片，内窥镜等影像模态的多种解剖结构和病灶上验证和使用。AutoSeg的标注结果可便捷编辑修改，以方便用户微调和快速确认。如下是AutoSeg在多样化的影像和解剖结构上的应用展示：
AIA是Pair独有的一键AI推理功能，无论是分类、分割、点定位、目标检测以及多任务等，用户仅需提供自定义AI模型，点击AI按钮即可快速自动生成辅助标注，微调标注结果便完成标注工作，节省标注时间，加快工作流程。目前，Pair的AIA辅助标注功能可支持谷歌的Tensorflow和脸书的Pytorch深度学习平台，支持超过50种深度学习网络模型架构。Pair近期也添加了对国产的华为MindSpore深度学习框架模型的支持。
医学视频影像通常由不同事件的影像片段沿时间轴构成，不同片段会具有不同属性的标注需求，如心脏在心动周期的不同动作、手术器械在手术不同阶段的动作类型等。目前鲜有标注软件提供对医学视频影像的时间轴标注功能。Pair提供的时间轴标注功能，通过便捷的交互设计，可快速对视频的任意片段进行多种属性的标注，高效推动视频标注工作的进展。具体说来，在时间轴标注功能下，鼠标右键拖动选中的标签到时间轴上对应的帧，即可完成对改视频片段的属性标注。Pair还提供时间轴跟随功能，方便用户观察片段所属的帧。若要修改标注，左键点击对应时间轴的端点进行拖动即可，操作方便。
单一的影像模态使医生对病灶的定位和标注存在明显局限性。通过多模态信息的同步观察与互补使用，有利于医生准确标注病灶，如结合MRI中的T1与T2影像、多模态的超声影像、PET和CT影像、不同荧光染色的细胞涂片影像等。Pair提供的多模态影像互补标注功能可在标注过程同步显示不同模态的影像，降低医生对目标区域的定位和轮廓勾画的不确定度，有效帮助医生进行识别和标注。Pair提供的多模态标注功能可兼容二维、视频、三维和病理图像。
鉴于放射科对AI研究的重大需求，Pair新增了对放射影像DICOM RT Structure文件格式的全面支持。放射科医生将TPS (Treatment Planning System)放疗规划系统中勾画的放疗靶区轮廓线以RT Struct格式导出后，可直接在Pair中打开，进行可视化和进一步的标注优化。Pair可支持超1000条RT轮廓线的标注交互。Pair更可以将RT Struct内的轮廓线填充并导出成分割标注结果文件，如nii, nii.gz等格式，极大地方便放射科医生使用专业的影像组学软件，如TexRAD、MaZda等，进行后续的高阶分析与研究。
在医学影像标注过程中，有效地保护患者隐私和确保标注资源的安全至关重要。现有的标注软件在标注流程上往往存在较高安全风险：
影像未脱敏，病人隐私信息无保护；
影像资源和标注结果资源存在高泄露风险；
为满足保护病患隐私信息和影像资源安全的需求，Pair提供了安全化辅助软件PairCode，为影像标注任务提供全流程的加密防护，实现标注资源的双重安全保护。PairCode提供如下两方面的功能：
DICOM影像脱敏
医学影像中，DICOM数据的头文件往往存有患者的隐私敏感信息。当原始数据在作为标注对象流动时，易发生患者隐私泄露。通过使用PairCode的数据脱敏功能，项目管理者可批量、自定义地擦除或修改敏感条目，如DICOM头文件信息中的患者信息、检查信息等，以保护患者隐私。
具体地，在PairCode的脱敏功能中，DICOM头文件中与隐私相关的信息被细分为五部分，用户可根据项目对头文件信息进行自定义的修改或删除操作。同时，PairCode会提供脱敏信息的查找密码本，记录头文件信息的原始内容和修改后的内容，以便于后续的回溯工作。PairCode可支持超10GB批量影像文件的处理。
标注资源加解密
为实现标注资源安全私有化、降低资源泄露风险，PairCode提供影像和标注的加解密功能，保障数据的安全流通：
项目管理者可对资源进行自定义加解密；
支持超过20种专业医学影像格式的便捷加解密；
非对称高阶加密，用户标注体验零负担。
PairCode提供公有加密和私有加密两种加密方式，加密后的影像和标注结果的查询和修改只能通过Pair软件进行，以此来保障数据安全。使用PairCode对数据进行加密后，标注人员仅需加载配置文件即可对加密影像进行标注工作，软件也将自动对标注结果进行加密，无需额外的手动加密操作。
目前，Pair已实现了Windows 、Ubuntu和CentOS三种不同操作系统的版本，以满足医生、工程师和集群服务器的标注需求。用户可自主选择版本进行安装与使用。通过Pair不同操作系统版本进行标注的结果，可使用其他系统进行查看和修改，便于标注结果在项目小组成员间的流通。此外，Pair还设置了中英文两种语言版本，便于不同语种的用户进行使用。
蔡跃新教授，中山大学孙逸仙纪念医院耳鼻喉科
“Pair软件真正实现了科研项目间的通用化标注支持，是我们尝试的其他标注软件所不能比的。我们团队的多个三维影像相关的AI研究项目，均采用Pair进行标注。项目开展期间，得到了Pair团队的及时响应与积极支持。希望Pair软件能发展得越来越好，更方便AI相关的研究，成为更多医生喜欢的软件。”
杨毅博士，四川大学华西医院骨科
“我们的CT三维影像的标注在遇到Pair软件后，得到了明显的提速和提质，课题也得以很快开展。它的功能简单直接，几乎没有学习难度，很多智能化标注功能令我印象深刻。PairCode软件也非常好地满足了我们对大批量影像脱敏的专业需求。Pair团队总是能很快处理我们提出的个性化需求，是很好的合作团队。希望Pair可以帮助降低AI研究的门槛，帮助更多医生更快更好地完成AI课题。”
张子健，医学物理师，中南大学湘雅医院肿瘤科
“在使用Pair软件之前，我们的数据标注工作随着不同的数据类型可能需要在不同的软件之间切换，但一次偶然的相遇，让我们团队接触到了Pair，它为我们团队的多模态数据标注，尤其是CT-PET的放疗勾画，提供了一个一体化的平台。Pair的使用简单易上手，大家标注的效率得到了极大的提高。在开展项目的部分场景，由于需要一些个性化的功能，也能得到Pair团队的充分支持。衷心希望Pair团队能越做越好，越做越强。”
截止目前，Pair已在超过2000位用户和300多个海内外的知名研究机构、医院和企业间使用，且收到了非常多有价值的反馈和功能建议。Pair会以稳定活跃的研发团队进行持续的优化与升级，致力于把Pair打造成国产的基础、专业化软件，推动AI新基建。
下载链接内提供Pair不同操作系统、不同版本的安装包，还有Pair的AIA模型文件和示例测试图像等资源，方便体验者即刻体验AI辅助标注带来的便捷性。若要体验上述新增功能，请下载Pair2.5版本。
https://www.jianguoyun.com/p/DUQd8gcQh-n1CBiLvcgD以下为Pair在Bilibili提供的相关功能的视频教程，欢迎大家点赞、投币、收藏一键三连。
https://space.bilibili.com/616429598更多详细资料，可关注Pair微信账号和B站官方账号
Pair由深圳大学医学超声影像计算实验室（Medical Ultrasound Image Computing Lab, MUSIC) 的倪东教授和杨鑫博士等带队研发。团队成员10余人，Pair软件历时近3年研发，仍在持续大幅优化中。Pair定位于解决医学影像标注软件长期存在的问题，致力于成为最优秀、最专业、最懂医生的国产医学影像标注软件。Pair自2020年7月于MICS大会公开以来，得到了很多前辈老师的重要指导和批评意见，确立了更多值得解决的问题。Pair目前已基本完成第一阶段基础标注功能的开发，即将进入第二阶段的全面智能化，同时进一步丰富基础标注功能。
感谢各领域的医生们对Pair的肯定和批评反馈，感谢医学影像分析领域内的专家们对Pair的关注和指导。感谢华为开源生态和MindSpore团队对AutoSeg功能开发与优化的迅速响应和大力支持。感谢团队成员的齐心付出和不懈坚持，包括但不限于：陈超宇、刘文星、胡歆迪、史文龙、林铭容、罗依然、何双池、刘思菁、刘恋、周涵、王键、吕芬、高睿、王凯妮等。
