假设您完成了对患者的X射线检查，正在等待人工智能系统诊断病情。几分钟后，人工智能返回了诊断结果，显示可信度为98%，但是诊断结果明显错误。您该怎么做？尝试重新拍摄X光片，还是呼叫主任医师？
假设您完成了对患者的X射线检查，正在等待人工智能系统诊断病情。几分钟后，人工智能返回了诊断结果，显示可信度为98%，但是诊断结果明显错误。您该怎么做？尝试重新拍摄X光片，还是呼叫主任医师？
人工智能通常被视为“黑盒子”，即人类不清楚具体算法，但这也是它特别有效的部分原因，人工智能建立算法的逻辑方式并不依赖人类的思路。但当人工智能无法正常工作时，我们就需要获得一定程度的可解释性，了解如何合理修复模型。
恩智浦一直致力于借助现有技术解决这一问题，并对技术进行优化，以量化对人工智能系统最重要的两种数学不确定性。
第一种是偶然不确定性，这是指自然发生的随机性或噪声，我们无法（或不知道如何）减少模型内部的这些不确定性。这代表了由于输入数据质量不佳导致的不确定性，原因可能是X光片模糊，就像自动驾驶汽车在起雾的夜间行驶，看不清交通标志，或图像中存在其他噪音源。
第二种是认知不确定性，在人工智能领域，这是指由于模型造成的不确定性。原因可能是数据集有限，模型训练得不够好，或为了降低训练成本而刻意简化了模型。
Gowrishankar Chindalore（图片：恩智浦）
恩智浦嵌入式处理器技术和业务战略主管Gowrishankar Chindalore表示：“我们认为认知不确定性是可以降低的；您可以通过提高计算复杂度，进行更多训练，增加更多的层数，从而降低模型的不确定性，当然要注意避免过度拟合。对于输入不确定性，神经网络只能报告输入有问题，因此我们应对输出持谨慎态度。您希望神经网络能够识别这种局限性，最后由人类决定是否需要质量更好的输入，或完全拒绝输出。这就是恩智浦的可解释人工智能（xAI）的概念。”
在研究中，恩智浦使用了各种成熟技术来量化不确定性，包括TensorFlow概率、Logit概率分布和贝叶斯统计。我们的思路是，人类或算法根据量化不确定性决定下一步怎么做。例如，在上面的X射线方案中，如果返回的偶然不确定性超过一定水平，技术人员将重新拍摄图像。如果返回的认知不确定性太高，就需要由人类专家判断X光片，并考虑对模型进行更多训练。
Natraj Ekambaram（图片：恩智浦）
恩智浦的技术总监兼人工智能/机器学习工程负责人Natraj Ekambaram表示：“今天任何神经网络都只会报告预测结果，其可信度为50%或70%。我们还希望神经网络能报告这两种不同的不确定性具体是什么。计算成本非常高，在边缘进行推理非常昂贵，存在功率和计算方面的限制。因此我们也探索各种技术，以优化的方式加速边缘不确定性量化技术。”
恩智浦认为可解释人工智能技术的首个应用是根据医学影像数据（X射线或CT扫描）进行新冠病毒筛查。Chindalore介绍了这项技术支持的新流程：
“在系统中输入X光片，经过训练的神经网络就会返回预测结果。我们改变了传统的垂直、线性、一维的方法，现在使用带分支的决策树。如果返回预测结果之后，[算法]报告传感器输入导致了不确定性，技术人员可以重新拍摄X光片，因为神经网络自身无法解决这一问题。但如果不确定性是由于模型的原因，将由专家对X光片进行判断，判断人工智能结果正确与否。这样就能取得可信的筛查结果。借助可解释性，人们可以采用三种决策中的一种。”
恩智浦将可解释人工智能研究成果应用于新冠病毒筛查新流程的思路（图片：恩智浦）
目前的新冠病毒筛查依靠聚合酶链式反应（PCR）检测，利用鼻腔拭子对病毒相关遗传信息进行检测。由于检测试剂盒供应有限，并且需要几个小时才能得到结果，而X射线和CT扫描技术已经在医院广泛应用，可作为新冠病毒检测的快捷替代技术。恩智浦建议在人工智能技术中加入可解释性，以提高根据胸部成像检测细菌或病毒性肺炎的可信度，必要时可用于增强PCR检测。
Chindalore表示：“我们联络了许多公司、高校和医院，他们对此感到非常兴奋，因为通过神经网络进行疾病检测已非新鲜事。事实上，世界各地的许多医院已经开始使用神经网络技术。让他们感到兴奋的原因是可解释性因素能带来某种程度的可信度，神经网络不再盲目地提供输出，可以进行某种程度的反省。”
恩智浦计划开放根据医学成像检测新冠病毒模型的源代码，以帮助对抗病毒，并积极寻求与感兴趣的健康保健行业机构开展合作，特别是能够获得匿名训练数据集的机构，以进一步推动检测新冠病毒的研究工作。
虽然将这项技术投入实际应用为时尚早，但Chindalore和Ekambaram表示，这项技术还能用于自动驾驶汽车，识别需要驾驶员参与的情况，也可用于工业机器人，因为工业机器人的训练数据集往往非常有限。这项技术仍处于开发之中，尚未最终确定具体的商业模式。
编译：NXP
责编：Luffy Liu
参考原文：Applying AI Explainability To Covid-19 X-Ray Systems，By Sally Ward-Foxton
您可能感兴趣
