“图灵奖”获得者、清华大学交叉信息研究院院长、中国科学院院士姚期智在2020年10月22日浦江创新论坛上的演讲中（参考阅读解读姚期智关于人工智能发展的最新演讲!），明确提出了人工智能系统的“可解释性”问题是当前制约人工智能发展的重大瓶颈。本文将从嵌入式系统视角，就此问题深入探讨什么是可解释性？可解释性问题的由来以及对人工智能未来发展有何影响？
通俗地讲，可解释性就是对事物的可认识、可了解程度，从而将人们对事物认识从“是什么”推进到“为什么”的境界。人工智能系统的“可解释性”具体体现在对系统硬件、软件及芯片的认识与了解上。
可解释性问题始于智能化工具诞生后的人工智能时代。在机械化工具诞生的工业革命时代，不存在可解释性问题。人们为了有效地驾驭机械化工具，除了有理论知识，还必须通晓机械化工具的结构、运行原理，如汽车司机要了解汽车发动机、油箱、油路、点火系统、刹车系统，才能安全可靠地驾驶汽车；火车司机要了解锅炉、蒸汽管道、蒸汽机、刹车机构，才能驾驭火车。在日常生活中，电器产品厂家为了百姓能有效地使用自己产品，竞相为用户提供最好的产品解释服务。20世纪6、70年代，出售的收音机、录音机、电唱机、电视机都配有详细的电路图与使用说明书。如今的人工智能时代，几乎所有的智能产品都成了用户无法认识、无法了解的黑盒子，但用户并不介意对产品的“无可知晓”。产品维修的“替换性”处理模式也无须了解产品的结构与运行原理。人工智能时代似乎进入到一个可以无视系统可解释性问题的时代。
要了解工业革命时代与人工智能时代产品系统在可解释性问题上的巨大的差异，可以从机械化工具与智能化工具的产品与产业模式两个方面的差异入手。
从产品的差异上看，首先，从体系结构上看，机械化工具是一个结构与功能一体化的产品体系，智能化工具则是一个结构（硬件）与功能（软件）相互分离的产品系统。20世纪5、60年代的收音机、录音机、电唱机、电气仪表，所有的功能都依靠各种功能的电路结构来实现；如今的智能家电、手机、电脑、电子书、智慧屏等，无一不是一个软硬件可分离的电子系统，系统的所有功能都由软件赋予，硬件只为应用软件提供一个运行平台。这种分离导致消费者不再关心产品的硬件结构。其次，产品硬件结构平台化与生态体系的不断优化，使产品具有极高的可靠性，即便出了故障也多为软件问题，用户采用重启措施，维修部门重装系统软件或直接更换控制模块即可解决，没有对硬件结构更多的知识需求。第三，从功能实现的机制上看，机械化工具的功能机制是“人+工具”，以照相机为例，照相机的所有功能（调焦、光圈与快门设置）都必须在用户操作下完成；智能化工具的功能机制则是工具的独立运行模式，用户在使用数码相机时，只须取景、按下快门即可，无疑使用者是把数码相机看成是一个可以用来照相的黑盒子。正是产品结构与功能的分离（结构与功能没有直接关系）、软件与硬件的分离（硬件搭台软件唱戏）、人与功能的分离（人与工具功能实现无关）直接导致了智能化工具的不可解释或无须解释。
从产业模式上看，可解释性问题不仅存在于产品系统中，还广泛存在于产业结构之中。工业革命时代的产业结构是创新与应用一体化的封闭型结构（企业自己创新、自己应用），不存在可解释性问题。人工智能时代，科技创新与创新成果应用出现了彻底分离。科技创新者专门从事科技创新，并将科技成果转化成各种类型的知识平台（芯片平台、硬件平台、软件平台、产品平台等）不介入科技成果应用；创新成果应用者不从事科技创新，在平台基础上完成科技成果最终的创新应用。知识平台由不可解释的知识原理与可解释的应用界面组成，下图显示了人工智能时代这种以知识平台为中介的扇形生态体系。
人工智能时代的扇形产业生态体系
在这种扇形生态体系中，知识平台将知识原理与应用界面分割成不可解释与可解释两个部分。不可解释的知识原理有效地保护了知识创新者的知识产权；应用界面的可解释性保证了平台的傻瓜化应用，大大降低了创新成果应用的知识门槛。在知识平台为中介下，知识创新企业与众多创新知识应用企业构成了一个上下游的扇形产业生态体系。从社会生产力的进化视角看来，这无疑是十分先进的全球化产业生态体系。
可以看出，人工智能时代，无论是知识平台的傻瓜化应用，还是生态体系的产业分工，都在“不可解释”、“不必解释”的常态化环境中正常运行。那么为什么会有人提出，可解释性问题已成为当前制约人工智能发展的重大瓶颈，成为当前人工智能研究的热点问题，这还须从分析产业生态体系中寻找答案。
首先，从最大限度引入社会智力资源的角度出发，知识平台知识成果的不可解释性不利于广聚人才于知识创新；其次，知识平台的不可解释性强化了产业垄断，易出现产业僵化；第三，不可解释性降低了用户对产品的信任度，也为厂家留下了众多可黑箱操作（窃取用户信息、损善用户利益、对产品特征取向操控、对产品缺陷的有意隐瞒等）的空间。因此，人们一直在努力改变知识平台知识成果这种不可解释的局面，其主要战略便是广泛的开源。
最早开源的是人工智能的硬件系统，从用户板、白系统到树莓派的产品平台，还有为用户产品开发的开发板、仿真器、调试工具，至今，硬件系统已有完全透明的应用环境；软件开源从操作系统起步，大型通用的有1983年GNU计划开始的Linux操作系统，以及Linux内核衍生的众多开源操作系统，绝大多数用于嵌入式系统的RTOS都是开源的软件，如今的物联网操作系统也实施了广泛的开源模式；芯片开源起步较晚，势头却很猛，当前最主要的开源芯片是RISC-V。
姚期智演讲中，提到可解释性瓶颈时，重点举出了对机器学习算法可解释性的担忧。算法的可解释性隶属于开源软件领域。由于智能系统的功能由软件给定，软件编程的非绝对可靠性决定了软件算法的偏向性与漏洞，从而形成人工智能系统的可靠性、可信性与安全性问题。算法的可解释性问题将严重阻碍这些问题的解决。
人工智能不是单纯的工业革命，它是现代计算机的知识革命，其影响全面波及人类知识相关领域。知识创新与创新知识应的彻底分离是人工智能重要的时代特征。分离后，在智能化工具产业与用户使用中，对知识原理不可解释或无需解释。前者消除全球化产业转移中对知识产权保护的担忧，后者则形成了智能化工具的傻瓜化应用模式。然而，这种分离所造成平台知识原理的不可解释性不利于人工智能未来发展。人工智能领域广泛的开源战略，硬件开源、软件开源、芯片开源、算法开源，将会全面消除可解释性障碍，使人工智能全面腾飞。
1.2020年第11期《单片机与嵌入式系统应用》电子刊新鲜出炉！
2.为什么要用C语言实现面向对象？
3.27种不同编程语言能耗对比！
4.当所有需求都是第一优先级时，该怎么办？
5.这个物联网操作系统—OneOS，来了解一下！
6.可怕，别人把我MCU固件给反汇编了！
