电子工程专辑作为一家探讨电子工程的媒体,操作系统作为软件上层,跟我们的关系其实算不上特别大。不过当一个系统涉及到物联网设备的时候,它面向的开发者,其生态的一面是软件开发者,另一面则是集成该系统的硬件OEM厂商。
HarmonyOS(鸿蒙)就是这样一个系统,所以我们也总在持续跟进HarmonyOS。今年华为HDC开发者大会的主题演讲,重点自然还是HarmonyOS及其生态。余承东在主题演讲中展示的这张图很好地表达了OpenHarmony、HarmonyOS、HarmonyOS Connect(虽然不知道Connect这个后缀的提出是否有更早的历史渊源),以及HMS之间的关系。事实上,HDC 2021首日主题演讲也就是围绕这几个组成部分去做深入的。
所以主题演讲主要内容包括了:
- HarmonyOS 3 Developer Beta开发者测试版即将于明年Q1问世;
- HarmonyOS Connect(4.0)及其开发相关的新变化;
最后其实还有专门的一个主题演讲是相关于鸿蒙生态的网络安全与隐私保护的——这将不是本次HDC 2021系列文章探讨的重点。点击上面的链接,了解更多本次HDC 2021与HarmonyOS的信息。
不谈基于OpenHarmony的第三方商用发行版,我们关注的重点应该在HarmonyOS Connect这块:即面向鸿蒙生态伙伴的IoT设备的系统——也就是华为1+8+N战略中N的构成。
而且我们认为这次的HarmonyOS Connect在理念上显得更有趣,本文主要谈谈华为对万物互联的看法,以及HarmonyOS Connect。另外,以下内容和理念阐述基于华为在主题演讲中的表达,其中很多特性的实现细节我们并不清楚。
必须改变人与机器/服务的交互方式
很久之前开始,就有人在探讨这个时代信息过载的问题:即数字时代每天的信息量太大,大到人难以分辨哪些有价值、哪些没价值的程度。
这个问题同样逐渐发生在应用和服务方面,当我们面对这么多的应用时,如果按照传统的查找、搜索等方法去使用,恐怕应用与服务的过载很快就会让更多人无所适从。或许现在要在手机上找个app,就已经有点麻烦了。万物互联时代的到来,会让问题变得更严重——当我们要去寻找某个服务,究竟找哪个设备,哪个应用?
华为消费者业务AI与智慧全场景业务部总裁王成录博士说:“我个人相信原子化服务的数量级,会比今天app还要高出许多。未来3-5年,原子化服务数量会达到亿级,甚至十亿级规模。”(不知道什么是原子化服务的同学,可点击这里查看)在这种情况下,如果不改变人和应用的交互方式,“不重新定义人消费信息的方法,万物互联也就无从谈起,因为太复杂了。”
恰巧前年我们写过一篇文章,谈智能家居真正要实现智能,不应当由人去用手机app操作开关灯、开关电器。而应当由传感器去理解人的需求,比如走到哪里、灯就亮到那儿;人出门则自动关灯;夏天回家之前空调就开了等等...
在万物互联时代,如果由大量传感器去“捕获你的意图”,“那才是智慧生活和万物互联应有的样子”,王成录博士说。当大量IoT设备构成整套系统(包括华为的超级终端),融合设备越多,有越多的传感器去记录用户行为,对用户意图的捕获也更为准确。比如有的传感器记录地理位置、有些则记录生理指标、周遭环境信息等。
事实上,大量传感器如今是遍布于我们生活周遭的,只不过大部分都是孤立的。HarmonyOS生态“超级终端”汇聚多设备软硬传感信号,产生以用户为中心的感知多维语义。不过实现这一点,从技术上来看其实也真的不简单:令所有IoT设备处在同一个生态下,只是基础。
王成录博士对此提到了三个比较重要的技术点:
其一是各类设备、传感器上报的信号是不一样的,首先就要求将信号时序对齐。比如声纹和手势两种信号的配合,有利于理解人的意图.但如果这两种信号没有做到时序对齐,就谈不上理解意图。而HarmonyOS的分布式软总线技术能够解决这一问题(了解什么是分布式软总线点击这里)。
分布式软总线有个“软时钟”。一般传统设备模组通讯,由PCB板上的晶振提供统一时钟信号,模组通信先向晶振校准。而王成录说软时钟的工作原理,是多设备组成超级终端,“从最强设备的晶振上捕获时钟信号。捕获以后,后续所有业务处理时钟都以该时钟信号为主。”“现在软时钟精度已经做到误差小于1ms,3.0 beta版本则做到了500μs,完全满足信号同步问题。”
其二则是信号数据的标注(tag)问题。数据标注是个耗时耗力、颇具挑战性的事情,很多数据难以做标注。华为在此的解决方案是,AI的“互助标注”方法。“当多设备在同场景下,某些设备上报数据有标注,而有的没有标注,就可以用已标注的数据来判断上报信号大概是什么意思,进行标注。随着设备越来越多,自动标注的效率也会提升。”
第三个比较大的问题则在于,对于AI而言,本地传感信号数据都是“小样本”,或者说样本数据量很少。而且传感器可能是不稳定的,一个超级终端内很难保证所有设备永远在线和稳定——那么这会加剧小样本集的波动。这决定了“端侧不能用现有传统AI模型来做这样的训练。所以我们开发了端侧小样本实时训练模型,解决小样本数据波动和不稳定带来的冲击性问题。”
据说其中的核心算法在于“稀疏编码”。王成录博士说:“做AI的朋友应该都知道,它是个无监督学习算法。其核心在于,找一个完备的基础向量机,向量信号进来以后,完全可以用基础向量机线性组合来表征输入信号。这种算法能够非常有效地避免因为数据不稳定、样本空间不稳定带来模型波动的问题。”与此同时,样本训练的过程里会无限变大。端侧模型不断变大,一定会耗费更多硬件资源。“用自适应部署技术,根据训练模型上限硬件资源的限制。当模型变大,它会自动裁剪和调整,保证模型在规定硬件资源内得到训练和部署。”
那么捕获用户的意图,根据其意图来提供服务,也就能够做到“多而不繁”,人们才能够享受万物互联。接下来的一个问题是,如何深入理解用户的意图。王成录提到了其中的“核心关键技术”。上面这张图左边是用户意图的表征。
包括“显式结构化意图”和“隐式向量化意图”。所谓的显示结构化意图,是指我们在说“我想去旅游”这句话代表的语义,就是显示结构化意图。但实际上更重要的还在于隐式向量化意图:即如果说话者是从来没开过车的,那么自驾游自然就不在意图之中了。“显式结构化意图+隐式向量化意图,两者融合,对用户真实意图逼近。所以用传感器联邦,就是要把隐式向量化意图不断增强,对每个人隐式的意图都做到精准捕获。加上显式意图,对消费者意图理解就会越来越准确。”
这张图右边的部分,则是应用和服务侧表征意图的过程。比如开发某个应用是做什么的。表征意图可以用文本、图片、微动效等不同方式。开发应用的意图表征越准确、详细,也就越能够匹配需要对应服务的用户。
“这两个表征向量完成以后,投射到统一的向量空间,用算法做精确匹配。最后结果就是消费者要的东西。”王成录说,“用隐式的向量意图,能从海量的应用和服务里面,快速找到几个到几十个可能的应用候选集。再通过显式的结构化意图,对候选集做进一步的筛选和逻辑的组装,就能做到对用户意图精准的反馈。”
“这两个功能一旦实现,就是我们梦想的要重新定义人和机器交互的方式。”
这是个听来非常未来向的技术。不过当前是存在雏形的,即HarmonyOS系统中的小艺建议。王成录说小艺建议背后就是这样的技术。比如根据时间、地点、场景,把用户可能需要的服务放到小艺建议中。而小艺是华为期望打造的,面向万物互联人机交互的统一入口,彻底改变人机交互方式,改变人获取服务的方式。
王成录举了个例子,需要看视频则直接对小艺说出需求。此时不需要在意是对哪个设备传达指令,因为HarmonyOS生态内,所有设备彼此知道对方的profile。如音箱在接受到该指令后,知道自己完不成这项任务,则会将其传递给电视机去执行。在视频观看到一半时,用户进入书房,所有内容和服务也会跟着到书房,如视频投射到书房的PC上。
这个过程里,用户不需要在意与哪个设备或服务交互,而只需要与小艺这个入口做交互;与此同时设备本身也在判断用户的意图。王成录将其称作“未来万物互联的里程碑和出发点”。
值得一提的是,华为将小艺做成了“完整的解耦化的架构设计,和HarmonyOS设计理念一样“。但凡OpenHarmony安装的设备,包括所有小设备,小艺也都能安装——并且“是弹性部署的过程”。
“有小艺的部署,HarmonyOS生态的互联和融合,任何一个场景,不论哪一刻用哪个设备去触达融合终端,小艺都能感知得到。省去消费者不断在设备间配来配去、查找各种服务、做逻辑组装的过程。”猜测华为现如今构建了这套理想方案的框架,毕竟其描绘听起来还是太过美好和复杂。
提供给合作伙伴的HarmonyOS Connect
上面提到的这些能力,华为会通过HarmonyOS Connect软件包提供给合作伙伴。“合作伙伴可以根据自己的设备,或者应用和服务,选择其中的组件,去打造自己的鸿蒙生态设备、做鸿蒙应用。”王成录表示,“对于消费者而言,将来所有的一切找小艺就够了。”
不论技术上的实现难度如何,这种“赋能”的过程,本质还是打造完整的鸿蒙生态。毕竟要实现上述人与服务/信息交互变革的理念,仍然需要更多的开发者加入到生态中。
大部分同学对HarmonyOS Connect这个词应该还不是很熟。前文已经提到它是华为1+8+N生态中,加入鸿蒙生态中的三方N设备的操作系统。上面这张图展示近两年其发展历程,今年HarmonyOS Connect 3.0已经全面“支持垂类应用带屏设备”;明年的4.0版本则会实现对带屏设备更全面的支持。
对于硬件开发者(即IoT设备OEM厂商,以前叫南向开发者),王成录表示这次提供的工具“能够让所有生产鸿蒙硬件设备的开发者,一站式解决所有问题”。这其中有几个关键特性。
其一,“一般开发一个硬件设备可能需要多个环境,开发在Windows或Android环境,编译的时候可能要切到Linux等等。”“这个版本的工具已经实现了所有环境的融合,不需要切换环境就可以完成应用开发、编译,到整个系统的灌装。”
其二,提供硬件仿真能力。“一般开发产品,软件做完后先要调测,需要烧录到硬件里。这个版本的工具提供仿真能力,在平台上就能做调测。这对开发效率有很大提升。”
其三,“做不同硬件产品,用到很多芯片平台。不同芯片平台有不同的工具链。我们为了去开发一个芯片平台,复杂的工具链配置参数,需要一个有经验的专家配2天左右才能配完。我们把所有这些配置集成到工具里,工具就能帮助硬件生态合作伙伴一站式完成硬件产品研发。”这几项特性总体上都是在缩短硬件产品开发周期与难度。
应用开发者部分(以前叫北向开发者),华为这次提供的工具也有几个关键特性。其一是做了更多的设备仿真,代码和界面可做双向显示:写一份代码对界面产生了怎样的影响,所有仿真设备上都能看到。
其二则在于提供低代码开发(以拖拉拽的方式就形成一个简单应用的过程);
其三是“分布式仿真”——这一点和去年我们谈到HarmonyOS的分布式调试应该也相关,是由HarmonyOS应用本身具备跨设备流转特性造成的开发难点。“一旦应用在不同设备之间流转,复杂度就很高,发生故障都不知道故障点在哪儿。这个版本中,我们可以在仿真设备上操作跨设备应用——而且这个设备应用在流转过程中,代码指针流转在哪里都能动态看到。”总的来说这项特性对于节约debug时间是很有价值的。
抛开新发布的开发工具不谈,华为在今年的HDC主题演讲中抛出对于万物互联的理念解释,其实在实现上应当是有相当难度的。至少我们认为,按照华为的设想,这将是后续多个版本迭代,HarmonyOS需要去不停完善的。如果真的能够由设备或系统去主动理解人的意图和需求,那的确是“重新定义”人与设备、人与服务交互方式的革新式技术。
余承东在开场时给出的数字显示,HarmonyOS Connect智能生态产品超过4000款,生态合作伙伴超过1800家,2021年新增生态设备发货量则超过了6000万台。这都表明HarmonyOS的万物互联生态建设速度的确是相当之快的。接下来的这两年对HarmonyOS而言还将尤为关键——快速提升市场份额对如今的HarmonyOS而言将会十分重要。
责编:Luffy Liu