海尔智慧家庭语音交互系统采用分布式耦合引导交互引擎

据统计，2018年中国智慧家庭市场规模为3900亿元，2019年增长至4800亿元。在疫情期间，这一市场也继续呈现逐年增长的趋势。作为家电行业的领导厂商，海尔自2019年就在其多个产品终端上部署智慧家庭分布式语音交互系统，而且用户活跃度在逐年增长。

从2022年底开始，在AI模型冲击下，消费者市场对自然语音交互的期望也进一步提升。海尔智慧家庭分布式语音交互系统也不断升级，语音交互引擎现已具有分布式耦合等多源及引导交互模型增强学习的迭代能力，逐步提升海尔智慧家庭用户的语音交互体验。

在由AspenCore主办的2023年国际AIoT生态发展大会上，海尔AI算法总监赵培女士详细介绍了海尔智慧家庭分布式耦合引导交互引擎。赵培女士2011年毕业于北京大学智能科学性智能交互实验室，曾就职香港中文大学计算机学院研究助理，从事机器学习等多项研究。目前，她带领海尔核心算法团队将智能感知决策助手等功能在海尔洗衣机等产品上实现商用落地。该项目荣获第十届吴文俊人工智能科技进步奖，以及2021年AWE艾普兰智能科技奖。

海尔智慧家庭语音交互系统简介

智慧家庭用户期望能够通过自然语言交互实现更好的智能家居服务，针对这样的市场需求和期望，海尔智慧家庭语音交互系统在交互引擎中采用NLP技术，自主研发并提出了基于分布式耦合的交互引擎核心技术框架，以及相关的算法。这一语音交互引擎的核心算法能力包括：

1. 全双工连续语音交互能力：多源信息联合建模的自然语言理解算法；
2. 离/在线混合分布式语音算法及深度神经网络的信号处理能力：分布式语音交互算法架构；
3. 基于分布式耦合引导交互的增强学习能力：上下文理解及强弱泛化；
4. 小样本学习及自动泛化标注等算法能力。

以上是一个比较简单的语音交互系统的介绍，从数据资源、对话引擎、语义理解、基础能力、应用接口等，简单描述了语音交互系统及现在服务于海尔智慧家庭语音用户的基本功能和架构。基于以上交互引擎的发展和核心算法的创新，海尔已经申请多项专利，并和多家研究机构合作制定出相应的行业标准。

分布式耦合模型交互引擎技术架构及核心算法

下面详细介绍分布式耦合模型的交互引擎，以及其基础架构和核心算法。底下这一部分Haier对话引擎，就是标准引导引擎，包含语义理解、上下文控制及自然语言产生（NLG）三个部分，里面又分为若干个子算法、子模块。这一部分，其实已经是一个比较成熟的语言交互系统体系。在引入了大模型技术之后，我们通过分布式耦合的方式，在引导系统中融合了更多的大数据、大模型的资源，并通过混存机制及生成数据到模型转换的核心算法，实现了在交互过程中既能够更好地理解用户的自然语言、挖掘用户的真实意图，又能够符合精准的业务需求，从而引导用户获取到全屋智能所提供的家居体验服务。

这里有一个核心的、自主研发的基于Hyper设计的拓扑结构，即AI大模型的突破结构，它区别于常见的拓扑结构。通过解耦，这样业务有监督数据层，通过增加Hyper的Slave，可以引入更多业务数据，并且可以私有化部署的模型拓扑结构。同时，在引入Hyper夹层的时候，可以通过分布式的方式，从多个数据入口，或者可以通过耦合多个大模型，来获取不同资源的编码特征。然后我们通过特征核变、矢量向量核变等方式进行特征融合。最后是decoder层，通过MLP对embedding进行解码，来获取所需要的包括意图特征及一些自然语言的信息，甚至一些强泛化语料信息在内的预测AGENT。这样就可以实现在交互过程中，既可以获取基础大模型，也就是based-model更广泛数据资源的同时，也可以解决私有化部署的模型及业务数据不出海的核心问题，这是我们整个引擎中关键的技术点。

在做交互引擎的时候，我们也考虑到如何能够更好地对于传统模型，在系统中能够进行离线或者半离线的训练、升级迭代。同样利用分布式耦合技术实现了标注工具，这个工具可以更好地辅助人工，或者可以替代一部分人工，来完成数据的泛化和标注，这样就可以获得更高比例的泛化数据来训练机器学习模型。然后在引导交互逻辑中，可以实现半自动。当然，我们也在实现类似于全自动的反馈机制来实现增强学习，所以我们也把它归纳于小量学习的一类。举一个例子，在进行天气问询类的语言学标注时，以往是专业语言标注工程师来做这样的工作，现在基本80%以上专业性的标注工作可以交给耦合引擎来完成。

因为我们是在智能家居领域做语音交互实现耦合交互引擎，在做生态扩展时我们可能会对更多领域进行复制，这样就可以在耦合过程中使我们的数据、缓存、建模及自学习能力会逐步地增强。如果我们能够通过更多耦合数据资源、更多耦合的大模型资源，同样来达到这样的数据水平，达到一个奇点能力的体现，可能对智能家居，甚至更多生态领域，可能会获取更好的用户的体验。

最后总结一下大模型技术在智能家居领域的未来发展，及未来我们所期望达到的效果。

首先，具有更强的上下文理解能力。通过引导交互，主动引导用户表达意图，帮助用户获取所需服务；该能力在智能交互引擎中是从无到有，智能家居行业以往没有该技术展示，分布式耦合交互引擎是首创推出，并首创应用在智能家居领域。以 2023 AWE洗衣机为引领技术展示，洗护知识引导查询支持的功能覆盖率由20%上升至85+%。

第二，具有更强的泛化理解能力。对用户请求的语音或文本输入，在噪声或表达多样性等情况下，引擎具有更强的鲁棒性；通过引擎中引导模型的迭代，并利用了引擎获取数据资源的离线人工标注，进行引导模型训练， 整体线上交互成功率从90.99%提升至93.21%。

最后，具有更强的自进化和扩展能力，及未来能力“涌现”。分布式的多模型耦合方式可博取众家资源，在引擎交互模型的迭代中具有更强的进化能力。该技术架构的生态扩展性适用于辅助医疗，智能教学等。当耦合的模型及资源在引导引擎的不断整合及迭代的过程中，未来更可能出现能力“涌现”的奇点。