随着大模型带来能力突破，让AI与数据分析相互结合，使分析结果更好支撑业务，促进企业内部数据价值释放，成为了当下企业用户尤为关注的话题。
本次分享主要围绕大模型+数据分析在企业内当前应用的难点和解决方案展开。
分享嘉宾｜李喆 爱分析合伙人兼首席分析师
内容已做精简，如需获取专家完整版视频实录和课件，请扫码领取。
01
数据分析是2024年大模型重要落地场景
数据分析是我们认为的大模型在2024年的一个重要落地场景，这背后的一大原因是，数据分析正在朝着逐渐降低入门门，增强企业业务部门自主性，从而实现自助式分析能力的方向发展。从最初业务部门提出需求，IT部门进行满足；到业务部门提出需求，数据分析部门进行满足；再到如今的敏捷分析（对话式BI），都是在希望让业务部门本身能掌握数据分析的能力。当前，我们看到数据分析成为未来重要场景以及被人们广泛关注的原因，是因为从几个方面出发，其实各部门都有相关的痛点。第一，从管理层和业务部门的角度来看，我们能明显感受到，从今年开始各公司对于数据分析的需求实际上是大幅度地提高。过去我们可能认为，对于企业的CEO来说，他们可能只是在屏幕上看一下数据指标，但现在许多公司在召开内部管理会议或经营会议时，他们会使用数据看板来查询指标的变化和分析指标背后的原因。与此同时，业务部门也会大量地与IT部门交流，询问为什么数据结果出现问题和偏差，以及指标异常情况的原因。因此，对于管理层和业务部门而言，数据分析的需求比以前增长了很多，需求方对数据分析本身的关注度在不断提高。第二，从响应需求的部门来看，无论是IT部门还是数据部门，都会发现原来的开发方式响应速度上是不够快的，可能有些指标的开发周期需要一至两周的时间才能向老板汇报该数据，但目前的市场周期无法承受这样的时间。而且，当业务部门使用更多的数据时，他们的场景通常都是探索性的，可能关注的是一大类指标，但每次都会持续出现一些差异，因此需要重新完成大量的数据开发工作。此时，从IT部门和数据部门的角度来看，他们都希望利用大模型能力来提高数据开发的效率，以便更好地满足需求。因此，无论我们是站在业务部门和管理层的需求侧，还是站在数据开发环节的IT和数据部门本身，对于大模型结合数据分析均存在强烈的需求，在项目立项进行价值诠释时也可以讲得非常清晰。大模型+数据分析当前难点
基于前面所提到的各类的数据分析需求，我们大概可以将数据分析应用分为三类：运营性分析，策略性分析和探索性分析。结合这三类应用我们可以把大模型+数据分析在需求端当前最大的难点归纳为以下三方面：首先是准确性，如何精确地理解需求并提取出所需的数据指标；其次为灵活性，如何应对需求的多变性；最后是洞察力，即我们不仅关注固定的数据结果，更关注变量以及变量背后的原因，也就是要进行更深入的下钻和归因分析。以准确性来举个例子。许多企业用户会有一个疑问，准确度需要达到何种程度才能被真正采纳？实际上，从实际的业务部和管理层角度出发，实现85%、90%甚至95%的准确性并无太大差别，原因在于许多管理层只需看一次或两次结论便可得知数据是否错误。只要有一次或者两次错误，即使后续的正确率很高，对他们而言依然无法接受。因为他们无法判断这一次的判断是否正确，每次如果需要再次花费人力去验证，那么这数据分析的价值其实就变得很低了。因此，如果从终端用户直接面对的场景来看，无论是面向管理层的还是业务部门，对于数据分析准确性要求是几乎要做到100%的程度。针对这三个方面的问题，我们认为可从三个角度出发去解决。第一，模型性能。总的来说，模型性能的优劣将直接影响意图识别能力的强弱，从而提高决策的准确性。然而，大模型本身基于生成式架构无法达到100%的准确性，必然会存在一定的泛化能力问题，在数据分析场景中这个问题会越发凸显。因此，我们认为第一个策略就是提升模型性能。第二，产品设计。从产品设计的角度充分利用现有数据分析工具与大模型的优势，通过优秀的产品设计和实施方案来避免潜在问题，这也是现阶段大多数落地数据分析业务的相关企业所追求的一种解决方案。此外，通过恰当的运营机制来保证最终效果，如若在第一阶段无法直接触及管理层或业务部门，那么可以考虑服务于数据开发团队或IT团队，使开发效率和响应速度大幅提高。最终，仍然需要以产品加服务的形式呈现，通过提升服务效率来确保最终成果。第三，运营机制。通过产品和配套服务，来保证最终的使用结果。由于运营机制中涉及到不同企业原有数据开发流程以及运营开发运维机制，每家企业的情况都有所不同，因此我们在这方面就不进行过多的具体讨论，把重点放在前两部分，也就是模型性能和产品设计上。首先是模型性能。按照惯例我们将现有数据分析拆分成三个层面，从底层的数据平台、数据仓库、数据宽表的处理，再到中层的数据模型建立、当下兴起的指标平台建设，最后到上层的分析工具、业务看板、大屏幕，这三个层面的思路正式从业务源头的接入，到大模型通过自我演算帮助业务理解，最终输出结果的全过程。接下来我们来探讨一下每个环节中，大模型所能提供的价值。第一点，分析工具的应用，其中最重要的一点是意图的理解，这是基于大模型自身强大的理解能力来实现的，比起传统的小模型能力上要更胜一筹。第二点，自动化生成分析报告或报表的能力，这也是企业实践中的常见应用。第三点，进行多轮分析，这其实是基于多轮对话来理解上下文后的不断优化。上图中标注为蓝色的内容，是在GPT4中可以得到比较完整的能力体现，但在国产大模型或GPT3.5中能力表现则稍显不足。在进行多轮分析时，国产模型的准确度还未达到预期，大概只有30-50%的准确度，与GPT4相比明显存在差距。再来看第二层的模型建构，其中包括了指标的生产、数据模型的精确匹配，以及任务的分解和指标的分解。分别来看的话，任务分解目前主要还是依托于GPT4相对完整的能力。平台层的SQL生成这一方面，如果是完整生成而并非基于语义层匹配后的生成的话，目前来看依然是GPT4的准确度最高；如果是在单表内去生成，目前各家模型的表现都相当不错。不过综合来看模型层面现在最大的难点还是在跨数据表和宽表之间的join操作上，国内的厂商基本都还很难完成。所以我们可以看到，未来大模型在多轮对话、任务分拣和代码生成这几个方面的准确度还有提升的空间。不过，即便是使用GPT4其精确度也依然无法达到完全可用的水平。基于模型本身，大模型的能力在理解和生成方面无疑具有极高的价值，但独立存在时，并不能很好地满足企业内真实需求。第一种方案是将大模型与宽表或语义层相结合，运用宽表和数据源来构建语义层，继而在该语义层上进行相应的匹配和查询。这是当前一些BI厂商所采用的策略，通常采用训练专有大模型和直接使用通用大模型的方式。这类模式的具体操作方式是，先去精准地匹配到语义层，如果未能实现精准匹配，一般会通过一个亿级别的小模型先去精准地匹配到宽表，然后基于宽表再用大模型去做理解，最后做查询。但目前据估计，其准确度大约处于80%-90%之间，甚至达到90%的情况都较为少见。第二种方案是基于指标平台，这一点与前面提到的语义层颇为相似，是把常见的指标先基于宽表进行计算，如果再运用自然语言查询指标，其精确度会相对较高且基本上具备可控性。这种方式能够在一定程度上降低幻觉现象。但是，这种方式也存在问题，即如何确保所设定的指标能够最大限度地覆盖应用场景。换句话说，如果关注焦点不在指标体系与平台之上，那么这种方式就难以有效解决问题。第三种方式是基于图模型。以一个宽表作为数据源，大数据源也会有一个宽表。在此基础上进行图转换，将其转化为图模型，然后再运用自然语言处理解决问题。这种方法的优点在于进行归因分析或关联分析时可靠性更强，因为其图结构本身便适应了关联挖掘和分析的需求。当然，这种方法也存在一些问题，例如，如果原本的指标计算较为复杂，那么转化为图模型的过程可能会存在一定困难。许多制造业企业的指标往往较为复杂，这可能导致它们难以将这些指标转化为图模型。第四种方式则是目前市面上大家都热衷于尝试的数据虚拟化引擎，该方法的本质是在中间层构建一个逻辑数仓，并在构建后通过虚拟化引擎将每次输入的数据映射到逻辑数仓或整个宽表中，增加其覆盖范围。同时，由于采用逻辑数仓，它不会占用过多的额外内存和存储空间。不过目前我们所见到的主要案例仍然仅限于金融行业，整体来说这项技术尚未达到完全成熟的阶段。上述几种是当前我们所见的几种主要的产品层面实现方式，我们可以发现，产品层面上看，大家的设计理念基本相同，也就是说，当需要处理范围非常广泛的数据时，使用大模型进行相关查询时必然会出现精确度较低的问题，但通过缩小其范围，无论是基于数据源形成一个宽表，或者是收敛到指标平台、图模型，实际上都是在极大程度上减小了范围，从而提高了查询和反馈结果的准确率。另外，IT部门需要尽可能地来管理和控制整个业务部门的期望值，因为数据分析能很好地帮助那些资深的业务部门人员，但对于相对初级的业务人员来说，大模型+数据分析更多是能够帮助他们去通过自然交互获取一些指标结果。所以，只要能够将期望控制在适度的范围内，认为大模型+数据分析并不是一定要满足所有业务部门的问题，那么当前的大模型产品无论是在数据分析还是在其他方面，都有足够的能力去满足企业用户和业务部门的真实需求。事实上，即使是GPT4级别的模型，单纯依靠模型能力仍无法完全满足业务部门和管理层的需求。如今国内的通用模型的能力总体仅能达到GPT3.5的水平，距离达到GPT4至少还需一至两年的时间。但是，我们不可能真正等到模型能力达到GPT4级别才去寻找解决方案，因此我们认为，未来更多的关注焦点应放在如何提升产品设计和运营机制，以更好地体现大模型加数据分析的应用价值上面来。对于洞察力层面，许多实际问题未必需要基于大模型来解决，而是可以通过以下几种途径：第一，在原有BI工具中加入归因分析和环比计算等功能，大模型虽然能够更精准地查询结果，但在计算过程中的很多算法却不能完全依赖于模型训练，而需要依赖我们原有的BI工具和报表分析能力。第二，在计算过程中也可以考虑外挂知识库，因为在进行归因分析时需要大量的业务端知识，此时外挂知识库能够更好地解决这方面问题。以上就是本次大模型+数据分析当前的难点和对应解决方案的分享，如需获取专家完整版视频实录和课件可扫码领取。⩓
毕业于清华大学，曾任职于亿利集团等上市公司金融事业部，近10年金融与私募股权投资领域分析咨询经验，专注于科技研究，对于云计算、大数据、人工智能等众多领域有着深入的研究与思考。
注：点击左下角“阅读原文”，领取专家完整版视频实录和分享课件。
