大模型在2024年的首要目标是降低企业运营成本，并在能源、银行、政务等场景有了显著的落地进展。随着2024年的到来，企业开始释放大模型预算，市场规模预计将达到120亿元。
本次分享将围绕大模型落地进展趋势以及相关实践案例展开。
分享嘉宾｜张扬 爱分析联合创始人兼首席分析师
内容已做精简，如需获取专家完整版视频实录和课件，请扫码领取。
本次的分享主要围绕两方面展开，首先，将介绍通过我们在过去一年里中与大量企业用户进行广泛讨论后，总结出的他们在制定2024年规划及落地实施过程中所关注的问题以及现有的定性层面的思考和行动；其次，将向大家分享在实际服务企业用户过程中，他们经常遇到的问题和解决方案，尤其是在规划和立项阶段面临的常见问题。01
首先与大家分享一下我们通过近期的大范围调研所得出的部分结论和成果。上图中展示了我们调研对象的分布情况。目前大模型在落地过程中金融领域比较靠前，因此调研的金融类样本占比较高。除金融行业外，央国企、能源制造领域也占据了主导地位，而第三大类调研对象是政府部门，特别是各地的12345公共服务热线，预计明年将有大量预算用于大模型的建设。实际上，12345可被视为一个庞大的整体，其规划可能会涉及公积金、医疗等多个不同领域的单位，这些预算很大一部分将用于这里，因此，尽管这些并不在我们的调研体系内，但仍属于政务范畴。接下来是第四大类零售领域，消费品零售商正积极尝试通过大模型推动企业内部改革。因此，从图中可以观察到，我们所调查的样本基本上是集中在那些正在考虑实施大模型并进行初步规划的企业。大模型在企业内部落地的实施分为四个阶段。前两个阶段分别是观望学习和探索可研，这两个大致处于探索阶段。第三阶段是做试点速赢项目，此时更多地关注业务收益，可能需要制定全公司的场景规划。与2023年的显著差异在于，2024年大多数企业明确地将大模型的落地写进了规划书中，包括实施计划的推进情况。去年的状态主要还是停留在观望与学习阶段，尽管有多方探索，但大部分的探索仍然停留在纸面之上，实际落地的实践极少。然而，在2024年，试点速赢以及探索实践已经能够清楚地看到一些成果的出现。图片的右侧是在实际进行大模型的落地时，企业决策层所关注的核心点，其中首要的便是大模型应用的核心目标。过去的新技术应用，大部分情况下的新目标基本上是以提高收入为主导，其中增收更是成为了技术应用的核心价值。然而在实际研究大模型的过程中，我们发现了一个很大的不同之处，绝大多数的企业决策层认为，大模型首要应作为降低运营成本的一个出发点，调研结论也体现了业务收入增长在排名中仅列第四位。这其中有两个原因：第一，市场大环境自身的挑战，单纯通过业务增长来实现增收的难度较大。这不仅仅是技术本身的问题，还受到诸多宏观环境因素的影响，因此从公司战略角度出发，业绩增长的优先级相对较低。而在内部挖潜方面，主要集中于精细化管理，其直接表现便是成本节约。第二，大模型在实践过程中，面向客户端的应用稍显不足，大部分以内部应用为主导，在这种状况下，成本节约占据了主导地位。因此，这实际上是大模型在实际落地时与其他传统技术，如数据技术、小模型AI技术等相比出现的一个明显的差异点。此外我们还总结列举了重点落地的六大场景，其中最受关注的是数据分析，无论是BI，还是提升全员使用数据的理念和效率，企业基本上都将数据分析作为最广泛的应用场景。此外我们也注意到，在那些数目庞大，例如接近200万或300万的预算中，绝大部分都投入在对话式分析项目之中。除了数据分析之外，另一个较为广泛的应用便是客户服务与知识库，以及底层知识库的变革，其中也包含了知识库之上智能客服的变革，这可能成为大模型的另一种可行的应用。第三个场景是营销领域，早期不论是图片或是文本内容，其实都归属于营销的范畴，这些成为了核心的应用场景。说完了场景和阶段，接下来将进一步介绍在观察大模型实际落地的过程中，企业遇到的一些具备普遍性特征的问题。我们将问题划分到了两个阶段当中，即规划阶段与立项阶段。第一，大模型与公司战略之间究竟有着怎样的紧密联系。通常情况下，大模型通常是由上至下推动的，可能是由董事长或CEO宣布了大模型必须落地的决策。无论是分解到哪个团队，都会提出一个以大模型为主旨的项目来进行汇报，在汇报中，老板询问的第一个问题往往就是大模型与公司战略的关联。但是，在大多数汇报中，实际上更多谈论的是大模型本身，无论是知识库赋予一线员工的能力提升，还是数据分析提高了使用数据的理念，其实这些与公司战略间并无必然联系，也就是大模型项目与公司战略之间没有必然联系。因此我们建议首先要解决的问题，即右侧所述的如何将大模型项目与战略对齐的问题。第二，如何制定大模型落地的路线规划。因为实际上，当一个战略逐步向下推进并落实时，会进行解码、拆分，同样，大模型落地过程中也应遵循一个中长期的规划，每年要完成什么工作，包括先完成什么，后完成什么，先实施哪些场景，后实施哪些场景。因此，对于如何做落地路径规划的制定是至关重要的。第三，大模型如何影响云基础设施和数据基础设施。绝大部分时候，大模型都是很多企业的公司级项目，然而这些项目在实施过程中实际上会对传统IT领域产生一定的冲击。首先，算力的变化是其中之一，大模型无疑会对云基础设施的稳定性产生影响。其次，数据基础设施也受到了巨大的影响，那么针对要进行的大模型的建设，我们的传统云基础设施和数据基础设施需要做出哪些必要的调整和革新呢？对于云和数据又应该如何做好适应工作？这其实是在规划阶段早期所面临的一个重要问题，也是我们在规划阶段需要深入考虑的议题。而当进入项目立项阶段时，企业同样也是面临以下几个方面的问题。第一，如何设定大模型的业务收益。因为我们必须在立项之初，就非常明晰业务收益的具体方向以及其重要性是否足以支撑该项目的立项。我们通常会设定一些项目上线后的业务收益衡量指标以衡量项目的价值，那么如何设定合理的业务收益是广大企业用户在立项时所要面对的首要难题。由于知识库、对话式BI等应用的实际业务收益相对较小，其立项所需的预算规模往往难以满足。因此，如何设定适当的业务收益，特别是在寻求预算支持的立项阶段，成为了企业用户在立项阶段所要面临的首要问题。第二，项目团队组织架构如何设置。这就涉及到组织架构的设定问题以及项目团队的组建问题，尤其是在技术人员配置问题上。此外，还需认真研究哪些项目值得投入，哪些项目则应该避免，此举同样是项目团队组织架构设定过程中的重要环节。第三，如何进行技术可行性的分析和合规性问题的评估。在执行的过程中，我们需要对大模型技术能够支持到何种程度，以及当前设计的场景哪些能够实现，哪些无法实现等情况进行评估。同时，我们也要妥善处理可能涉及的各类合规性问题，包括政策合规、法律合规以及内部控制等方面的问题。基于上述规划和立项所面临的问题，我们列出了一个五步法的步骤，依次是战略对齐、落地路径规划、业务收益设定、技术与风险评估和组织架构设置。下面我们挑规划中的战略对齐，以及落地路径规划和一部分业务收益的案例来重点深入地进行讲解。实际上多数企业在2023年年末至2024年年初期间，都会开始做2024年规划。诚然，在制定一战略规划的过程中，必然会涉及到战略目标的设定以及战略解码的过程。因此我们认为，战略解码的过程中大模型项目必须找到自身的核心定位，或者说确定其与战略的紧密联系，这对于项目的顺利进行至关重要。左侧的图示实际上就是战略解码的一个过程，涵盖了从整体公司级战略到管理层设定的KPI目标，再到业务执行层的每个项目。无论是采用战略地图还是别的形式，其实都可以帮助我们进行战略解码的工作，其主要作用在于在整个战略解码的过程中，尤其是在最终的执行层项目中，真正找到符合企业自身情况的战略对齐，从而提升大模型项目的价值。下面以一家金融机构作为案例。十四五规划即将结束，该企业在每年年底和年初时，需要对整个十四五规划进行全方位的回顾。在考虑十四五规划时，一个颇为关键的战略就是自主可控，这也被明确写入公司的十四五信息化战略规划之中。因此，大模型在寻找自身在战略中的角色时，就是从十四五战略规划中出发，从中挑选出适合的项目。该企业一大重要战略就是自主可控，主要在于其与IT数字化密切相关，其次还可以发现它最终选中的落地项目是大模型加运维的项目，选这个点的原因其实就是它基本上比较好地解释了自主可控。绝大部分金融机构底层的云基础设施运维高度依赖于大厂的云服务。因此，对于这些金融机构而言，相对于云厂商的独立自主可控需求强烈。由此，诞生了大模型+运维这一项目。这里的自主可控不光是对于外资软件的或者资质设施，更多的是对外部供应商的自主可控。在此过程中，大模型的运行维护，或者说是大模型与运维的联合价值，就显得尤为重要，因为这是对现有金融机构自身内部能力的强化，也就是大模型在提升公司内部运维人员的技能，例如通过知识库、BI以及其他能力赋能内部运营的人员。运维人员在这个过程中，可以减少对外界云厂商，或外资硬件服务器厂商等存在的高度依赖，从而以更好的程度体现出自主可控性。因为它不只是简单地讨论外资替代的问题，而是全面关注银保监一直特别强调的，希望金融机构，特别是银行，能够具备更为强大的技术实力和自主可控的能力。所以该项目从立项到实施都较为顺利，因为在项目之初便将整个公司的十四五战略规划中的自主可控性纳入其中，是一个非常优秀且值得借鉴的金融机构案例。综上所述，我们建议在规划大模型开始的第一步时，务必在公司战略中找到大模型的落脚点，尤其是在战略解码的过程中，这是第一个至关重要的步骤。下面聊聊如何进行落地路径规划。在制定落地路径规划的方法方面，我们已经在之前的讨论中有了明确的指引，基本上需要进行大量的内部调研。这项调研的主要形式是收集各个部门的需求，除了关注需求本身的解决方案外，还要对底层的数据需求和对计算能力的要求进行前期评估。接下来则需要进行两个方面的评估，业务效益的评估和技术可行性的评估。基于此，我们将横坐标与纵坐标结合，制作出一个四象限模型，以便挑选出那些具有高优先级的情景。横坐标主要考虑的是技术的可行性，比如1年内、1-3年内以及3年以上等情况；而纵坐标则着重于其实际的业务价值和业务效益，根据过去的经验以及通用的规划，我们已经为大家筛选出了具有较高价值的高优先级情景。第一类场景就是数据分析，数字化经营是用于数据分析的一项极佳的应用，尤其是针对管理层的。第二类场景是知识库和智能客服，第三是内审合规，这是另一个值得关注并考虑的方向。核心原因在于无论是数据分析、知识库还是客服，对于绝大多数企业而言，可能只是其核心业务场景的一部分，而并非是最核心的业务场景。从企业高层的视角来看，他们必然期待自己的大数据模型能够深入核心业务场景，并发挥核心价值。在内控合规方面，尽管并非核心场景，但却具有较高的重要性且高度较高。在2024年规划中，诸多金融机构或央国企已经将内审合规纳入了优先推进和落地的项目。由于业务收益的特殊性，每家企业的状况都各不相同，实际操作过程中往往依赖于几个关键维度的设定，涉及到大模型项目小组或相关的技术委员会，并需高层进行评估和决策。因此在这里会提供几个易于掌握的通用原则和方法，包括相关的案例研究，以服务于后述的实际操作。首先，在设定业务收益时，需要从顶层开始进行考虑。这种策略的优势是从管理层出发，历经部门领导，直至执行团队，这是实现大模型落地的最佳路径。其背后的原因在于，大模型本身需要获得来自管理层的大力支持，以及在公司范围内推动这项工作，那么针对管理层的大模型的应用赋能，或探讨如何使这个模型为管理层带来价值，无疑是更为有效的切入点。这里举一家主机厂的案例以便于更好理解。该企业今年想要落地大模型，在应用场景上曾经过多次内部筛选，首先先以面向管理层的场景作为首个目标，其次在每月的经分会上，依托完全基于大模型生成的报表，进行经分会的召开，报表主要展示了一些核心的日常经营指标。另一方面，由于该主机厂规模较大，尽管只是其中的一个子板块，但每年仍有数百亿元的收入，对于管理层而言，年终述职报告便显得尤为必要。大多数领导可能需要花费长达一个月甚至更长的时间来撰写这份报告。因此，他们选择了另一个应用方向，如何根据日常运营分析中的一些核心基础数据生成报告帮助领导减轻年终报告的负担。这是他们当时选择大模型的主要切入点。由此可见，即便都是进行数据分析，开展数字化经营，但是在面向管理层时，整体的业务收益，包括对于管理层的价值感知，都会产生更为积极的影响。这就是我们提出的第一个原则，即优先考虑面向管理层的引导，驾驶舱的模式就是一个非常好的示例。此外，大模型能够端到端赋能业务流程，业务收益更高，这里以某能源央企的实际应用举一个例子。在实现端到端全流程赋能的过程中，更易于形成项目的长期全面规划，包括项目的全生命周期规划都可以顺利完成。由于对能源央企来说，运维是其核心业务场景之一。以电网为例，通常情况下电网会有几十万巡视检查人员，运维是一个核心场景和关键环节。同时，我们也意识到大模型在赋能时，应包含端到端的全过程，例如，可以观察到从最早终端设备的异常检测开始，到检测后产生告警，再到如何解析告警，包括如何降噪及如何识别真正具有价值的告警，从而自动生成工单并发送给相关设备工程师或运维工程师。设备运营工程师在收到工单之外，还可以获得根因定位的辅助分析，以便了解可能导致故障的原因，包括可能的解决方案，然后生成相应的修复排查方案，直至修复完毕，工程师将会自动生成报告，并关闭整个工单。在实际执行过程中，将整个规划向设备运营部门进行详细阐述。尽管在实际落地阶段不可能一次性解决所有核心场景问题，但从长远的全周期角度来看，设备的业务部门将高度认同这一理念，因为他们可以看到大模型在全流程赋能过程中所产生的业务收益正在逐渐提高。这样一来，在实际实施过程中，无论刚开始选择的是最基础、最易实现的一个环节，如基于对话生成的对话内容自动生成工单，实际上大模型在做此类工作时难度并不高，并且可行性较高。尽管只有如此小的一个环节，但由于展示了完整的流程，设备运维部门便能相对容易地接受这件事情，因为他们能看到背后的核心价值。以上两个是我们看到的在企业内部业务收益方面做得比较好的案例。2024年是大模型落地的元年，在一些企业中核心、有价值的业务场景中已经在落地，且正逐渐产生一些效果。同时，落地过程中要核心关注几个点，包括基本的战略对齐，以及把握住落地首个项目的业务收益，包括整个项目的全周期规划，都需要前期立项的时候进行充分的思考和规划。以上是本次大模型落地进展趋势以及相关实践案例分享的全部内容，如需获取专家完整版视频实录和课件可扫码领取。⩓
毕业于清华大学及香港中文大学，杭州市金融科技创新项目应用案例专家评委，原投中集团副总裁。十余年金融行业从业经验，在爱分析媒体平台发文超过500篇，有很深的行业影响力。
注：点击左下角“阅读原文”，领取专家完整版实录和分享课件。
