MaaS(ModelasaService)技术框架分析

智能计算芯世界 2024-09-13 07:58

本文来自“模型即服务:MaaS框架与应用研究报告(2024年)”,MaaS能够解决大模型规模化落地难题,同时满足传统人工智能模型的使用需求,提供更加高效的模型触达方式。信通院和行业专家结合产业实践对MaaS开展研究,围绕模型落地的全生命周期,分析和总结框架体系及能力要求,并对服务的质量保障进行研究,阐述模型服务协议框架。

下载链接:
《2024年中国空间计算行业概览合集》
1、2024年中国空间计算行业概览(1):空间计算先行,软硬件内容生态共振 2、2024年中国空间计算行业概览(Ⅱ):空间计算设备产业链拆解(摘要版)
干货分享:“人工智能+”引爆新质生产力革命(2024)
模型即服务:MaaS框架与应用研究报告(2024年)
《Computex 2024系列主题演讲合集》
1、Computex 2024系列AMD主题演讲:CPU+GPU+UA互联厂商 2、Computex 2024英伟达主题演讲:AI时代如何在全球范围内推动新的工业革命
《2024开放计算中国峰会(1)》
1、大模型重构AI基础设施 
2、AI大模型算力底座实践与思考 
3、为AI的迅速崛起提供动力
《2024开放计算中国峰会(2)》
1、在OpenBMC上实现固件可观测性技术 
2、用于整机柜供电的多种电源产品方案 
3、数据中心服务器主板的供电新方案
《2024开放计算中国峰会(3)》
1、移动云面向算力网络的算力基础设施 
2、X400超级AI以太网,加速AI业务创新 
3、开放计算中的高速连接解决方案介绍
《2024开放计算中国峰会(4)》
1、3M在数据中心的高速互联解决方案 
2、数据中心冷源和末端的高效协同优化研究 
3、冷板式液冷人工智能加速卡技术规范介绍 
4、高性能液冷系统用快速连接解决方案


(一)MaaS框架说明

MaaS框架由三部分组成,分别包括模型平台层、模型服务层和模型应用开发层,每层可作为单独服务供用户调取,也可搭载下层设施提供更完整的服务。

在人工智能体系架构中,MaaS处于应用层和基础设施层之间,与云计算架构相比,对其原有的平台层和应用层进行了增强与补充。

一方面,云计算架构下的平台层将操作系统、中间件等软件栈通过服务模式提供给用户,用户只需关注应用程序的开发和管理,减少了开发过程中基础设施相关问题的考虑。而MaaS在其基础上增强了平台层能力,首先通过对模型训练框架、工具等进行抽象和服务化,使得用户可以直接构建、使用或基于模型再次调优;同时MaaS补充了模型层能力,对模型及服务进行集约化管理,为用户提供可直接调取的AI能力。

另一方面,云计算架构下的应用层通过SaaS的方式使用户可直接在线使用应用程序,无需安装及维护本地软件。而MaaS对应用层进行了补充,支持用户基于多种模型服务及组件进行编排或开发,创造更加个性化更加便捷的AI应用。以下将对MaaS各层能力架构和模块进行介绍。

(二)模型平台层

模型平台层为模型定制开发提供全套的工具链及全流程管理能力,包括数据处理、模型开发交付和运营等能力。基于该层,一方面通过全套的工具链帮助企业降低模型定制开发的技术门槛,另一方面通过全流程的运营管理提高多团队协作效率,并实时监控线上模型运行情况,保障业务效果。

模型平台层包括数据工程、模型开发、模型交付、服务运营。该层以基础大模型、算法、私有数据集等为输入,以企业专属模型为输出。

(三)模型层

模型层以模型为主体,是MaaS的核心AI能力,为用户提供可直接调取的模型服务,降低了用户使用各类模型的难度,推动了大模型普惠化发展,同时为上层个性化智能应用的开发提供AI能力支持。

模型层包括丰富的模型库、数据集和服务管理等能力,提供API、SDK、模型文件、在线推理服务等形式。

(四)应用开发层

应用开发层基于各类模型服务和知识库、插件等能力,通过自然语言、工作流编排、界面配置等方式,完成基于模型的AI应用开发和集成,同时对应用从创建到使用的全生命周期进行管理,提高应用开发效率。

应用开发层包括支撑能力、应用开发集成、应用生命周期管理三部分。支撑能力是构建AI应用所需的基础能力,如模型服务、插件、知识库、Prompt(提示)、RAG、Agent等;应用开发集成根据不同用户技术水平和场景的需求分为自然语言、界面配置、工作流编排以及代码开发等方式,满足不同开发难度和灵活度的需求。

(五)模型服务协议框架

当前诸多MaaS产品集成了大量模型服务,但在服务水平协议(SLA)方面仍存在要求不统一等问题,使得用户难以获得满意的性能和质量体验,从而阻碍了MaaS规模化落地进程。

为此,信通院联合产业各界对模型服务协议框架进行总结,为用户获取模型服务时如何衡量服务质量提供参考。模型服务协议框架的目标是规范和提升模型服务质量,适用于人工智能领域包括大模型和传统AI模型在内的所有模型服务。该协议框架对服务范围及服务内容进行明确,并对于如何从多个维度衡量模型服务的水平提供参考,包括服务可用性、隐私安全性、计量准确性及权责条款等部分(如图12所示),帮助用户筛选符合相关需求的模型服务。

  • 服务可用性:从模型推理结果的可用性和服务可用性等方面考虑,分别包括模型性能、模型可解释性等要求,以及服务稳定性、可靠性等要求,共同保障模型服务的有效运行。
  • 隐私安全性:从服务的安全保障机制、数据的隐私合规及内容安全合规等方面考虑,保障模型服务使用的安全。
  • 计量准确性:从计量方式和计量内容等方面考虑,明确服务在可用和不可用情况下的计量规则。
  • 权责条款:从服务赔偿条款、约束及免责条款和知识产权保护等方面考虑,对服务商和用户双方的权益、责任进行了约束。

在大模型时代发展的浪潮下,各行业面临着前所未有的数智化转型挑战与机遇。而MaaS作为模型服务灵活供给的新模式,为行业转型变革带来新路径。

MaaS概念在大模型时代得以重塑,助力大模型规模化落地。MaaS围绕技术门槛低、模型可共享、应用易适配三大特性,一方面有助于解决模型服务规模化生产面临的成本高、技术门槛高等问题,另一方面帮助提升基于大模型的AI应用开发效率。

MaaS框架组成逐渐清晰,但落地挑战不一而足。中国信通院联合产业专家对MaaS框架做出系统性归纳,包括模型平台层、模型层和应用开发层,并对MaaS能力建设要求进行梳理,同时将MaaS与云计算架构进行比对分析,明确其在人工智能体系架构中的定位。但MaaS在模型服务质量规范性、服务易用性、风险合规及生态建设等方面存在诸多挑战。

MaaS应用日趋广泛,落地效果逐渐显现。在外需和内驱双向推动下,金融、电信等行业率先涌现出诸多优秀的MaaS落地实践,将模型服务更加便捷地提供给用户,使其在使用大模型等AI技术时能够达到多快好省的效果。同时MaaS在生产经营等各环节的落地日渐增多,如基于模型的AI应用,在调研案例中覆盖了百余个场景。

当前MaaS落地仍处于初期阶段,未来大小模型协同、内外部接口统一化、应用新生态、安全保障等能力的持续跃升,将成为MaaS发展新趋势。
下载链接:
英伟达GPU加速迭代,聚焦AI光通信核心厂商
《Computex 2024系列主题演讲合集》
1、Computex 2024系列AMD主题演讲:CPU+GPU+UA互联厂商 2、Computex 2024英伟达主题演讲:AI时代如何在全球范围内推动新的工业革命
科技前瞻专题:国际巨头的端侧AI布局(2024)
AIoT白皮书:AI硬化向实而生
异构大规模分布式网络设计与性能评估
2024面向未来的算力网络连接:中国算力网络市场发展白皮书
2024面向AIGC的数智广电新质生产力构建白皮书
2024大模型训练数据白皮书
存储器行业:双墙阻碍算力升级,四大新型存储应用探讨
生成式人工智能专题研究:国内大模型(生成式AI加速,国内厂商聚力突破)
《存储专题系列合集》
1、存储专题系列一:新应用发轫,存力升级大势所趋 
2、存储专题系列二:存力需求与周期共振,SSD迎量价齐升 
3、存储专题三:AI时代核心存力HBM
4、存储专题:AI发展驱动HBM高带宽存储器放量
机器人专题研究:产业发展概览(2024)
国产AI算力行业报告:浪潮汹涌,势不可挡(2024)
AI系列之HBM:AI硬件核心,需求爆发增长
2024中国“百模大战”竞争格局分析报告(2024)
2024年中国虚拟现实(VR)行业研究报告

《半导体行业深度报告合集(2024)》

《70+篇半导体行业“研究框架”合集》

700+份重磅ChatGPT专业报告
《人工智能AI大模型技术合集》
《56份GPU技术及白皮书汇总》


本号资料全部上传至知识星球,更多内容请登录智能计算芯知识(知识星球)星球下载全部资料。




免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。



温馨提示:

请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享,点击“阅读原文”获取更多原创技术干货。


智能计算芯世界 聚焦人工智能、芯片设计、异构计算、高性能计算等领域专业知识分享.
评论
  • 新年伊始,又到了对去年做总结,对今年做展望的时刻 不知道你在2024年初立的Flag都实现了吗? 2025年对自己又有什么新的期待呢? 2024年注定是不平凡的一年, 一年里我测评了50余块开发板, 写出了很多科普文章, 从一个小小的工作室成长为科工公司。 展望2025年, 中国香河英茂科工, 会继续深耕于,具身机器人、飞行器、物联网等方面的研发, 我觉得,要向未来学习未来, 未来是什么? 是掌握在孩子们生活中的发现,和精历, 把最好的技术带给孩子,
    丙丁先生 2025-01-11 11:35 436浏览
  • PNT、GNSS、GPS均是卫星定位和导航相关领域中的常见缩写词,他们经常会被用到,且在很多情况下会被等同使用或替换使用。我们会把定位导航功能测试叫做PNT性能测试,也会叫做GNSS性能测试。我们会把定位导航终端叫做GNSS模块,也会叫做GPS模块。但是实际上他们之间是有一些重要的区别。伴随着技术发展与越发深入,我们有必要对这三个词汇做以清晰的区分。一、什么是GPS?GPS是Global Positioning System(全球定位系统)的缩写,它是美国建立的全球卫星定位导航系统,是GNSS概
    德思特测试测量 2025-01-13 15:42 456浏览
  • Snyk 是一家为开发人员提供安全平台的公司,致力于协助他们构建安全的应用程序,并为安全团队提供应对数字世界挑战的工具。以下为 Snyk 如何通过 CircleCI 实现其“交付”使命的案例分析。一、Snyk 的挑战随着客户对安全工具需求的不断增长,Snyk 的开发团队面临多重挑战:加速交付的需求:Snyk 的核心目标是为开发者提供更快、更可靠的安全解决方案,但他们的现有 CI/CD 工具(TravisCI)运行缓慢,无法满足快速开发和部署的要求。扩展能力不足:随着团队规模和代码库的不断扩大,S
    艾体宝IT 2025-01-10 15:52 160浏览
  • 电动汽车(EV)正在改变交通运输,为传统内燃机提供更清洁、更高效的替代方案。这种转变的核心是电力电子和能源管理方面的创新,而光耦合器在其中发挥着关键作用。这些不起眼的组件可实现可靠的通信、增强安全性并优化电动汽车系统的性能,使其成为正在进行的革命中不可或缺的一部分。光耦合器,也称为光隔离器,是一种使用光传输电信号的设备。通过隔离高压和低压电路,光耦合器可确保安全性、减少干扰并保持信号完整性。这些特性对于电动汽车至关重要,因为精确控制和安全性至关重要。 光耦合器在电动汽车中的作用1.电池
    腾恩科技-彭工 2025-01-10 16:14 69浏览
  • 说到福特,就要从亨利·福特(Henry Ford)这个人物说起。在发明大王爱迪生的电气工厂担任工程师的福特下班后,总是在自家仓库里努力研究和开发汽车。1896年,福特终于成功制造出一辆三轮车,开启了福特汽车的传奇。最初几年,福特都是独自制造汽车并同时进行销售。 (今天很多人都知道的精益管理中的5S方法,或多或少地受到了福特 CANDO方法的影响。)1903年,福特从牧师、律师、银行家、会计师等十一位股东那里筹集了十万美元,并在自家庭院成立了美国第五百零三家汽车公司——福特汽车公司(Fo
    优思学院 2025-01-10 11:21 49浏览
  • 随着数字化的不断推进,LED显示屏行业对4K、8K等超高清画质的需求日益提升。与此同时,Mini及Micro LED技术的日益成熟,推动了间距小于1.2 Pitch的Mini、Micro LED显示屏的快速发展。这类显示屏不仅画质卓越,而且尺寸适中,通常在110至1000英寸之间,非常适合应用于电影院、监控中心、大型会议、以及电影拍摄等多种室内场景。鉴于室内LED显示屏与用户距离较近,因此对于噪音控制、体积小型化、冗余备份能力及电气安全性的要求尤为严格。为满足这一市场需求,开关电源技术推出了专为
    晶台光耦 2025-01-13 10:42 476浏览
  •   在信号处理过程中,由于信号的时域截断会导致频谱扩展泄露现象。那么导致频谱泄露发生的根本原因是什么?又该采取什么样的改善方法。本文以ADC性能指标的测试场景为例,探讨了对ADC的输出结果进行非周期截断所带来的影响及问题总结。 两个点   为了更好的分析或处理信号,实际应用时需要从频域而非时域的角度观察原信号。但物理意义上只能直接获取信号的时域信息,为了得到信号的频域信息需要利用傅里叶变换这个工具计算出原信号的频谱函数。但对于计算机来说实现这种计算需要面对两个问题: 1.
    TIAN301 2025-01-14 14:15 88浏览
  • 随着全球向绿色能源转型的加速,对高效、可靠和环保元件的需求从未如此强烈。在这种背景下,国产固态继电器(SSR)在实现太阳能逆变器、风力涡轮机和储能系统等关键技术方面发挥着关键作用。本文探讨了绿色能源系统背景下中国固态继电器行业的前景,并强调了2025年的前景。 1.对绿色能源解决方案日益增长的需求绿色能源系统依靠先进的电源管理技术来最大限度地提高效率并最大限度地减少损失。固态继电器以其耐用性、快速开关速度和抗机械磨损而闻名,正日益成为传统机电继电器的首选。可再生能源(尤其是太阳能和风能
    克里雅半导体科技 2025-01-10 16:18 319浏览
  • 在不断发展的电子元件领域,继电器——作为切换电路的关键设备,正在经历前所未有的技术变革。固态继电器(SSR)和机械继电器之间的争论由来已久。然而,从未来发展的角度来看,固态继电器正逐渐占据上风。本文将从耐用性、速度和能效三个方面,全面剖析固态继电器为何更具优势,并探讨其在行业中的应用与发展趋势。1. 耐用性:经久耐用的设计机械继电器:机械继电器依靠物理触点完成电路切换。然而,随着时间的推移,这些触点因电弧、氧化和材料老化而逐渐磨损,导致其使用寿命有限。因此,它们更适合低频或对切换耐久性要求不高的
    腾恩科技-彭工 2025-01-10 16:15 96浏览
  • 流量传感器是实现对燃气、废气、生活用水、污水、冷却液、石油等各种流体流量精准计量的关键手段。但随着工业自动化、数字化、智能化与低碳化进程的不断加速,采用传统机械式检测方式的流量传感器已不能满足当代流体计量行业对于测量精度、测量范围、使用寿命与维护成本等方面的精细需求。流量传感器的应用场景(部分)超声波流量传感器,是一种利用超声波技术测量流体流量的新型传感器,其主要通过发射超声波信号并接收反射回来的信号,根据超声波在流体中传播的时间、幅度或相位变化等参数,间接计算流体的流量,具有非侵入式测量、高精
    华普微HOPERF 2025-01-13 14:18 457浏览
  • 01. 什么是过程能力分析?过程能力研究利用生产过程中初始一批产品的数据,预测制造过程是否能够稳定地生产符合规格的产品。可以把它想象成一种预测。通过历史数据的分析,推断未来是否可以依赖该工艺持续生产高质量产品。客户可能会要求将过程能力研究作为生产件批准程序 (PPAP) 的一部分。这是为了确保制造过程能够持续稳定地生产合格的产品。02. 基本概念在定义制造过程时,目标是确保生产的零件符合上下规格限 (USL 和 LSL)。过程能力衡量制造过程能多大程度上稳定地生产符合规格的产品。核心概念很简单:
    优思学院 2025-01-12 15:43 486浏览
  • ARMv8-A是ARM公司为满足新需求而重新设计的一个架构,是近20年来ARM架构变动最大的一次。以下是对ARMv8-A的详细介绍: 1. 背景介绍    ARM公司最初并未涉足PC市场,其产品主要针对功耗敏感的移动设备。     随着技术的发展和市场需求的变化,ARM开始扩展到企业设备、服务器等领域,这要求其架构能够支持更大的内存和更复杂的计算任务。 2. 架构特点    ARMv8-A引入了Execution State(执行状
    丙丁先生 2025-01-12 10:30 440浏览
  • 根据Global Info Research(环洋市场咨询)项目团队最新调研,预计2030年全球无人机电池和电源产值达到2834百万美元,2024-2030年期间年复合增长率CAGR为10.1%。 无人机电池是为无人机提供动力并使其飞行的关键。无人机使用的电池类型因无人机的大小和型号而异。一些常见的无人机电池类型包括锂聚合物(LiPo)电池、锂离子电池和镍氢(NiMH)电池。锂聚合物电池是最常用的无人机电池类型,因为其能量密度高、设计轻巧。这些电池以输出功率大、飞行时间长而著称。不过,它们需要
    GIRtina 2025-01-13 10:49 163浏览
  • 随着通信技术的迅速发展,现代通信设备需要更高效、可靠且紧凑的解决方案来应对日益复杂的系统。中国自主研发和制造的国产接口芯片,正逐渐成为通信设备(从5G基站到工业通信模块)中的重要基石。这些芯片凭借卓越性能、成本效益及灵活性,满足了现代通信基础设施的多样化需求。 1. 接口芯片在通信设备中的关键作用接口芯片作为数据交互的桥梁,是通信设备中不可或缺的核心组件。它们在设备内的各种子系统之间实现无缝数据传输,支持高速数据交换、协议转换和信号调节等功能。无论是5G基站中的数据处理,还是物联网网关
    克里雅半导体科技 2025-01-10 16:20 432浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦