亚马逊云科技re:Invent:生成式AI如何从原型到产品

原创 趣味科技v 2024-12-09 18:14

在亚马逊云科技2024 re:Invent全球大会上,生成式AI近年来的指数级增长,理所当然地成为了广大参会者热议的话题。

在大会期间,亚马逊云科技人工智能、机器学习服务与基础设施副总裁 BaskarSridharan接受了趣味科技的采访,并针对生成式AI带来的机遇与挑战,生成式AI如何从原型走向生产,亚马逊云科技提供的生成式AI创新解决方案等话题进行了深入探讨。

“在过去的18到24个月中,我们看到生成式AI已经出现了指数级的迅猛增长。但是与此同时,整个行业目前仍然面临着一个挑战,那就是如何将原型成功地转化为产品或者说是生产,仍然是一个亟待解决的问题。”谈到生成式AI近年来的增长态势以及面临的挑战时,Baskar Sridharan如是表示。

Baskar Sridharan认为,生成式AI从原型走向产品,一共有四个关键性的因素,分别是模型、成本、数据以及信任。

一、模型

亚马逊云科技能够为用户提供非常广泛的模型选择,这些模型来自AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI等全球领先的大模型供应商,同时也包括了亚马逊云科技提供的自研模型,覆盖了多种用途和场景。

一方面,针对客户特定的用途,亚马逊云科技为其提供了选择的权利,让客户可以根据自己的需求来选择最适合自身应用场景的模型,这将直接影响到后续的生产效率和产品质量。

另一方面,模型本身也是在不断向前跃进的,可能现在选择模型A最合适,但是过几个月可能就变成了模型B最合适,再过几个月又变成了模型C最适合。然而与此同时,客户的生成式AI开发又需要整个模型生态系统保持稳定,亚马逊云科技也为他们提供了这种保障,这两点都非常关键。

二、成本

客户在制定原型的时候会给自己设定一个预算的标准,在从原型转向生产的时候,客户需要能够很好地管理推理模型和训练模型的成本。为此亚马逊云科技推出了Amazon SageMaker和Amazon Bedrock等产品。

Amazon SageMaker提供了灵活性和快速模型微调的能力,能够帮助客户极大地降低训练所产生的成本,Amazon SageMakerHyperPod系列下的产品能够通过任务管理能力将多个任务放在一起,由系统统一进行管理,从而使成本降低高达40%。Amazon SageMaker Lakehouse同时支持亚马逊云科技和第三方的数据,为客户提供了更大的灵活性和便利性。客户可以根据自己的需求来构建定制化模型,并使用同样的数据开发生成式AI应用程序。

Amazon Bedrock则专注于降低推理方面的工作成本。此外亚马逊云科技还针对Amazon Bedrock推出了模型蒸馏(Model Distillation)、自动推理检查(Automated Reasoning checks)、多Agents协作(Multi-agent collaboration)等三大全新功能,这些功能都可以帮助客户更好地控制成本,提高生产效率。

Model Distillation模型蒸馏功能,可以从大模型生成响应来对小模型进行微调,能够实现模型构建提速500%,成本降低75%的惊人效果,对于那些想要大规模部署生成式AI的客户来说,这一功能的意义显然非同寻常。

Automated Reasoning checks自动推理检查功能,可以通过数学验证来确保大模型生成的响应的准确性与合理性,防止模型幻觉导致的事实错误,从而更好地控制成本。

Amazon Bedrock multi-agent collaboration多Agents协作,可以支持多个Agents之间的协同工作并有效降低成本,帮助客户按照自己期望的方式,构建更加复杂和高效的生成式AI应用。

三、数据

对于所有的现代企业来说,数据都是生命之源,对于以AI为主业的企业则更是如此。而在将数据集成并放到AI的过程当中,有一个非常大的区别就在于,不同的用户所用到的数据也截然不同。因此在生成式AI方面所谓的差异化,最直观的体现就是这些数据。为了帮助客户更好地实现这种差异化,亚马逊云科技在Amazon Bedrock产品线中引入了一系列的功能。

Amazon Bedrock Data Automation:帮助客户将大量非结构化数据,包括文本、图像、声音、视频等不同的非结构化数据放在一个统一的API力,让客户能够更加方便地将这些非结构化数据直接用于生成式AI应用的开发,譬如构建智能文档处理、媒体分析和其他以多模态数据为中心的自动化解决方案。

Amazon Bedrock prompt caching:AI提示可能是重复性的,该功能可以帮助客户节省重复提交相同提示的成本,通过自动缓存重复提示,能够降低90%的成本,还可以减少85%的延迟。

Amazon Bedrock Knowledge Bases:新增了对结构化多模态数据以及GraphRAG的支持,更有助于提高模型输出质量和减少模型幻觉,进一步拓展了客户利用自身数据提供定制化生成式AI体验的途径。

四、信任

随着生成型AI持续不断地推动技术创新和行业变革,负责任的人工智能也变得越来越重要。亚马逊云科技相信,人工智能的长期成功,取决于它是否能够激发用户、客户和社会之间的信任。这一信念也是亚马逊云科技长期致力于负责任地建立和使用人工智能的核心。

负责任的人工智能超越了减轻风险和调整相关标准和条例的范围,通过主动建立信任和释放人工智能的潜力来推动商业价值。负责任的人工智能使得企业组织能够大胆创新,提高效率,实现变革性的业务成果。

信任是采用人工智能的基石,在本届re:Invent上,亚马逊云科技兴奋地宣布推出负责任的AI工具、功能和资源,以提高生成式AI服务和模型的安全性、安全性和透明度,帮助客户开启负责任的人工智能之旅。以Amazon Bedrock Guardrails为例,该功能提供了行业领先的安全保护,在基础模型提供的本地保护之上阻断了85%的有害内容,并通过上下文检查和自动推理检查过滤了75%以上的模型幻觉,这也使得亚马逊云科技成为了第一家也是唯一一家在生成型AI产品中集成自动推理的主要云供应商。

“亚马逊云科技致力于促进对AI的信任,并授权各种规模的组织有效和负责任地建立和使用AI。我们对本周在re:Invent上宣布的负责任的人工智能创新感到兴奋。从Amazon Bedrock Guardrails的新的保障和评估技术,到最先进的Amazon Nova系列,再到通过ISO/ICI 42001认证和新的亚马逊云科技AI服务卡,有了更多的工具、资源和内置的保护,才能帮助客户负责任地创新,用生成型AI释放更多价值。”Baskar Sridharan表示。

趣味科技v 资深媒体人彭承文和他的小伙伴们耕耘打理的科技自媒体,传播趣味文章,八卦前卫科技,年度十大媒体人,十佳科技自媒体,美通社媒体传播专家,2018平昌冬奥会火炬手.
评论 (0)
  •   有效样本分析决策系统平台全面解析   一、引言   北京华盛恒辉有效样本分析决策系统在当今数据驱动的时代,企业、科研机构等面临着海量数据的处理与分析挑战。有效样本分析决策系统平台应运而生,它通过对样本数据的精准分析,为决策提供有力支持,成为提升决策质量和效率的关键工具。   应用案例   目前,已有多个有效样本分析决策系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润有效样本分析决策系统。这些成功案例为有效样本分析决策系统的推广和应用提供了有力支持。   二、平台概述
    华盛恒辉l58ll334744 2025-04-24 11:13 114浏览
  •   电磁频谱数据综合管理平台系统解析   一、系统定义与目标   北京华盛恒辉电磁频谱数据综合管理平台融合无线传感器、软件定义电台等前沿技术,是实现无线电频谱资源全流程管理的复杂系统。其核心目标包括:优化频谱资源配置,满足多元通信需求;运用动态管理与频谱共享技术,提升资源利用效率;强化频谱安全监管,杜绝非法占用与干扰;为电子战提供频谱监测分析支持,辅助作战决策。   应用案例   目前,已有多个电磁频谱数据综合管理平台在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润电磁频谱数
    华盛恒辉l58ll334744 2025-04-23 16:27 209浏览
  •   航空兵训练与战术对抗仿真平台系统解析   北京华盛恒辉航空兵训练与战术对抗仿真平台系统是现代军事训练的关键工具,借助计算机技术构建虚拟战场,支持多兵种协同作战模拟,为军事决策、训练及装备研发提供科学依据。   应用案例   目前,已有多个航空兵训练与战术对抗仿真平台在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润航空兵训练与战术对抗仿真平台。这些成功案例为航空兵训练与战术对抗仿真平台的推广和应用提供了有力支持。   一、系统架构与核心功能   系统由模拟器、计算机兵力生
    华盛恒辉l58ll334744 2025-04-24 16:34 134浏览
  •   高海拔区域勤务与装备保障调度系统平台解析   北京华盛恒辉高海拔区域勤务与装备保障调度系统平台专为高海拔特殊地理环境打造,致力于攻克装备适应、人员健康保障、物资运输及应急响应等难题。以下从核心功能、技术特点、应用场景及发展趋势展开全面解读。   应用案例   目前,已有多个高海拔区域勤务与装备保障调度系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润高海拔区域勤务与装备保障调度系统。这些成功案例为高海拔区域勤务与装备保障调度系统的推广和应用提供了有力支持。   一、核心
    华盛恒辉l58ll334744 2025-04-24 10:13 116浏览
  •   后勤实验仿真系统平台深度解析   北京华盛恒辉后勤实验仿真系统平台依托计算机仿真技术,是对后勤保障全流程进行模拟、分析与优化的综合性工具。通过搭建虚拟场景,模拟资源调配、物资运输等环节,为后勤决策提供数据支撑,广泛应用于军事、应急管理等领域。   应用案例   目前,已有多个后勤实验仿真系统平台在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润后勤实验仿真系统平台。这些成功案例为后勤实验仿真系统平台的推广和应用提供了有力支持。   一、核心功能   (一)后勤资源模拟
    华盛恒辉l58ll334744 2025-04-23 15:39 187浏览
  •   通用装备论证与评估系统平台解析   北京华盛恒辉通用装备论证与评估系统平台是服务军事装备全生命周期管理的综合性信息化平台,通过科学化、系统化手段,实现装备需求论证、效能分析等核心功能,提升装备建设效益。   应用案例   目前,已有多个通用装备论证与评估系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润通用装备论证与评估系统。这些成功案例为通用装备论证与评估系统的推广和应用提供了有力支持。   一、系统分层架构   (一)数据层   整合装备性能、作战、试验等多源异
    华盛恒辉l58ll334744 2025-04-24 16:14 125浏览
  •   陆地装备体系论证与评估综合平台系统解析   北京华盛恒辉陆地装备体系论证与评估综合平台系统是契合现代军事需求而生的专业系统,借助科学化、智能化手段,实现对陆地装备体系的全方位论证与评估,为军事决策和装备发展提供关键支撑。以下从功能、技术、应用及展望展开分析。   应用案例   目前,已有多个陆地装备体系论证与评估综合平台在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润陆地装备体系论证与评估综合平台。这些成功案例为陆地装备体系论证与评估综合平台的推广和应用提供了有力支持。
    华盛恒辉l58ll334744 2025-04-24 10:53 123浏览
  •   海上训练与保障调度指挥平台系统解析   北京华盛恒辉海上训练与保障调度指挥平台系统是现代海上作战训练的核心枢纽,融合信息技术、GIS、大数据及 AI 等前沿技术,旨在实现海上训练高效组织、作战保障科学决策。以下从架构功能、应用场景、系统优势及发展挑战展开解读。   应用案例   目前,已有多个海上训练与保障调度指挥平台在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润海上训练与保障调度指挥平台。这些成功案例为海上训练与保障调度指挥平台的推广和应用提供了有力支持。   一
    华盛恒辉l58ll334744 2025-04-24 15:26 125浏览
  • 前言本文主要演示基于TL3576-MiniEVM评估板HDMI OUT、DP 1.4和MIPI的多屏同显、异显方案,适用开发环境如下。Windows开发环境:Windows 7 64bit、Windows 10 64bitLinux开发环境:VMware16.2.5、Ubuntu22.04.5 64bitU-Boot:U-Boot-2017.09Kernel:Linux-6.1.115LinuxSDK:LinuxSDK-[版本号](基于rk3576_linux6.1_release_v
    Tronlong 2025-04-23 13:59 146浏览
  •   无人机结构仿真与部件拆解分析系统平台解析   北京华盛恒辉无人机结构仿真与部件拆解分析系统无人机技术快速发展的当下,结构仿真与部件拆解分析系统平台成为无人机研发测试的核心工具,在优化设计、提升性能、降低成本等方面发挥关键作用。以下从功能、架构、应用、优势及趋势展开解析。   应用案例   目前,已有多个无人机结构仿真与部件拆解分析系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润无人机结构仿真与部件拆解分析系统。这些成功案例为无人机结构仿真与部件拆解分析系统的推广和应用提
    华盛恒辉l58ll334744 2025-04-23 15:00 215浏览
  • 故障现象一辆2016款奔驰C200L车,搭载274 920发动机,累计行驶里程约为13万km。该车组合仪表上的防侧滑故障灯、转向助力故障灯、安全气囊故障灯等偶尔异常点亮,且此时将挡位置于R挡,中控显示屏提示“后视摄像头不可用”,无法显示倒车影像。 故障诊断用故障检测仪检测,发现多个控制单元中均存储有通信类故障代码(图1),其中故障代码“U015587 与仪表盘的通信存在故障。信息缺失”出现的频次较高。 图1 存储的故障代码1而组合仪表中存储有故障代码“U006488 与用户界
    虹科Pico汽车示波器 2025-04-23 11:22 112浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦