大模型重构网络安全战场,未来是AI对抗AI的时代

WitDisplay 2025-04-07 19:51

2025年3月28日,由DTinsight中国数智发展研究中心主办,珠峰AI、TGO20组、DT千川汇作为智库支持,以“探索未至之境”为主题的第二届AI大模型企业落地应用场景创新峰会主论坛在上海闭幕。腾讯云安全总经理李滨受邀出席了主论坛,并进行了题为《攻防对抗升级:大模型如何重构网络安全战场》的主题演讲。

腾讯云安全总经理 李滨

“未来是AI对抗AI的时代,靠人工去对抗手中拥有大量科研工具的黑客,显然是不现实的。”李滨表示,AI和大模型带来了攻防双方的全面升级,要应对大模型伴生的安全问题,企业需要从组织架构、技术储备等各个方面调整策略,以应对挑战,“我们需要建立一个和AI共生的安全体系。”

作为网络安全领军企业,腾讯安全也一直致力于推进大模型前沿安全研究,完善大模型在基础设施、应用层面的各种安全治理机制,推出各种高性能产品帮助企业应对AI时代的安全风险,并联合CSA云安全联盟大中华区、OWASP中国等权威机构推动大模型相关安全标准的落地。

大模型应用加速 安全攻防全面升级

伴随Deepseek带来的深度推理的突破,企业应用AI的热情高涨,大模型正在加速渗透进各行各业,为解决产业痛点带来了全新的思路,但在安全从业者看来,这也意味着巨大的安全挑战。

“人工智能技术的普遍应用,实现了物理世界和数字世界的广泛连接,也打破了传统的数字安全的边界。”李滨表示,传统的数字安全普遍是在IT系统之内,发生安全事故的后果主要是系统宕机、服务瘫痪,但是在AI时代,物理世界和数字世界高度融合,信息安全事故可能会蔓延到物理世界中,造成更大面积的影响。

此外,大模型还将带来几方面的安全挑战,一是大模型赋能于攻击侧,李滨举例,人工智能应用于攻击代码和工具编写等环节之后,攻击者进行漏洞利用的速度比2年之前提升了10倍以上,另外在一些常用的攻击手段上,例如钓鱼邮件、自动化代码攻击方面的效率也有巨大的飞跃;二是大模型本体的安全问题,模型本体的安全缺陷,以及部署和应用过程中不当的安全配置,都有可能引入安全风险,包括AI幻觉、违规内容、虚假信息、偏见歧视、隐私泄露、大模型恶意滥用等。

但是,作为一把“双刃剑”,大模型同时也赋能于防御侧,带来攻防双方的动态平衡。例如,大模型极大地提升了安全管理和事件响应处置的效率,例如过去5年以来互联网上出现的安全事件中,约有20%都是由各类安全权限配不当引起的,通过大模型的赋能,企业可以实现更优化的安全策略管理;例如在告警分析上,企业的安全设备每天会产生海量告警,其中只有少数是真正的威胁,过去在这些告警分析上企业需要消耗大量人力,而大模型可以通过各类安全和专用的模型去对这类的数据进行分析,快速发现已知和未知的安全风险。

李滨认为,大模型目前还处在初期时代,未来随着大模型逐步释放出更大的生产力,会应用在越来越多的地方,我们也需要有相应的策略去应对安全问题和风险,需要建立和AI共生的安全体系。

从技术到组织体系全面升级 构建AI时代的动态安全生态

大模型深入企业业务流程,它的安全问题不只是某个局部的安全对抗,而涉及整个安全体系的升级。李滨认为,需要从技术层、管理层、合规层和伦理层四个层面构建AI时代的动态安全生态。

腾讯拥有自研大模型混元,并通过腾讯云向企业客户提供大模型部署需要的基础设施和云计算相关服务,同时腾讯也拥有面向C端用户的大模型应用“元宝”。可以说,腾讯在大模型的应用覆盖了从底层技术研究、企业服务到终端应用的全链路的解决方案。依托于腾讯在大模型上的“全局视角”,腾讯安全建立了一套系统性的框架,对整个人工智能以及大模型的安全进行完备的风险分析,通过业务流和技术栈两个维度,来分析人工智能在本体安全、运行环境和基础设施,应用环境中和应用环境周边发生的一些风险缺陷。

在风险控制框架之下,腾讯也建立了大模型相关整体安全治理架构,从数据采集、模型训练、代理部署到业务应用的全流程,均满足监管要求,为企业提供安全、可控、可靠的服务。

数据安全是企业应用大模型服务的一个“痛点”,对数据安全的担忧直接影响了企业决定采取哪个模型本体、哪种部署方式。为了帮助企业解决这个问题,腾讯云也推出了跨模型数据安全和隐私保护框架,该框架覆盖了数据采集的合规性以及数据基础的保护,数据的分类、分级评估和治理,数据在训练和推理过程中的安全保护机制,以及数据输入输出环节中的保障机制的建立,覆盖了大模型从采集、部署、训练、推理的全流程链条。

李滨重点提出,在内容输入和输出环节,由于样本劫持、数据投毒或者模型本身的幻觉等原因,大模型可能会生成有风险的内容,而腾讯天御基于多年内容安全的能力,能帮助企业进行大模型应对这一安全隐患。

在攻防对抗与情报方面,腾讯云建立了大模型安全Red   Team对抗机制,以腾讯的安全专家能力为基础,建立针对大模型的安全测试方法,主动发现大模型及生态存在的风险,并依托这些安全研究成果,研发了专门针对大模型进行安全保护的大模型安全态势感知系统AI-SPM和大模型智能安全网关LLM-WAF,为企业大模型应用进行全生命周期保障护航。

此外,腾讯也积极参与大模型相关标准的制定工作。去月,世界数字技术院(WDTA)发布了一系列突破性成果,包括《生成式人工智能应用安全测试标准》和《大语言模型安全测试方法》两项国际标准,这是国际组织首次就大模型安全领域发布国际标准,腾讯也是这两项标准的起草单位之一。腾讯云还积极和CSA云安全联盟大中华区在人工智能方向合作研究大模型安全评估方法,并参与《大模型供应链安全要求》标准审核工作。(新闻晨报)

AI交流群
图片

WitDisplay 智慧显示(Wit Display)由资深科技媒体人创立,跟踪全球显示产业链、AIoT产业最新动态.
评论 (0)
  •   后勤实验仿真系统平台深度解析   北京华盛恒辉后勤实验仿真系统平台依托计算机仿真技术,是对后勤保障全流程进行模拟、分析与优化的综合性工具。通过搭建虚拟场景,模拟资源调配、物资运输等环节,为后勤决策提供数据支撑,广泛应用于军事、应急管理等领域。   应用案例   目前,已有多个后勤实验仿真系统平台在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润后勤实验仿真系统平台。这些成功案例为后勤实验仿真系统平台的推广和应用提供了有力支持。   一、核心功能   (一)后勤资源模拟
    华盛恒辉l58ll334744 2025-04-23 15:39 180浏览
  •   有效样本分析决策系统平台全面解析   一、引言   北京华盛恒辉有效样本分析决策系统在当今数据驱动的时代,企业、科研机构等面临着海量数据的处理与分析挑战。有效样本分析决策系统平台应运而生,它通过对样本数据的精准分析,为决策提供有力支持,成为提升决策质量和效率的关键工具。   应用案例   目前,已有多个有效样本分析决策系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润有效样本分析决策系统。这些成功案例为有效样本分析决策系统的推广和应用提供了有力支持。   二、平台概述
    华盛恒辉l58ll334744 2025-04-24 11:13 102浏览
  •   电磁频谱数据综合管理平台系统解析   一、系统定义与目标   北京华盛恒辉电磁频谱数据综合管理平台融合无线传感器、软件定义电台等前沿技术,是实现无线电频谱资源全流程管理的复杂系统。其核心目标包括:优化频谱资源配置,满足多元通信需求;运用动态管理与频谱共享技术,提升资源利用效率;强化频谱安全监管,杜绝非法占用与干扰;为电子战提供频谱监测分析支持,辅助作战决策。   应用案例   目前,已有多个电磁频谱数据综合管理平台在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润电磁频谱数
    华盛恒辉l58ll334744 2025-04-23 16:27 199浏览
  •   陆地边防事件紧急处置系统平台解析   北京华盛恒辉陆地边防事件紧急处置系统平台是整合监测、预警、指挥等功能的智能化综合系统,致力于增强边防安全管控能力,快速响应各类突发事件。以下从系统架构、核心功能、技术支撑、应用场景及发展趋势展开全面解读。   应用案例   目前,已有多个陆地边防事件紧急处置系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润陆地边防事件紧急处置系统。这些成功案例为陆地边防事件紧急处置系统的推广和应用提供了有力支持。   一、系统架构   感知层:部
    华盛恒辉l58ll334744 2025-04-23 11:22 128浏览
  •   陆地装备体系论证与评估综合平台系统解析   北京华盛恒辉陆地装备体系论证与评估综合平台系统是契合现代军事需求而生的专业系统,借助科学化、智能化手段,实现对陆地装备体系的全方位论证与评估,为军事决策和装备发展提供关键支撑。以下从功能、技术、应用及展望展开分析。   应用案例   目前,已有多个陆地装备体系论证与评估综合平台在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润陆地装备体系论证与评估综合平台。这些成功案例为陆地装备体系论证与评估综合平台的推广和应用提供了有力支持。
    华盛恒辉l58ll334744 2025-04-24 10:53 113浏览
  •   海上训练与保障调度指挥平台系统解析   北京华盛恒辉海上训练与保障调度指挥平台系统是现代海上作战训练的核心枢纽,融合信息技术、GIS、大数据及 AI 等前沿技术,旨在实现海上训练高效组织、作战保障科学决策。以下从架构功能、应用场景、系统优势及发展挑战展开解读。   应用案例   目前,已有多个海上训练与保障调度指挥平台在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润海上训练与保障调度指挥平台。这些成功案例为海上训练与保障调度指挥平台的推广和应用提供了有力支持。   一
    华盛恒辉l58ll334744 2025-04-24 15:26 109浏览
  •   航空兵训练与战术对抗仿真平台系统解析   北京华盛恒辉航空兵训练与战术对抗仿真平台系统是现代军事训练的关键工具,借助计算机技术构建虚拟战场,支持多兵种协同作战模拟,为军事决策、训练及装备研发提供科学依据。   应用案例   目前,已有多个航空兵训练与战术对抗仿真平台在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润航空兵训练与战术对抗仿真平台。这些成功案例为航空兵训练与战术对抗仿真平台的推广和应用提供了有力支持。   一、系统架构与核心功能   系统由模拟器、计算机兵力生
    华盛恒辉l58ll334744 2025-04-24 16:34 124浏览
  •   无人机结构仿真与部件拆解分析系统平台解析   北京华盛恒辉无人机结构仿真与部件拆解分析系统无人机技术快速发展的当下,结构仿真与部件拆解分析系统平台成为无人机研发测试的核心工具,在优化设计、提升性能、降低成本等方面发挥关键作用。以下从功能、架构、应用、优势及趋势展开解析。   应用案例   目前,已有多个无人机结构仿真与部件拆解分析系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润无人机结构仿真与部件拆解分析系统。这些成功案例为无人机结构仿真与部件拆解分析系统的推广和应用提
    华盛恒辉l58ll334744 2025-04-23 15:00 212浏览
  • 前言本文主要演示基于TL3576-MiniEVM评估板HDMI OUT、DP 1.4和MIPI的多屏同显、异显方案,适用开发环境如下。Windows开发环境:Windows 7 64bit、Windows 10 64bitLinux开发环境:VMware16.2.5、Ubuntu22.04.5 64bitU-Boot:U-Boot-2017.09Kernel:Linux-6.1.115LinuxSDK:LinuxSDK-[版本号](基于rk3576_linux6.1_release_v
    Tronlong 2025-04-23 13:59 146浏览
  • 故障现象一辆2016款奔驰C200L车,搭载274 920发动机,累计行驶里程约为13万km。该车组合仪表上的防侧滑故障灯、转向助力故障灯、安全气囊故障灯等偶尔异常点亮,且此时将挡位置于R挡,中控显示屏提示“后视摄像头不可用”,无法显示倒车影像。 故障诊断用故障检测仪检测,发现多个控制单元中均存储有通信类故障代码(图1),其中故障代码“U015587 与仪表盘的通信存在故障。信息缺失”出现的频次较高。 图1 存储的故障代码1而组合仪表中存储有故障代码“U006488 与用户界
    虹科Pico汽车示波器 2025-04-23 11:22 112浏览
  •   通用装备论证与评估系统平台解析   北京华盛恒辉通用装备论证与评估系统平台是服务军事装备全生命周期管理的综合性信息化平台,通过科学化、系统化手段,实现装备需求论证、效能分析等核心功能,提升装备建设效益。   应用案例   目前,已有多个通用装备论证与评估系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润通用装备论证与评估系统。这些成功案例为通用装备论证与评估系统的推广和应用提供了有力支持。   一、系统分层架构   (一)数据层   整合装备性能、作战、试验等多源异
    华盛恒辉l58ll334744 2025-04-24 16:14 115浏览
  •   高海拔区域勤务与装备保障调度系统平台解析   北京华盛恒辉高海拔区域勤务与装备保障调度系统平台专为高海拔特殊地理环境打造,致力于攻克装备适应、人员健康保障、物资运输及应急响应等难题。以下从核心功能、技术特点、应用场景及发展趋势展开全面解读。   应用案例   目前,已有多个高海拔区域勤务与装备保障调度系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润高海拔区域勤务与装备保障调度系统。这些成功案例为高海拔区域勤务与装备保障调度系统的推广和应用提供了有力支持。   一、核心
    华盛恒辉l58ll334744 2025-04-24 10:13 107浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦