被Gartner排在首位的技术趋势，将如何深刻影响网络安全？

谈思实验室 2024-10-24 17:54

【应用手册】TI 全新MCU及C29内核的电动汽车应用方案 构建AI未来，Arm计算平台无处不在

点击上方蓝字谈思实验室

获取更多汽车网络安全资讯

Gartner最近发布的2025十大战略技术趋势中，Agentic AI（代理型AI）被排在首位，凸显了Agentic AI 在提高生产力、优化资源配置和创新商业模式方面的巨大潜力。但Gartner同时也强调，Agentic AI 的发展需要强有力的保护措施，以确保与提供者和用户意图的一致性。

值得一提的是，同样看好Agentic AI前景的人工智能领域的领袖吴恩达也在提醒人们，要关注 Agentic AI 可能带来的伦理和社会影响，并呼吁各界共同努力，确保 AI 技术安全可控地发展。

Agentic AI 可能将深刻影响网络安全产业格局。网安人需要紧密关注Agentic AI 带来的网络安全发展趋势，未雨绸缪，决胜Agentic AI 驱动的网安未来。

为什么是Agentic AI？

吴恩达认为，Agentic AI 的出现是人工智能领域的一场重大变革，Agentic AI将从根本上改变我们与 AI 的交互方式，也将为人类社会带来巨大的价值。

Agentic AI 具有自主设定目标、做出决策和根据对复杂环境的理解采取行动的先进人工智能系统。它通过赋予AI系统更大的自主性、适应性和交互能力，使其能够在复杂多变的现实世界中发挥更大的作用。

与传统的AI系统不同，Agentic AI 不仅仅遵循预定义的规则，而是强调目标导向行为和连续学习能力。通过利用先进的机器学习算法、深度神经网络和复杂的感知机制，Agentic AI 能够在动态多变的真实世界中执行任务、优化决策并从经验中不断进化。

尽管当前Agentic AI 还未能自主给日常工作做出决策，但是Gartner 预测，到2028年，至少15%的日常工作决策将由Agentic AI 自主做出。从自动化的金融投资管理到个性化的医疗诊断，Agentic AI 将重塑各行各业的运作方式。事实上，作为实现Agentic AI目标的一种手段，AI Agent的应用已经非常广泛且成效显著，比如微软的Copilot。同时，很多AI Agent初创公司在各个细分领域探索创新应用，各具特色。

Agentic AI 的一个关键特征是自主性。与需要人工干预和监督的传统AI系统不同，Agentic AI 被设计为在最少人为参与的情况下独立运行。这种自主性使其能够在复杂的现实环境中持续运作，处理大量非结构化数据，并对意外事件做出实时响应。同时，Agentic AI 还具备自适应决策能力，能够根据反馈和环境变化动态调整策略，优化长期效益。

Agentic AI 另一个重要特点是出色的工作流管理能力。通过将复杂任务分解为一系列可执行的子任务，Agentic AI 能够自主协调和调度各个模块，实现高效、灵活的任务执行。这种分布式的工作流管理方式不仅提高了系统的鲁棒性和可扩展性，也为异构模块之间的协同提供了便利。

此外，Agentic AI 还拥有强大的自然语言理解和交互能力。借助先进的自然语言处理（NLP）技术，Agentic AI 能够准确理解人类的指令和意图，提供个性化的服务和支持。

随着算法的不断进步和硬件能力的提升，Agentic AI 有望在未来成为推动生产力提升和商业变革的关键力量。

Agentic AI 将带来怎样的风险？

尽管Agentic AI 为各行各业带来了巨大的机遇和效益，但它也引入了一系列新的安全风险和挑战。这些风险主要源于Agentic AI 高度自主、自适应的特性，以及其对海量数据的依赖。如果不加以适当的管控和防范，Agentic AI 可能被恶意利用、操纵，甚至做出危及人类安全和利益的决策。

Agentic AI 的自主决策能力可能带来意想不到的后果。

由于缺乏人工监管和干预，Agentic AI 可能基于有缺陷的数据、算法或价值观做出错误甚至有害的判断。早在2016年，微软聊天机器人Tay在上线不到24小时，就因为学习了大量充满偏见和仇恨言论的数据而被迫下线。这一事件在一定程度上预见了Agentic AI 在伦理道德方面的潜在缺陷和风险。

Agentic AI 通常需要访问和处理大量敏感数据，这引发了严重的数据隐私和安全问题。

arXiv 上的一篇论文指出，这种访问权限带来了重大风险，包括未经授权获取敏感信息、潜在利用系统漏洞以及滥用个人或机密数据。人工智能系统的复杂性加上其处理和分析大量数据的能力，增加了数据泄露或被侵犯的可能性，这可能是无意中发生的，也可能是通过对抗性操纵造成的。此外，Agentic AI可能获得更大的自主权，它们绕过或利用安全措施的能力成为一个日益严重的问题。

Agentic AI 还面临着被恶意操纵和利用的风险。

Agentic AI系统可能通过及时注入或数据中毒（Data Poisoning）等技术被劫持，从而允许恶意行为者操纵他们的决策过程。这可能会导致在没有人工监督的情况下自主采取有害操作。数据中毒攻击已经在多个领域被证实可行，包括自动驾驶、人脸识别等。一旦Agentic AI 被成功操纵，其自主性和连续学习能力可能被用于执行恶意活动，带来严重的网络安全隐患。

Agentic AI 的跨平台部署和互联互通也大大扩展了潜在的攻击面。

随着越来越多的AI代理被集成到关键基础设施、物联网设备和云服务中，网络攻击的切入点和传播路径也变得更加多样化。一旦某个节点被攻破，整个AI生态系统都可能受到牵连，导致大规模的系统瘫痪和数据泄露。

Agentic AI 带来了新的合规性挑战。

Agentic AI 的使用在遵守数据保护法规方面（例如我国的数据安全法、个人信息保护法及欧盟的GDPR）提出了重大挑战。确保这些系统遵守有关数据处理和用户同意的法律要求可能很复杂。

如何应对Agentic AI 风险？

面对Agentic AI 所带来的种种安全风险和挑战，组织和个人都需要采取积极主动的应对措施。这些措施涵盖了技术、管理、法律等多个层面，需要多方协同、持续改进，方能构建起全方位的防护体系。

建立健全的AI治理框架是应对Agentic AI 风险的关键一环。

组织需要制定明确的政策和规范，规定AI系统的开发、部署和监管流程，确保其在合法合规的前提下运行。同时，还要建立科技伦理委员会等专门机构，负责审核AI系统的决策过程和结果，确保其符合伦理道德和社会价值观。对于敏感领域和高风险应用，如医疗、金融等，还需要建立更为严格的准入门槛和监管机制。

持续的安全监测和审计是控制Agentic AI 风险的有效手段。

组织应该部署专门的安全监控工具，建立全面的监控系统，实时跟踪AI系统的运行状态、数据流向和决策过程，及时发现和响应异常行为。同时，还要定期开展全面的安全审计，评估AI系统的脆弱性、合规性和风险等级，并根据审计结果优化完善相关的安全控制措施。

采用先进的安全技术和架构也是提升Agentic AI 防御能力的重要途径。

这包括应用数据加密、访问控制、身份认证等基础安全措施，保护敏感数据和关键资源不被非法访问和窃取。同时，还可以利用区块链、联邦学习、差分隐私等新兴技术，在保护数据隐私的前提下，实现多方安全协作和价值交换。

人机协同，保留人类监督环（Human-in-the-Loop）是控制Agentic AI 风险的重要手段。

尽管Agentic AI 拥有高度自主性，在关键决策过程中保持人工介入和监督，以确保对主动型系统行为的问责和监督。通过设置合理的人机交互节点和审核机制，可以及时纠正AI系统的错误决策，防止其做出危及人类安全和利益的行为。这种人机协同的模式不仅提高了AI系统的可解释性和可控性，也为人类提供了必要的最终决策权。

提高全社会的AI安全意识和素养至关重要。

组织应该加强对员工的AI安全教育和培训，普及AI风险防范知识，提高员工的警惕性和应变能力。同时，政府和教育机构也应该加大力度，在全社会范围内推广AI伦理和安全教育，引导公众正确认识和使用AI技术，共同营造一个安全、健康、可信的AI生态环境。

Agentic AI 将如何改变网安格局

随着Agentic AI 技术的快速发展和广泛应用，网络安全的威胁形势可能将发生深刻变化。Agentic AI 所具有的自主性、适应性和大规模部署能力，不仅为网络攻防双方提供了新的工具和手段，也对传统的网络安全格局和趋势产生了重大影响。

Agentic AI 将大大提升网络攻击的智能化水平和破坏力。

传统的网络攻击通常依赖于预定义的规则和漏洞，其适应性和灵活性有限。但是，装备了Agentic AI 的攻击工具可以自主学习和进化，根据目标环境的特点动态调整攻击策略，甚至发现并利用零日漏洞。同时，大量自主攻击代理的协同作战，也将使网络攻击的规模和烈度空前提升，给防御方带来巨大压力。

Agentic AI 也为网络防御带来了新的机遇和挑战。

一方面，智能化的AI防御系统可以实时监测海量安全事件，自动化地识别和响应各类威胁，大幅提升防御的效率和精度。另一方面，AI防御系统也可能成为攻击者的重点目标。一旦防御系统被攻陷或误导，整个网络的安全将面临崩溃的危险。因此，如何确保AI防御系统自身的安全性和鲁棒性，成为网络安全领域的一大挑战。

Agentic AI 的大规模应用也极大地扩展了网络攻击面。

随着AI系统被广泛集成到各类终端设备、应用服务、云平台之中，网络攻击的潜在切入点和传播路径也变得更加多样化。特别是在物联网、工业控制、自动驾驶等领域，AI系统的安全漏洞可能直接危及人身和财产安全。这对传统的网络边界防护策略提出了严峻挑战，需要重新审视和设计全新的纵深防御架构。

Agentic AI 的决策不透明性也引发了新的安全隐患。

由于AI系统的判断过程通常难以解释和审计，一旦出现错误或失控，其影响范围和严重程度可能难以评估和控制。这不仅给企业的合规管理带来困扰，也为监管机构的执法工作增加了难度。因此，如何提高AI系统的可解释性、可审计性和可问责性，成为网络安全治理的重要课题。

Agentic AI 的发展也对网络安全人才提出了更高要求。

未来的安全专业人员不仅需要精通传统的攻防技术，还要具备AI算法、大数据分析、行为建模等前沿技能，能够深入理解AI系统的运作原理和安全风险。同时，网络安全团队也需要与AI开发团队紧密协作，在系统设计之初就融入安全和隐私保护理念，实现"内生安全"。

面对汹涌而来的Agentic AI 浪潮，企业和组织需要及时调整安全策略和防御架构，全面评估和应对AI带来的新风险和挑战。同时，产学研各界也要加强协作，在AI安全基础理论、关键技术、标准规范等方面取得突破，为网络空间的可信、可控发展提供坚实保障。只有这样，我们才能在享受AI红利的同时，构建起安全、健康、可持续的智能网络生态。

来源：安全牛

end