轻松进行动态图异常检测,南洋理工提出GeneralDyG

OpenCV学堂 2025-01-05 20:54

点击上方↑↑↑OpenCV学堂”关注我

来源:公众号 机器之心 授权


此项研究成果已被 AAAI 2025 录用。该论文的第一作者是南洋理工大学计算与数据科学学院 (CCDS) 的硕士生杨潇,师从苗春燕教授,主要研究方向是图神经网络。该论文的通讯作者为南洋理工大学百合研究中心的瓦伦堡 - 南洋理工大学校长博士后研究员赵雪娇;申志奇,南洋理工大学计算与数据科学学院高级讲师,高级研究员。



  • 论文标题:A Generalizable Anomaly Detection Method in Dynamic Graphs

  • 论文链接:https://arxiv.org/abs/2412.16447

  • 代码:https://github.com/YXNTU/GeneralDyG


研究背景与问题描述


随着动态图数据的广泛应用,它在社交网络、电商和网络安全等领域展现了强大的建模能力。然而,与静态图相比,动态图因节点和边的动态演变特性,给数据分析带来了更大的挑战,尤其是在异常检测方面。异常检测是保障系统安全和数据完整性的关键任务,旨在识别显著偏离正常模式的异常事件,例如欺诈交易、社交媒体垃圾信息和网络入侵等。及时发现这些异常对系统的可靠性和安全性至关重要。


基于深度学习的动态图异常检测方法已取得一定进展,例如利用图神经网络提取结构信息或通过时序模型捕获时间依赖性。然而,这些方法在通用性方面仍存在显著不足。具体而言,它们通常难以适应不同的数据集和任务场景,难以高效捕获动态图中局部与全局的复杂特征。此外,一些方法在处理大规模动态图时计算成本较高,异常事件的编码也不够准确,导致在新场景中的检测性能显著下降。


方法设计


本文针对动态图异常检测中的数据分布多样、动态特征捕捉困难以及计算成本高三大挑战,提出了一种通用方法(GeneralDyg)。首先,为应对数据分布多样问题,我们提取节点、边及其拓扑结构的关键信息,从而适应不同数据集的复杂特征分布。其次,为解决动态特征捕捉的难题,我们结合全局时间动态和局部结构变化,深入建模动态图中的多尺度动态模式。最后,为降低计算成本,我们构建了一种轻量化框架,能够高效捕获关键动态特征,同时显著提升计算效率。


如图 1 所示,本文方法由三部分组成,每部分针对上述挑战提供了解决方案:


(a)时间 ego-graph 采样模块,通过构建紧凑的子图结构有效应对计算资源限制;(b)图神经网络提取模块,全面捕获动态图的节点与边的多样性和复杂结构;(c)时间感知 Transformer 模块,有效融合全局和局部动态特征。

 

图 1 :动态图异常检测框架 GeneralDyG 的整体架构


(a)时间 ego-graph 采样模块旨在通过构建紧凑的子图结构有效缓解动态图大规模数据带来的计算压力。具体来说,该模块基于中心事件,通过 k-hop 算法提取其周围交互历史,构成时间 ego-graph。k-hop 算法的设计考虑了事件间的时间顺序与拓扑关系,确保采样过程兼顾时间动态与结构特性。此外,为了捕捉事件之间的层级关系,该模块引入了特殊标记(如层级标记符号)来分隔不同层次的交互信息。这些标记能够帮助 Transformer 模块更好地识别与学习时间序列中的层级动态。此外,该模块还通过限制 k 的范围来控制采样的规模,从而在信息完整性与计算效率之间取得平衡。这样的设计在保留动态结构信息的同时,显著降低了计算复杂度。


(b)在时间 ego-graph 的基础上,本文设计了一种新的图神经网络(TensGNN)来提取丰富的结构信息。TensGNN 通过交替应用节点层和边层来实现特征信息的传播与更新,从而在节点特征和边特征之间构建强关联。具体而言,节点层利用节点的邻接矩阵和特定拉普拉斯矩阵进行卷积运算,同时结合边的特征更新节点表示。相应地,边层则基于边的邻接关系和节点的状态更新边的特征表示。这种交替堆叠的方式能够更好地捕捉动态图中的局部与全局特性。此外,该模块引入了轻量化的算子,避免了冗余计算,在大规模数据集上也能保持较高的计算效率。


(c)时间感知 Transformer 模块:最后,GeneralDyG 通过时间感知 Transformer 模块整合时间序列和结构特征。在自注意力机制中,模型分别利用 Query 和 Key 编码图的拓扑结构信息,而将 Value 保留为原始事件特征,以确保异常检测的准确性。通过这一模块,模型能够有效捕获动态图中全局的时间依赖性和局部的动态变化,从而实现对复杂异常模式的准确建模。


实验验证

本文在节点级别(node level)和边级别(edge level)两个层面上进行了实验评估,使用了四个真实数据集:SWaT 和 WADI 用于节点级别异常检测,Bitcoin-Alpha 和 Bitcoin-OTC 用于边级别异常检测。


我们将 GeneralDyG 与 20 种主流基线方法进行对比,这些基线方法涵盖了图嵌入(如 node2vec、DeepWalk)和异常检测(如 TADDY、SAD、GDN)两大类别。实验通过 AUC、AP 和 F1 等指标全面评估模型性能,并在不同异常比例(1%、5%、10%)下进行了系统性测试。结果表明,GeneralDyG 在所有数据集上均显著优于现有方法,展现了卓越的通用性与检测能力,如图 2 所示。


图 2 Bitcoin-Alpha 和 Bitcoin-OTC 数据集上的边异常检测性能对比。


总结


总的来说,我们提出了一种通用的动态图上异常检测方法 GeneralDyg,解决数据分布多样、动态特征捕获难和计算成本高三大核心问题,GeneralDyG 展现了卓越的通用性和鲁棒性,为动态图异常检测提供了一种高效且通用的解决方案。详细方法流程以及实验结果请参考原文。


OpenCV4系统化学习


深度学习系统化学习

推荐阅读

OpenCV4.8+YOLOv8对象检测C++推理演示

ZXING+OpenCV打造开源条码检测应用

攻略 | 学习深度学习只需要三个月的好方法

三行代码实现 TensorRT8.6 C++ 深度学习模型部署

实战 | YOLOv8+OpenCV 实现DM码定位检测与解析

对象检测边界框损失 – 从IOU到ProbIOU

初学者必看 | 学习深度学习的五个误区


OpenCV学堂 专注计算机视觉开发技术分享,技术框架使用,包括OpenCV,Tensorflow,Pytorch教程与案例,相关算法详解,最新CV方向论文,硬核代码干货与代码案例详解!作者在CV工程化方面深度耕耘15年,感谢您的关注!
评论 (0)
  • 想不到短短几年时间,华为就从“技术封锁”的持久战中突围,成功将“被卡脖子”困境扭转为科技主权的主动争夺战。众所周知,前几年技术霸权国家突然对华为发难,导致芯片供应链被强行掐断,海外市场阵地接连失守,恶意舆论如汹涌潮水,让其瞬间陷入了前所未有的困境。而最近财报显示,华为已经渡过危险期,甚至开始反击。2024年财报数据显示,华为实现全球销售收入8621亿元人民币,净利润626亿元人民币;经营活动现金流为884.17亿元,同比增长26.7%。对比来看,2024年营收同比增长22.42%,2023年为7
    用户1742991715177 2025-05-02 18:40 153浏览
  • 浪潮之上:智能时代的觉醒    近日参加了一场课题的答辩,这是医疗人工智能揭榜挂帅的国家项目的地区考场,参与者众多,围绕着医疗健康的主题,八仙过海各显神通,百花齐放。   中国大地正在发生着激动人心的场景:深圳前海深港人工智能算力中心高速运转的液冷服务器,武汉马路上自动驾驶出租车穿行的智慧道路,机器人参与北京的马拉松竞赛。从中央到地方,人工智能相关政策和消息如雨后春笋般不断出台,数字中国的建设图景正在智能浪潮中徐徐展开,战略布局如同围棋
    广州铁金刚 2025-04-30 15:24 323浏览
  • 多功能电锅长什么样子,主视图如下图所示。侧视图如下图所示。型号JZ-18A,额定功率600W,额定电压220V,产自潮州市潮安区彩塘镇精致电子配件厂,铭牌如下图所示。有两颗螺丝固定底盖,找到合适的工具,拆开底盖如下图所示。可见和大部分市场的加热锅一样的工作原理,手绘原理图,根据原理图进一步理解和分析。F1为保险,250V/10A,185℃,CPGXLD 250V10A TF185℃ RY 是一款温度保险丝,额定电压是250V,额定电流是10A,动作温度是185℃。CPGXLD是温度保险丝电器元件
    liweicheng 2025-05-05 18:36 164浏览
  • 5小时自学修好BIOS卡住问题  更换硬盘故障现象:f2、f12均失效,只有ESC和开关机键可用。错误页面:经过AI的故障截图询问,确定是机体内灰尘太多,和硬盘损坏造成,开机卡在BIOS。经过亲手拆螺丝和壳体、排线,跟换了新的2.5寸硬盘,故障排除。理论依据:以下是针对“5小时自学修好BIOS卡住问题+更换硬盘”的综合性解决方案,结合硬件操作和BIOS设置调整,分步骤说明:一、判断BIOS卡住的原因1. 初步排查     拔掉多余硬件:断开所有外接设备(如
    丙丁先生 2025-05-04 09:14 62浏览
  • 文/Leon编辑/cc孙聪颖‍2023年,厨电行业在相对平稳的市场环境中迎来温和复苏,看似为行业增长积蓄势能。带着对市场向好的预期,2024 年初,老板电器副董事长兼总经理任富佳为企业定下双位数增长目标。然而现实与预期相悖,过去一年,这家老牌厨电企业不仅未能达成业绩目标,曾提出的“三年再造一个老板电器”愿景,也因市场下行压力面临落空风险。作为“企二代”管理者,任富佳在掌舵企业穿越市场周期的过程中,正面临着前所未有的挑战。4月29日,老板电器(002508.SZ)发布了2024年年度报告及2025
    华尔街科技眼 2025-04-30 12:40 326浏览
  •  一、‌核心降温原理‌1、‌液氮媒介作用‌液氮恒温器以液氮(沸点约77K/-196℃)为降温媒介,通过液氮蒸发吸收热量的特性实现快速降温。液氮在内部腔体蒸发时形成气-液界面,利用毛细管路将冷媒导入蒸发器,强化热交换效率。2、‌稳态气泡控温‌采用‌稳态气泡原理‌:调节锥形气塞与冷指间隙,控制气-液界面成核沸腾条件,使漏热稳定在设定值。通过控温仪调整加热功率,补偿漏热并维持温度平衡,实现80K-600K范围的快速变温。二、‌温度控制机制‌1、‌动态平衡调节‌控温仪内置模糊控制系统,通过温度
    锦正茂科技 2025-04-30 11:31 68浏览
  • 某国产固态电解的2次和3次谐波失真相当好,值得一试。(仅供参考)现在国产固态电解的性能跟上来了,值得一试。当然不是随便搞低端的那种。电容器对音质的影响_电子基础-面包板社区  https://mbb.eet-china.com/forum/topic/150182_1_1.html (右键复制链接打开)电容器对音质的影响相当大。电容器在音频系统中的角色不可忽视,它们能够调整系统增益、提供合适的偏置、抑制电源噪声并隔离直流成分。然而,在便携式设备中,由于空间、成本的限
    bruce小肥羊 2025-05-04 18:14 84浏览
  • 这款无线入耳式蓝牙耳机是长这个样子的,如下图。侧面特写,如下图。充电接口来个特写,用的是卡座卡在PCB板子上的,上下夹紧PCB的正负极,如下图。撬开耳机喇叭盖子,如下图。精致的喇叭(HY),如下图。喇叭是由电学产生声学的,具体结构如下图。电池包(AFS 451012  21 12),用黄色耐高温胶带进行包裹(安规需求),加强隔离绝缘的,如下图。451012是电池包的型号,聚合物锂电池+3.7V 35mAh,详细如下图。电路板是怎么拿出来的呢,剪断喇叭和电池包的连接线,底部抽出PCB板子
    liweicheng 2025-05-06 22:58 96浏览
  • ‌一、高斯计的正确选择‌1、‌明确测量需求‌‌磁场类型‌:区分直流或交流磁场,选择对应仪器(如交流高斯计需支持交变磁场测量)。‌量程范围‌:根据被测磁场强度选择覆盖范围,例如地球磁场(0.3–0.5 G)或工业磁体(数百至数千高斯)。‌精度与分辨率‌:高精度场景(如科研)需选择误差低于1%的仪器,分辨率需匹配微小磁场变化检测需求。2、‌仪器类型选择‌‌手持式‌:便携性强,适合现场快速检测;‌台式‌:精度更高,适用于实验室或工业环境。‌探头类型‌:‌横向/轴向探头‌:根据磁场方向选择,轴向探头适合
    锦正茂科技 2025-05-06 11:36 220浏览
  • 你是不是也有在公共场合被偷看手机或笔电的经验呢?科技时代下,不少现代人的各式机密数据都在手机、平板或是笔电等可携式的3C产品上处理,若是经常性地需要在公共场合使用,不管是工作上的机密文件,或是重要的个人信息等,民众都有防窃防盗意识,为了避免他人窥探内容,都会选择使用「防窥保护贴片」,以防止数据外泄。现今市面上「防窥保护贴」、「防窥片」、「屏幕防窥膜」等产品就是这种目的下产物 (以下简称防窥片)!防窥片功能与常见问题解析首先,防窥片最主要的功能就是用来防止他人窥视屏幕上的隐私信息,它是利用百叶窗的
    百佳泰测试实验室 2025-04-30 13:28 589浏览
  • 一、gao效冷却与控温机制‌1、‌冷媒流动设计‌采用低压液氮(或液氦)通过毛细管路导入蒸发器,蒸汽喷射至样品腔实现快速冷却,冷却效率高(室温至80K约20分钟,至4.2K约30分钟)。通过控温仪动态调节蒸发器加热功率,结合温度传感器(如PT100铂电阻或Cernox磁场不敏感传感器),实现±0.01K的高精度温度稳定性。2、‌宽温区覆盖与扩展性‌标准温区为80K-325K,通过降压选件可将下限延伸至65K(液氮模式)或4K(液氦模式)。可选配475K高温模块,满足材料在ji端温度下的性能测试需求
    锦正茂科技 2025-04-30 13:08 491浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦