无监督通用异常检测方法SEAD解析
在当今工业和在线应用中,实时识别数据流中的异常(罕见意外事件)至关重要。异常可能指向制造缺陷、系统故障或安全漏洞。传统基于机器学习的异常检测系统依赖标注数据进行监督训练,但在线场景中数据多样且分布持续变化,标注成本极高。此外,没有单一异常检测模型能适应所有数据类型。
在2025年ICML会议上,我们提出名为SEAD(流式异常检测集成)的解决方案。该方法通过集成多个异常检测模型,无需训练标注数据即可动态适配最佳模型。在15项任务测试中,SEAD以平均排名5.07(方差6.64)超越13种基线方法。
核心机制:奖励保守预测
SEAD基于"异常事件罕见"的洞见,为集成中的基础检测器分配权重时,优先选择异常分数输出较低的模型。由于不同检测器使用不同评分体系,SEAD通过历史分数分位数进行归一化处理。
权重更新采用专家系统中的经典乘法权重更新(MWU)机制:
- 初始化基础检测器权重
- 每轮更新时,新权重=旧权重×学习率与归一化异常分数的负指数乘积
- 归一化保证权重总和为1
持续输出高分的检测器将快速降低权重。
计算效率优化
针对集成方法计算开销大的问题,我们提出SEAD++变体:按权重概率随机采样子模型,实现约2倍加速且精度损失可控。实验显示,当向集成中添加13个随机评分模型时,SEAD准确率仅下降0.88%,证明其能有效过滤不可靠模型。
应用价值
SEAD通过实时选择最优模型,为流式数据异常检测树立新标准。其无监督、在线学习和动态适配特性,使其成为制造业监控、网络安全等场景的理想工具。
(架构图说明:SEAD通过MWU机制动态调整基础检测器权重,橙色曲线显示当某模型开始误报时,其权重被快速降低)
更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)
公众号二维码