跳到主内容
快讯直播
AI智模界
AI 词典

异常值处理:先分清“脏数据”和“稀有事件”

一句话定义:异常值处理(outlier handling)是指在分析和建模之前,找出那些明显偏离整体分布的样本,再决定删除、修正、保留还是单独建模的过程。其中,识别只是第一步,如何处置才是难点。

异常值一般呈两种性质。第一种来自脏数据(dirty data):录入错误、单位错位、传感器故障、重复提交,比如身高字段填了 1700,就是把毫米当成了厘米。这类值不代表任何真实情况,删掉或修正是安全的。第二种来自稀有事件(rare event):信用卡盗刷、设备真实故障、大额退款、大促爆单。它们数值上同样“离群”,但恰恰是业务最想抓住的那部分。

打个比方:体检报告上某项指标超出参考范围,可能是化验单打错了,也可能是这个人确实生病了。医生不会看见箭头就划掉,而会复查、问诊、结合其他指标。异常值处理走的是同一套流程:先追来源,再判性质。

几个可操作的判断问题:

  • 这个值能追溯到具体来源吗?能对上真实订单号、真实日志的,倾向稀有事件。
  • 它与其他字段自洽吗?身高 1700、体重 60,多半是单位错。
  • 出现频率如何?在大量数据里稳定存在一小撮,往往是真实的长尾;孤零零一两个,多半是错。
  • 业务方能否解释?讲得出场景的,先别删。
脏数据稀有事件
本质记录失真真实但少见
处置修正或删除保留、加权或单独建模
误删代价几乎为零丢掉最有价值的信号

与相邻概念的区别:缺失值处理(missing value)应对“没有值”,异常值处理应对“有值但长得怪”;数据清洗(data cleaning)是更大的概念,异常值处理只是其中一步;异常检测(anomaly detection)把异常当作目标,比如风控、故障预警,而异常值处理是建模前的数据准备,异常在这里是需要先处理的数据问题。

方法层面,统计方法有 Z-score、四分位距(IQR)和箱线图,模型方法有孤立森林(Isolation Forest)、局部离群因子(LOF)等。但比方法更重要的是处置决策:直接删除会引入偏差,缩尾(Winsorize)、替换、分箱、单独建模往往更稳妥。

对从业者的实际意义是:一句“我把异常值删了”,背后可能是把最值钱的样本扔了。风控模型删掉欺诈样本、设备维护模型删掉真实故障、电商模型删掉爆单记录,模型会变得“干净但没用”。对普通人则是一个提醒:当统计结论说“已剔除极端值”时,值得多问一句:剔了什么,为什么。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。