数据异常处理总结

一、数据异常分析处理

健康监测的基本目的是通过分析实时监测数据对桥梁结构进行损伤诊断和运营状态进行监控。但是随着监测系统运行，传感器和传输线路会受到损害，并且桥梁处于开放环境当中，其自身结构性能也会慢慢退化，这些可能导致监测数据出现异常，从而严重影响了对结构损伤的判断和对结构状态做出错误的估计，会对桥梁整体和局部安全性造成了很大隐患。

同时一些突发的自然灾害和偶然荷载的作用，如船撞撞击、地震、泥石流等对桥梁结构的冲击，严重时会对桥梁结构整体安全性产生不可恢复的影响。所以监测系统有必要对上述可能的任何情况进行监测和分析，从而让分析人员对桥梁状态有一个更全面和更准确的认识。

二、常见数据异常分类

采集信号当中通常含有下面常见的数据异常类型。

数据失真：采集信号得到的实测数据曲线与理想数据特性相偏差较大，则认定采集数据失真。特点如下：

(1)普遍性。数据失真可能在桥梁监测系统各个环节都有存在，无论硬件还是软件上，这些是监测系统的共性。

(2)多样性。信息失真表现形式划分有很多种，从产生环节考虑，可能有信息传输环节和安全评价环节；从监测系统子系统考虑，可能是传感器子系统、数据采集子系统或者其他子系统产生；从表现形式看，又可能分为单点或连续数据缺失。而其中的单点数据失真又有极大极小值和负荷毛刺；而连续数据缺失主要是传感器子系统损坏引起的。

(3)重复性。数据失真的复杂性是由于桥梁结构自身复杂特性和监测系统的复杂性决定的。

数据缺失：不管是连续实时采集还是特定采集在分析软件上这类数据没有显示出来。可能是传感器损坏、采集系统软件问题等。

数据重复：一般是由于传感器系统损坏或者系统软件发生故障，导致监测数据长时间保持不变。

2.1 数据失真处理

对数据失真，处理标准流程如下：

(1)出现数据失真后，首先检查桥梁是否存在突然性的结构损坏等；

(2)若结构有损坏，则替换构件或维修加固后重新检测；若无结构损坏，则进行第(3)步骤；

(3)分别检查传感器系统、数据采集与传输及系统或者可能的分析软件故障，依次进行排查。

对数据失真处理是依据监测数据的变化规律进行的，主要有趋势曲线修复法和神经网络修复法。

1、趋势曲线修复法

基本思路是找到缺失数据对应的测量数据的趋势曲线，由趋势曲线计算出缺失数据对应时刻的理论采集数值。具体过程如下：

(1)根据历史测量值，分析出测量值对应时间的变化趋势。

(2)去除温度影响和随机因素影响的数值。这里应先将已测到的数据去除温度影响，然后在去除随机因素影响（环境因素影响属于高频信号成分，可通过低通滤波消除影响），最后用三次样条方法得到拟合曲线（三次样条方法让低频信号占优）。

(3)计算参数理论上的真实采集数据。

2、神经网络修复法

神经网络修复法用基于 RBF 神经网络模型对数据失真进行重构。RBF 网络能够逼近任意的非线性函数，可以处理系统内难以解析的规律性，具有良好的泛化能力，并且学习收敛速度很快，已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。

对于监测数据的恢复，其基本思想是以各测量点之间的关联分析为依托，利用 RBF 神经网络强大的函数逼近能力以保障恢复数据的精度。具体算法过程如下：

(1)确定与a1点相关联的其他测量点；

(2)在t1前选择合适的训练样本（a1时域附近上的正常数据），时间选取不少于3天。

(3)用关联测点数据作为输入，a1点作为输出，建立RBF神经网络模型和确定学习参数。

(4)用t1~tn时间内的关联点数据输入模型系统后得到理论上的恢复采集数据。

其中a1表示待恢复测量点；t1~tn表示选取的时间段。

2.2数据缺失处理

对数据缺失，处理标准流程如下：

(1)出现数据缺失后，从新发出采集指令，检查有无数据产生，若没有则进行第(2)步；

(2)首先检查传感器是否发生故障。若传感器损坏，则替换新传感器重新检测；若更换后出现同样问题，则进行第(3)步；

(3)继续检查数据采集与传输及系统或者可能的分析软件故障，依次进行排查；

(4)重新发出采集指令进行检查。数据缺失处理方法主要有几下集中：

1、直接忽略。这是用于缺失值较少的情况，否则会对结构整体分析造成很严重后果。

2、插补或替代。利用其它辅助数据信息，对缺失数据进行插值或替代。具体又可以分为如下策略：

(1)用固定的常量值对缺失值进行补完。同样适用于缺失值较少时。

(2)用均值替代法。均值可以是算术平均值、中位数等中进行选择，是依据数据采集特征进行。

(3)用同类别均值替代。将传感器测量数据按照某一标准进行分类，不同类别的数据均值可选择不同的平均数。

(4)用成数推导值替代。此方法适用于缺失值属性为非标志的情况。

(5)用数学算法和模型确定。

(6)建立预测模型推测缺失值。

3、重新对缺失数据进行采样。具体可分为如下情况：

(1)对采集设备多次进行访问。

(2)若采集设备无反馈，则可以实行替换缺失值；

(3)长时间无应答后，在以后此测量点的数据采集分析中，可以进行抽样调查。

4、用调整因子来对含缺失值所进行的总体加权调整，并得出相应的结果。该方法适用于缺失数据和其他已知数据之间没有明显的差异。

2.3 数据重复处理

对数据重复问题，处理流程如下：

(1)出现数据重复后，检查监测系统网络是否正常，

(2)检查传感器是否发生故障。若传感器损坏，则替换新传感器重新检测；若更换后出现同样问题，则进行第(3)步；

(3)检查系统软件是否发生故障或兼容性故障等问题。若通过上述手段不能解决数据重复问题时，必要时可采取重启监测系统的手段。

《内容来源于文献，经本人综合整理，以技术会友，广交天下朋友》