AVC系统所需的电压水平、负荷大小、补偿设备状态等遥信、遥测数据都需要通过地区电网自身的SCADA系统采集获取，而这些实时数据在采集传输过程中特别容易受到噪声数据、空缺数据和不一致性数据的侵扰。为了提高数据质量，使得无功优化分析结果能够真实反映实际情况，数据的预处理过程是必不可少的。一般来说，可以利用最小二乘法或者数据挖掘技术通过填写空缺值，平滑噪声数据，识别删除孤立点来解决数据不合理的问题。

1.空缺值

空缺值主要是指对于采集设备自身问题造成采集数据空缺。对于这种情况，可以采用历史数据的平均值来填充空缺值。通常设备监测数据水平变化不是很大，取相邻的几个点的数据进行平均计算，将计算结果填充到空缺处。空缺值的处理可以采用取平均值与回归方法相结合。

2.噪声数据

噪声是指测量变量中的随机错误和偏差。由于量测系统的数据是实时采集的，对于每一个新数据，通过聚类方法消除孤立点。对于消除孤立点之后的噪声数据的平滑可以采用回归分析方法和分段线性回归方法。

3.不一致数据

对于RTU等采集设备来说，所采集数据的不一致性的情况也是存在的，比如在相邻的两个时间点所采集的变压器低压侧负荷数据有所变化，而高压侧负荷数据却相同，显然是不符合常理的。

在实际的应用过程中，可以综合利用数据挖掘、关联分析等状态估计手段，对SCADA系统所采集的电量数据进行判断和过滤分析。对空缺数据尽量采用相似日的同时刻历史数据进行弥补；对超出正常限值范围的错误数据进行平滑处理。如果空缺、错误数据量较大，难以进行纠错补缺处理的情况则自动报警，提示操作人员手动进行处理。

4.相似日数据的挖掘与关联(www.daowen.com)

为了能够弥补空缺数据以及替换明显的错误数据，需要对已经获取的正常历史数据进行数据挖掘和关联分析。利用SQL语言对数据库中存储的海量数据进行分析，根据空缺数据或错误数据发生阶段的日期、时刻、运行方式以及采集点的负荷类型和负荷大小等场景数据，比对寻找出最为相似的历史数据并自动完成数据弥补与替换。

5.数据挖掘

在数据分析过程中，以信息增益最大化为目标，判断出连续属性分裂点应该满足的条件，确定分裂指数，通过建立二叉树并对其进行拓展来建立完整的决策树，并采用决策树分析技术，根据典型运行方式下的潮流断面数据、负荷曲线进行分类和判断，配合现场分析人员的经验，合理地设定数据上下限范围，自动识别出不合理的错误数据。

6.关联分析

通过对采集数据以及历史数据进行关联分析，根据空缺数据或错误数据发生点的日期、时刻、运行方式以及采集点的负荷性质和负荷大小等场景数据，比对寻找出最为相似的历史数据并自动完成数据弥补或替换。

关联分析是寻找数据项之间的联系，为决策提供依据。一般来说是与其他的数据进行关联分析，包括纵向和横向两方面。

横向关联分析：主要针对安装地点相近、环境基本相同的设备监测数据和历史数据的比对分析。根据负荷性质、负荷大小情况做横向的比对分析。

纵向关联分析：主要是指对同一设备在相似日、相同时刻的监测数据进行比对分析，即利用历史数据对当前采集数据进行比对，一般情况下在相似的工作日或者节假日的相同时刻，遥测数据应该基本保持一致不出现较大的波动。因此，可以利用同类场景下的遥测数据最大限度地进行数据弥补和替换处理。