对于语义分割模型来说,必须经过严格的、全面的评估才能评判其有效性,这包括模型的运行时间、内存占用和准确率三个方面。通常情况下,很难兼顾所有指标,对于实时系统可能因需要获取更高的运行速度从而牺牲部分准确率。对于精密仪器,因需要获取更高的准确率而牺牲运行时间和内存占用。
1.运行时间
对于对运行速度要求严格的系统,运行时间是十分重要的一项评价标准。在评估运行时间时,需要给出系统运行的硬件信息和基准方法的配置,使得语义分割模型具有更好的可复现性,方便后续研究者判断模型的实用性和先进性。
2.内存占用
内存占用是评价语义分割模型的另一个考量因素。一般情况下,扩充内存容量比较容易实现。但在人机交互应用中,内存并不会像高性能服务器中那样充裕,如机器人平台的板载芯片。因此,记录模型所占用的最大内存和平均内存是十分必要的。
3.准确率
准确率是评价语义分割模型精度的最重要指标。目前常用的准确率评价指标有像素级准确率(Pixel Accuracy,PA)以及交并比。设共有k+1个类别,即{L0,L1,…,Lk},其中L0到Lk-1是前景目标类别,Lk是背景类别,pij是类别i被分类为类别j的像素数量,pii代表分类正确的像素数量。像素级准确率和交并比的定义如下。(www.daowen.com)
像素准确率是最简单的准确率指标,表示图像中分类正确的像素数量与总像素数量的比值,定义为
平均像素准确率(mean pixel accuracy,MPA)表示所有类别分类正确的像素比值的平均值,定义为
平均交并比(mean intersection over union,MIoU)表示所有类别真实像素标签图与预测像素标签图的交并比的平均值,定义为
频率加权交并比(frequency weighted intersection over union,FWIoU)是对平均交并比的改进,对于每个类别按照重要性(即出现频率)进行加权,定义为
在上述的所有指标中,平均交并比是评价语义分割模型准确率的最常用指标。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。