1.基线方法
在特征观点对情感强度计算的对比实验中,分别从基于语料和基于情感词典的研究中选取具有代表性的算法作为基线方法,与本书提出的方法进行对比。
(1)基于语料的方法:基线方法1重现Turney和Littman提出的情感强度计算方法[76]。首先将“好”与“差”作为情感种子词;然后分别计算特征观点对与“好”的点互信息值和潜在语义分析值,以及与“差”的点互信息值和潜在语义分析值;最后计算特征观点对与两个情感种子词的点互信息值和潜在语义分析值的差值,作为情感强度值。
(2)基于情感词典的方法:基线方法2重现Kamps提出的情感强度计算方法[86]。首先,以How Net中所有形容词为节点,代表两个词同义关系的连接为边,建立无向图;然后,将图中词w1和w2的距离d(w1,w2)定义为连接w1和w2的最短路径长度,如果w1和w2不相连,则d(w1,w2)=+∞;最后,通过观点词o与两个情感种子词“好”和“差”的相对距离,计算特征观点对的情感强度(so(o)=(d(o,差)-d(o,好))/d(差,好))。
2.实验结果比较与评价
为了削弱人工标注结果的主观性对实验的影响,本书借鉴了相关研究的实验设计方法,为误差系数α设定不同的数值。表5-8列出了在不同的误差系数条件下,基于上下文语境分析的语义计算方法与两个基线方法的对比实验结果。结果表明在三类产品的测试语料上,本书提出的方法都取得了较高的情感强度计算准确率。
表5-8 特征观点对情感强度计算的对比实验结果(www.daowen.com)
通过对表5-8中的对比实验结果进行分析,可得出以下结论:
(1)相较于两个基线方法,对于三类产品的测试语料以及不同的误差系数,本书提出的方法在特征观点对的情感强度计算中都取得了最好的结果。尤其是该方法比两个基线方法提高了超过10%的准确率,充分说明了本书较大程度地改进了对情感强度的量化。
(2)对于三类产品的测试语料以及不同误差系数,基于情感词典的方法在特征观点对情感强度计算上的准确率都最低。原因在于该方法只根据观点词在情感词典中的定义计算情感强度,而未将观点词放到语料中,分析其情感强度随上下文的不同而发生的动态变化。换句话说,该方法忽略了观点词的评价对象,以及否定词、双重否定词和程度副词等观点修饰词,在特征观点对情感强度计算中的作用。此外,基于情感词典的方法还无法计算评论中的口语化词语和流行新词(例如“垃圾”等)的情感强度。
(3)相比之下,基于语料的方法比基于情感词典的方法更能准确地计算特征观点对的情感强度,这间接地反映了上下文的语境信息比词典中一成不变的释义信息更有价值。然而,该方法在所有测试语料上的准确率都显著低于本书提出的方法。原因在于该方法仍然未能充分分析上下文语境,忽略了特征词和观点修饰词对特征观点对情感强度的限制、调节和修正作用。
(4)随着误差系数α取值的增加,本书提出的方法与两个基线方法在情感强度计算的准确率上都得到了较大程度的提升。根据情感强度的相关研究,[-0.3,0.3]是可以接受的误差范围[172-175]。只要算法计算的结果与人工标注的结果同为正值或者负值,那么二者之差在[-0.3,0.3]之间,就认为算法计算结果是正确的。
(5)在三类产品的测试语料上,本书提出的方法与两个基线方法的情感强度计算准确率变化都不显著。其中本书提出的方法的变化幅度最小,并且取得了约80%的情感强度计算准确率,说明其具有良好的稳定性和领域可移植性。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。