为验证匹配模型准确性,拟使用该匹配模型为知识密集型众包任务选出最优接包方,并与人工选择的结果进行比较。

6.4.3.1　实验任务选取原则

为保证人工选择结果的正确性,继而保证匹配模型准确率的可信度,在选择进行准确性验证的任务时,应遵循以下原则:

(1)任务模式应为投招标模式。

猪八戒网上的知识密集型众包的交易模式主要有比稿和招标两种。在比稿模式中,发包方对接包方能力的判断不仅来自于接包方的数据,而且更多依赖于稿件质量,与匹配模型的判断方式不同。因此,在准确性验证的过程中,我们选择投招标模式下的任务进行数据采集。

(2)参与投标的接包人总数应较少。

在候选人数目较少的情况下,通过平台上呈现的接包方信息,发包方有能力从候选者中以人工的方式找出最优的接包方。但当候选人数很多的情况下,发布方受信息过载的影响,既没有精力查看和比较所有接包方的数据,也没有通过大量的信息得出最优解的判断力,人工选择的结果就丧失了准确性,从而无法为模型计算结果的准确度提供参照。我们拟选取投标人数为3～25的任务,计算在不同投标人数下的众包任务的计算准确率。

(3)发包方在现实世界中不了解或不认识任何参与任务的参与者。

在准确性验证的任务中,应保证发包方只能根据目前接包方在网上提供的各种公开信息进行参与者的选择。例如,某个发包方与某个接包方曾经合作过,留下了良好的印象,在下一次选择时,该发包方倾向于根据自己的经验选择这个合作过的接包方,而不是根据该候选人在所有候选人中的总体实力的高低来决定。因此,在本次验证过程中排除了所有发包方与所选择的接包方曾经有过合作的任务样本。

(4)进行检验的任务应尽可能是最近发布的任务。(www.daowen.com)

随着时间的推移,接包方信息会产生变化,但是各大众包平台均只提供当前时刻的数据,而不提供某个历史时刻的数据。即在匹配实验中所采集到的当前的数据可能与发包方在进行人工选择的时候看到的数据有所不同。因此,在挑选进行检验的任务时应尽可能是最近发布的任务。考虑到匹配的实际情况,我们采集了最近半年的任务数据进行实验。

6.4.3.2　实例验证结果与分析

根据上述原则,我们通过八爪鱼采集器在猪八戒网上爬取了招标模式下的63个已完成的任务,以上一节讲述的方法计算出最优解,与人工选择的结果进行比较。按参与人数分类的结果如表6-15所示。

表6-15　匹配模型准确率结果

由表可看出,投标人数在5人之内的有11个任务,此时模型运算拟合人工选择的水平最高,为87.50%。但当投标人数逐渐增加时,准确率渐渐降低,投标人数超过7个后,准确率开始大幅降低。我们假设发包方在候选人数量越少时越能准确判断最优的接包方,即参与者在5人之内的人工判断是比较正确的,则从数据可知模型判断的结果在很大程度上也是正确的。由于算法的准确度不会像人工方式那样受到信息过载的影响,在候选人数量更多的情况下,我们依然可以信任该匹配算法得到的结果,继而推测准确率降低的原因可能是信息过载带来的人工选择正确率降低的结果。

通过观察不同参与人数的任务的匹配准确率,我们可以进一步了解参与人数到达多少后,信息过载开始给发包方的准确判断造成影响,参与人数与准确率的关系如图6-2所示。由图可以看出,候选人数在7或8时,从较高的准确率开始下跌至50%左右,随后准确率继续下跌,直至候选人数达到15后降为0。这表明当接包方人数达到7或8时,发包方开始明显地受到信息过载的影响,判断力开始严重下降,当接包方人数达到并超过15时,发包方已经几乎不能通过人工的方法挑选出最优的接包方了。

图6-2　参与人数与正确率的关系图