层次分析法在体育综合评价运用中的五个“陷阱”
时间：2023-02-21 14:15:06 来源：千叶帆 本文已影响人
武红宇，沈克印
(武汉体育学院 经济与管理学院， 湖北 武汉 430079)
层次分析法(AHP)是美国运筹学家T.L.Saaty为解决无结构决策问题而提出的一种系统分析方法。1971年，T.L.Saaty在第一届国际数学建模会议上发表了“无结构决策问题的建模——层次分析法”，首次提出层次分析法；
1982年，T.L.Saaty的学生在中美能源、资源与环境学术会议上介绍了层次分析法并得到与会人员的认可，我国学者由此开始对层次分析法进行了解和深入研究并广泛应用于经济计划、行为科学、能源分析、成果评价等诸多领域[1]。层次分析法将复杂问题分解成组成因素并按支配关系形成层次结构，用两两间比较的方法确定决策方案(即指标)的相对重要性[2]。这是一种把定性分析与定量分析有机结合起来的较好的科学决策方法。整个过程体现出分解、判断、综合的系统思维方法，也充分体现了辩证的系统思维原则[3]。基于这种优势，层次分析法成为科研人员开展体育综合评价时必不可少的工具。体育综合评价大体包括构建评价指标体系、指标类型一致化及指标无量纲化、确定指标体系中各指标的权重和建立综合评价模型四个步骤，其中，评价指标体系中各指标权重的确定是非常重要与关键的工作，指标权重的大小直接影响最终评价结果[4]。
层次分析法作为综合评价中确定指标权重最常用的方法之一在科学研究中被广泛使用，随着迈实软件、Yaahp、Matlab等层次分析法相关软件的普及，目前研究人员在运用层次分析法时大都使用这些软件完成数据处理工作，难免会忽视对层次分析方法理论的学习，从而导致层次分析法在应用中出现诸多问题。
在中国知网中以关键词“体育”为主题并含关键词“层次分析法”检索近五年(2016年6月至2021年6月)的硕士学位论文，从中下载100篇研究主题与体育相关的论文，对所收集的硕士学位论文中层次分析法的运用情况进行分析，发现这些论文存在五个方面的误用：(1)用综合权重对指标体系中最后一级的所有指标进行重要性排序；
(2)所给出的判断矩阵中aij与aji不互为倒数关系；
(3)一致性检验临界值的选取不合理；
(4)将多位专家对指标两两之间重要性的比较结果合并为一个综合判断矩阵，并用综合判断矩阵计算指标的权重；
(5)自行修改未通过一致性检验的判断矩阵。其中用综合权重对指标体系中最后一级指标的重要性进行总排序的学位论文有15篇；
在所给出的判断矩阵中aij与aji不互为倒数关系的学位论文有12篇；
一致性检验临界值的选取不合理的学位论文有79篇；
将专家判断结果合并为一个综合判断矩阵并用综合判断矩阵计算指标权重的学位论文有6篇；
自行修改未通过一致性检验的判断矩阵的学位论文有7篇。本研究不是对所收集硕士学位论文的研究成果进行评价，而是对这些论文中层次分析法的误用情况进行分析并给出正确的运用方法，希望对体育科研人员在学术研究中正确使用层次分析法有所帮助。
运用层次分析法确定指标权重时，有的学者首先对若干个一级指标重要性进行两两比较，确定一级指标权重，然后对隶属于各一级指标的二级指标重要性进行两两比较，确定二级指标权重，再将一级指标的权重和二级指标的权重相乘得出各二级指标的综合权重，最后根据综合权重的大小将所有二级指标进行重要性排序。比如《中华传统射艺赛事的发展路径研究》中构建了中华传统射艺赛事发展的指标体系，然后用层次分析法确定4个一级指标(S、W、O、T)的权重及S所属3个二级指标(S1、S2、S3)的权重、W所属4个二级指标(W1、W2、W3、W4)的权重、O所属4个二级指标(O1、O2、O3、O4)的权重、T所属4个二级指标(T1、T2、T3、T4)的权重，最后将一级指标的权重和二级指标的权重相乘得出S1-T4这15个二级指标的综合权重，并根据其大小对这15个二级指标的重要性进行了排序，见表1。
表1 《中华传统射艺赛事的发展路径研究》构建的指标体系及指标权重[5]
所收集的100篇硕士学位论文中还有14篇用综合权重对指标体系中最后一级的所有指标进行重要性排序。这种将一级、二级指标的权重(有的论文是一级、二级、三级指标的权重)相乘得出最后一级指标的综合权重，并根据综合权重大小对最后一级指标的重要性进行排序的做法是不合理的，原因如下。
第一，综合权重是用一级指标的权重与二级指标的权重相乘得到的，这种综合权重没有可比性。层次分析法通过对多个指标两两间的重要性进行比较来确定指标权重，通过各指标的权重可以对指标的重要性进行排序，但这种排序只限于进行了相互比较的若干指标，而对于未进行相互比较的指标，它们的权重是没有可比性的。比如，表1中对S1、S2、S3这3个指标进行了两两间重要性比较，那么这3个指标的权重具有可比性，根据这3个指标的权重，可以对S1、S2、S3这3个指标的重要性进行排序。同样对W1、W2、W3、W4这4个指标进行了两两间重要性比较，这4个指标的权重具有可比性，可以根据W1、W2、W3、W4这4个指标的权重对它们的重要性进行排序。但是，S1、S2、S3这3个指标的权重与W1、W2、W3、W4这4个指标的权重却没有可比性，因为S1-S3与W1-W4之间没有做两两之间重要性的比较。因此表1中将一级指标S的权重与二级指标S1、S2、S3的权重相乘所得到的S1、S2、S3的综合权重与将W的权重与W1、W2、W3、W4的权重相乘所得到的W1、W2、W3、W4的综合权重也没有可比性，所以，表1这种根据综合权重大对最后一级的所有指标进行重要性排序的做法并不合理。
第二，用层次分析法确定指标权重时，指标权重的大小和参与相互比较的指标个数有关。比如现有一个综合评价指标体系如表2所示。
从表2中可以看出，A1和A2包含的指标个数不同，A1包含2个二级指标，A2包含4个二级指标。现用层次分析法来确定各二级指标的权重，假设A1所包含的2个二级指标同等重要，则隶属于A1 的B1和B2权重都是0.5；
假设A2所包含的4个二级指标中B3、B4、B5同等重要，且B3、B4、B5比B6稍微重要，则隶属于A2的B3、B4、B5、B6权重分别是0.3、0.3、0.3、0.1。显然，由于A2所包含的二级指标数比A1所包含的二级指标数多，从而使得隶属于A2的二级指标权重小于隶属于A1的二级指标的权重，最终导致隶属于A2的4个二级指标的综合权重全部小于隶属于A1的2个二级指标的综合权重，如果此时按综合权重大小对B1-B6进行排序，B1、B2都比B3、B4、B5、B6重要，这个排序结果显然是不合理的，究其原因就是因为A2所包含的二级指标个数比A1所包含的二级指标个数多。
表2 综合评价指标体系表
其实在运用层次分析法进行综合评价时，只需给出各指标的权重就足矣，并不需要对最后一级所有指标的重要性进行排序。层次分析法的出发点是帮助人们研究多准则决策问题，建立指标体系和计算指标权重是为了进行评价和选择。从1976年发表较为详细的层次结构和判断矩阵特征值(即权重)计算方法，到2005年将层次分析法的决策应用形成系统理论，是层次分析法演化完善的重要阶段，T.L.Saaty本人在这期间未发表过用逐级指标权重相乘得到的综合权重对最后一级所有指标进行重要性排序的观点。值得注意的是，1988年国内学者首次将T.L.Saaty系统论述层次分析法的专著TheAnalyticHierarchyProcess译著出版，该书中首次出现了层次单排序、层次总排序的说法，阅读全书发现层次单排序实际是指标的组内权重、层次总排序实际是指标的综合权重而不是最后一级所有指标的重要性排序。
如果研究中确实需要对表1中S1-T4这15个指标的重要性进行排序，那么应该对这15个指标全部进行两两间重要性的比较，根据比较结果和计算出的权重大小对15个指标的重要性进行排序。然而层次分析法中T.L.Saaty还给出了一个定理：在对指标进行两两比较时，为保证比较结果的一致性，参与比较的指标个数不宜超过7个[6]。
运用层次分析法确定指标权重时，需要专家对若干指标两两之间重要性进行比较。比如，用层次分析法确定x1、x2、x3、x4这4个指标的权重时，需专家对这4个指标两两之间重要性进行比较，某专家的比较结果如表3所示。
表3 某专家对4个指标两两间重要性比较结果
层次分析法的提出者美国运筹学教授T.L.Saaty建议将“极其重要”“十分重要”“明显重要”“稍微重要”“同等重要”“稍微不重要”“明显不重要”“十分不重要”“极其不重要”等定性语言量化，并给出了量化方法(见表4)。
表4 两指标相比重要性量化规则
根据表4的量化规则，表3中某专家对4个指标两两之间重要进行比较的结果可用如下矩阵D表示。
上述矩阵D称之为判断矩阵。
对m个指标两两间重要性进行比较，判断矩阵的一般形式如下。
在判断矩阵A中，aij表示指标xi与xj相比的重要性，aji表示指标xj与xi相比的重要性。矩阵A中主对角线上的元素a11、a22、…amm代表指标x1与x1、x2与x2、…xm与xm相比的结果，自己与自己相比当然是同等重要，所以矩阵A中主对角线上的元素全部为1。
(1)
层次分析法所给出的判断矩阵中aij与aji应互为倒数关系，但收集的硕士学位论文中有文章所给出的判断矩阵中aij与aji却不互为倒数关系，如《福州大学城高校体育产业资源开发SWOT分析及策略研究》中构建了威胁(T)组的判断矩阵，其中包含T1、T2、T3共3个指标，文中判断矩阵如B1[7]所示。
用层次分析法确定x1、x2、x3这3个指标的权重时，需要专家对这3个指标两两间的重要性进行判断，某位专家的判断结果为：x1与x2相比明显重要，x1与x3相比同等重要，x2与x3相比稍微重要。既然x1与x2相比明显重要，x2与x3相比稍微重要，那么x1与x3相比不可能是同等重要，所以这位专家对x1、x2、x3这3个指标两两之间重要性比较的结果不合逻辑，判断结果是自相矛盾的。当需要判断的指标多于3个时，这种自相矛盾的情况会更加突出。
层次分析法中一致性检验的目的在于对专家所给出的指标两两之间重要性比较结果是否存在逻辑矛盾进行判断，如果经检验专家的判断结果没有逻辑矛盾，则专家的判断结果有效，如果经检验专家的判断结果存在逻辑矛盾，则专家的判断结果无效。
一致性检验方法有两种，一致性系数(CI)法和一致性比率(CR)法，目前的硕士学位论文中最常用的是一致性比率法。大多数研究者在用一致性比率法时都选用0.1作为检验专家的判断结果是否存在逻辑矛盾的统一标准，例如，《河南省特殊教育学校体育工作评价指标体系构建》中用一致性比率法对专家的判断结果是否存在逻辑矛盾进行一致性检验，并认为“当随机一致性比例CR<0.1，则认为判断矩阵具有满意的一致性，若CR≥0.1则判断矩阵需要重新调整。”[8]
所收集的100篇硕士学位论文中，有79篇的作者在用一致性比率法对专家的判断结果做一致性检验时用0.1作为检验专家判断结果是否存在逻辑矛盾的临界值。实际上，0.10是层次分析法的提出者T.L.Saaty给出的一个经验值，尽管这个临界值被广泛使用，但它并没有理论依据。其实，当专家对若干指标两两间重要性进行比较时，如果比较的指标数量是2个，肯定不会出现逻辑错误，但随着需要比较的指标个数的增多，专家的判断结果出现逻辑矛盾的可能性就会增大，因此，进行比较的指标个数不同，用于检验专家的判断结果是否存在逻辑矛盾的临界值也应该是不一样的。已有学者对将0.1作为检验专家判断结果是否存在逻辑矛盾的统一标准提出过质疑，如张吉军(2000)认为将CR<0.1作为检验判断矩阵是否具有一致性的判断标准缺乏科学依据[9]。闫威等(2011)通过建立随机模型，确定了显著性水平分别为0.05和0.01情况下一致性指标CI的临界值表[6]。彭祖赠(2002)认为“Saaty根据经验推断当CR<0.1时通过一致性检验，即取CR的临界值为0.1，这显然是缺乏理论依据的。”[10]并通过构造的卡方统计量计算出了不同显著水平、不同指标个数时用于检验专家的判断结果是否存在逻辑矛盾的一致性比率临界值表，结果如表5所示。
表5 一致性比率临界值表[10]
从表5可以看出，进行比较时的指标个数不一样，临界值大小是不一样的，显著水平不一样，临界值大小也不一样。比如当指标个数n=3时，在0.05和0.1的显著水平下一致性比率临界值是不同的，分别为0.056和0.094；
在0.01的显著水平下，指标个数n=3和n=4时一致性比率临界值也是不同的，分别为0.019和0.040。所以，不考虑显著水平和比较的指标个数对临界值的影响，而将0.1作为检验专家的判断结果是否存在逻辑矛盾的统一的临界值，这种做法显然是不合理的。
对判断矩阵进行一致性检验的正确方法是，首先根据专家对指标两两间重要性的比较结果得到相应的判断矩阵，并计算判断矩阵的一致性比率CR，根据显著水平α及参与比较的指标个数n查一致性比率临界值表(见表5)的一致性比率临界值CR(α，n)，再将一致性比率CR与对应的临界值CR(α，n)进行比较。当CR≤CR(α，n) 时，认为判断矩阵一致性较好，专家对指标两两之间重要性比较的结果不存在逻辑矛盾，所给出的判断矩阵有效。当CR>CR(α，n) 时，认为判断矩阵一致性较差，专家对指标两两之间重要性比较的结果存在逻辑矛盾，所给出的判断矩阵无效。
有的学者在将专家对指标两两之间重要性的比较结果转化为判断矩阵时会将多位专家的判断结果合并为一个综合判断矩阵，再用综合判断矩阵计算指标的权重值。例如《“一带一路”背景下武术文化国际推广战略研究》中，将专家组的比较结果合并为一个综合判断矩阵B2[11]。
然后根据综合判断矩阵B2计算出4个一级指标的权重分别为：0.492 2、0.102 1、0.250 1、0.155 6。在收集的100篇硕士学位论文中还有5篇文章通过取加权算术平均值或几何平均值等不同方式将专家的判断结果合并为综合判断矩阵，它们的本质都是相同的。这种将多位专家判断结果合并为综合判断矩阵并用综合判断矩阵计算指标权重值的做法是不合理的。因为，将多位专家判断结果合并为一个综合判断矩阵时，会把部分专家有逻辑矛盾的判断结果也合并到综合判断矩阵中去，这种做法显然是不合理的。
比如邀请3位专家对4个指标x1、x2、x3、x4进行两两间重要性比较，专家1、专家2、专家3的判断矩阵分别为C1、C2、C3。
如果采用算数平均数的方式将3位专家的判断结果合并为一个综合判断矩阵，合并后得到的综合判断矩阵记为C4。
将C1、C2、C3合并为综合判断矩阵C4的方法是：计算3位专家的判断矩阵中同一位置C113、C213、C313的平均数得到综合判断矩阵C4中的C413，并用同样的方法计算出判断矩阵C4主对角线右上角的6个数，再根据判断矩阵中aij与aji互为倒数得到综合判断矩阵C4主对角线左下角的6个数，最终得到综合判断矩阵C4。
对综合判断矩阵C4进行一致性检验。根据判断矩阵计算指标权重及判断矩阵一致性比率的方法有3种：和法、根法、特征向量法，本研究采用和法计算指标权重和一致性比率。经计算,综合判断矩阵C4的一致性比率CR4=0.021，取α=0.05，当n=4时查一致性比率临界值表得临界值CR(0.05，4)=0.076，因为CR4=0.021 但是，经计算判断矩阵C1的一致性比率值CR1=0.125>CR(0.05，4)=0.076，表明专家1的判断是有逻辑矛盾的，专家1的判断结果无效。以上将判断矩阵C1、C2、C3合并为综合判断矩阵C4，C4就包含了专家1有逻辑矛盾的判断结果，所以根据C4计算指标权重的做法是错误的。 将多位专家判断结果合并为综合判断矩阵这种做法还可能产生另外一种结果，就是将多个通过一致性检验的判断矩阵合并成一个综合判断矩阵后，综合判断矩阵有可能不能通过一致性检验。比如有2位专家对4个指标x1、x2、x3、x4进行两两间重要性比较，专家1、专家2的判断矩阵分别为D1、D2。 同样采用算数平均数的方式将2位专家的判断结果合并为一个综合判断矩阵，合并后得到的综合判断矩阵记为D3。 经计算,判断矩阵D1和D2的一致性比率值分别为：CR1=0.049 实际上，T.L.Saaty早在2004年对层次分析法的实际应用进行总结时就特别强调“如果决策主体是专家，专家往往不希望把他们的判断意见合并起来，而是希望从一个层次结构中得到最终决策结果，在这种情况下，应该对最终结果取均值。”[12] 根据专家1、专家2、专家3的判断结果确定指标x1、x2、x3、x4的权重的正确做法是：首先，根据3位专家的判断矩阵C1、C2、C3分别计算出3位专家给指标x1、x2、x3、x4的赋权结果及一致性比率，结果如表6所示。 表6 3位专家给4个指标的赋权结果及一致性比率 其次，根据一致性比率值对判断矩阵C1、C2、C3分别进行一致性检验，检验结果为专家1的判断结果不能通过一致性检验，其给指标的赋权结果无效，不能采纳。专家2、专家3的判断矩阵通过一致性检验，这2位专家给指标的赋权结果有效。最后，计算通过一致性检验的专家2和专家3给指标x1、x2、x3、x4所赋权重的均值，得到x1、x2、x3、x4的权重分别为：0.210、0.507、0.065、0.218。 判断矩阵是专家对若干指标两两间重要性进行比较的结果，实质上是研究者对专家观点的调查结果。运用层次分析法时，有的学者在对判断矩阵进行一致性检验时对未通过检验的判断矩阵进行修改。如《基于AHP校园足球课余训练发展的影响因素及路径分析》中，对判断矩阵进行一致性检验时就认为“CR<0.10时，证明计算的结果一致性合理； 所收集的100篇硕士学位论文中还有6篇存在这种作者自行修改判断矩阵的现象。这种自行修改判断矩阵的做法是错误的，因为判断矩阵实际上是研究者对专家进行调查访问的客观结果，即使被调查者给出的判断矩阵未通过一致性检验研究人员也不能自行修改专家的判断结果，正确的做法是将未通过一致性检验的判断矩阵直接剔除或请受访专家重新填写一次调查问卷。 本研究对所收集的100篇硕士学位论文中层次分析法的运用情况进行分析后发现，有79篇论文作者在运用层次分析法时出现以下五方面的误用。 误用一:用综合权重对指标体系中最后一级的所有指标进行重要性排序。综合权重是用一级指标的权重与二级指标的权重相乘得到的，由于隶属于不同一级指标的二级指标没有进行两两之间重要性比较，所以他们的权重没有可比性，同时，指标权重大小还和参与相互比较的指标个数有关，以上两点导致指标的综合权重没有可比性，所以用综合权重的大小对指标体系中最后一级的所有指标进行重要性排序的做法是不合理的。 误用二：所给出的判断矩阵中aij与aji不互为倒数关系。判断矩阵中元素aij表示指标xi与xj相比的重要性,元素aji表示指标xj与xi相比的重要性,根据层次分析法的提出者T.L.Saaty所给出的量化规则，aij与aji应互为倒数关系。 误用三:一致性检验临界值的选取不合理。用一致性比率法对判断矩阵进行一致性检验时用0.1作为统一的临界值，这种做法忽视了不同显著水平和参与比较的指标个数对临界值的影响。正确的做法是根据显著水平α及参与比较的指标个数n查一致性比率临界值表，得到一致性比率临界值CR(α，n)，再将一致性比率CR与对应的临界值CR(α，n)进行比较来检验判断矩阵是否有效。 误用四:将多位专家对指标两两之间重要性的比较结果合并为一个综合判断矩阵，并用综合判断矩阵计算指标的权重。这种做法会把部分专家有逻辑矛盾的判断结果也合并到综合判断矩阵中去。正确的做法应该是根据每位专家的判断矩阵分别计算每位专家给各指标的赋权及一致性比率，用一致性比率判断专家的赋权结果是否有效，未通过一致性检验的专家赋权结果无效，不予采纳； 误用五：自行修改未通过一致性检验的判断矩阵。判断矩阵实际上是研究者对专家进行调查访问的客观结果，即使被调查者给出的判断矩阵未通过一致性检验研究人员也不能自行修改专家的判断结果。正确的做法是将未通过一致性检验的判断矩阵直接剔除或请受访专家重新填写一次调查问卷。 研究人员在运用层次分析时错误频出，根本原因在于研究人员忽视了对层次分析方法理论的学习，未能很好地掌握层次分析法的基本原理，这使得他们在运用层次分析法时往往只是简单套用他人运用层次分析法的步骤，但对于所套用的内容是否正确却无法甄别，出现“以误传误”的现象，导致层次分析法的误用越来越普遍。 其实，在体育科学研究中层次分析法的误用并不是个例，其他研究方法的应用也普遍存在不同程度的误用。李博等人(2021)对372篇核心期刊论文中德尔菲法的应用情况进行分析后发现，德尔菲法在体育科研究应用中存在6种不规范之处[14]。黄汉升(2009)对12所高校300篇体育学博士论文中体育科学研究方法进行分析,发现体育学博士论文存在一些不容忽视的方法学问题,包括研究方法基本认识模糊、研究方法运用存在缺陷、研究方法移植过于牵强等[15]。与层次分析法的误用相类似，其他数据分析方法的误用也主要是研究人员忽视了对数据分析方法的理论学习所致。特别是随着各种数据分析软件的普及，运用数据分析方法变得极为便捷，这让研究人员更加轻视数据分析方法理论的学习。但数据分析软件只是一个“超级计算器”，它只是帮助我们完成烦琐的数据计算工作而已，每种数据分析方法都有严格的适用条件,如何正确运用数据分析方法，还得依靠研究者对数据分析方法基本理论的掌握。因此，广大体育科研人员加强数据分析方法理论的学习是十分重要的，只有掌握好数据分析方法的原理后才能在实践中正确、灵活自如地运用方法解决问题，同时也可甄别他人在方法运用上的正误，不至于套用错误的方法运用实例，有效杜绝数据分析方法运用中“以误传误”现象的发生，提高数据分析方法运用的水平，保证学术研究的科学性。
否则，需要对判断矩阵中的数值进行调整，直到一致性检验值通过。”[13]6.1 结论
计算通过一致性检验的专家对各指标赋权的均值，将均值作为各指标的权重。6.2 思考
