高等教育绩效评价指标的理论基础
时间：2023-02-04 19:10:06 来源：千叶帆 本文已影响人
王占军 徐鑫
[摘 要]高等教育绩效指标是一种概念性技术，它通过在指标的选择和结构中嵌入规范性假设，塑造学者思考的问题以及思考这些问题的路径。高等教育绩效指标的理论框架涵盖价值、定义、目标、因果性、可比性和常态性6个维度。选取多个代表性绩效指标对其所涉及的假设做出具体阐释，以说明如何在实践中运用6个指标建构原则性维度。
[关键词]绩效指标;规范性假设;绩效评价
[中图分类号]G640 [文献标识码]A [文章编号]1005-5843（2022）03-034-06
[DOI]10.13980/j.cnki.xdjykx.2022.03.006
从全球范围看，绩效评价已经成为各国高等教育管理研究领域的热点问题。绩效评价的目的在于促进高等教育系统和组织的改善，增加高等教育系统和机构的竞争力，竞争力是否有提升，则必须借助指标来表达。因此，能否建立适合的绩效指标成为决定高等教育绩效评价活动效果的核心因素。本文重点在于探究高校绩效指标的理论基础和指标所蕴含的核心假设。
一、绩效指标的理论框架
Bob Barnetson等学者认为绩效指标是概念性技术，有规范性的假设嵌入其中。这些嵌入的假设使绩效指标概念具有技术性特征，也就是绩效指标塑造了我们所思考的以及如何思考的有关指标选择和指标的结构问题。这种思想受到Polster and Newson"s提出的绩效管理和学术评价工作思想的影响，他们认为可以通过外部评价使学术活动可见和公开，并认为学术活动评价不再仅仅是学术界自身的事情。在这类思想的影响下，标准化的指标逐渐成为学术活动评价的主要手段，例如引用班级规模、师生比等评价教学质量。基于以上分析，可提出绩效指标的理论框架。
（一）价值
现代价值观的“价值”概念直接来自于经济学的使用价值与交换价值，但就其拉丁词的本义和现代哲学语境中的涵义而言，却远远超出了经济学的范畴。价值首先指的是人们所希冀和追求的“好”生活，表征着人的存在的目的性;经济学意义的含义只是第二位的。但在管理主义主导下的绩效评价活动，“价值”被归结为“效用”和“利益”。
评价活动必然涉及到价值问题，这与教育评价的概念属性有关联。教育评价活动是一种对象性活动，因此揭示教育评价概念的内涵，要反映评价对象主客体的价值关系、价值意义以及评价的功能意义。在测量活动中所指的“价值”指的是测量哪些值得的活动和结果方面的考虑，这个过程涉及到什么指标，以及什么指标是重要的或者不重要的。对于建立高校绩效指标而言，体现高等教育这一社会系统的价值是首先需要考虑的问题。Burke指出，在选择绩效指标之前必须明确适切的公共高等教育模式以及相应的价值。高等教育的价值和所期待的模式塑造着绩效拨款指标。他提出了三种模式：第一种模式是资源和声望模式。这种模式把Austin提出的资源和声望整合为一个模式，这种卓越模式建立在院校的资源基础（例如生均费和图书馆藏书量）和声望（例如教师声望等）等方面。第二种模式是战略投资和成本收益模式。这种模式建立在Ewell和Richardson的战略投资概念基础上，强调各州从成本与收益的角度考虑高等教育投入。第三种模式是客户中心模式。这种模式以学生和其他客户为服务导向，强调服务质量，也包括the National Center for Higher Education Management Systems （简称为NCHEMS）提出的“优异教育实践”（good educational practices’）。通过回顾这些模式，作者认为，公立高等教育卓越模式所呈现的绩效指标中，声望与资源比重在下降，战略投资比重在持续上升，战略投资与客户导向结合的模式越来越普遍。因此，作者建议绩效指标应更多关注本科生教育，较少关注研究生科研，从追求声望和资源中扭转出来。他建议绩效拨款指标应该通过服务效能而不是声望来反映质量。Rhoades and Slaughter认为，高等教育迈向教育服务模式，这对正在进行的绩效评估和问责是非常重要的。教学的成本和质量应该得到考虑，把质量与效能结合起来考虑成为绩效指标选择的首要原则。
（二）定义
评价活动要通过建立指标体系进行，每个指标都有相应的概念內涵，以体现要评价对象的功能、性质和价值。概念是事物的抽象，是一类事物的属性在人们主观上的反映。在评价活动中需要对概念进行操作化。所谓操作化，也称具体化或分解化，是指在社会测量研究中，将抽象的概念和命题逐步分解为可测量的指标与可被实际调查来检验命题的过程。它是对复杂的社会现象进行定量研究的一种方法。此种方法在现代社会调查研究中被广泛应用。概念和命题的操作化步骤是：（1）明确概念的确切涵义;（2）进行探索性研究，确定概念操作化的框架;（3）对概念或命题进行分解。所谓分解就是将整体分解为部分，将复杂的事物或命题分解为简单的要素，然后对各个部分或要素进行研究的一种方法;（4）确定命题的评价体系。指在设计操作化框架中，确定各部分或各因素在整体框架中所占的地位或权重，也就是把命题分解为若干部分或若干因素之后，还需确定每一部分或因素在整体中所占的地位。将命题和概念转换成可以依据一定的效度和信度进行经验观察的假设和指标的过程。操作化一词的首次使用与直接的物理测量有关，后被广泛地运用于定量研究。在评价活动中，它是连接抽象层次的理论与经验层次的事实之间的桥梁。类似入学机会、可支付和质量等概念必须通过操作化给出操作定义，制定出相应的测量指标。
由于不同概念的抽象程度不同，有些概念需要多个指标来测量。这时，往往先把概念分成若干个方面，然后为每一方面选择一个或几个指标。即对于同一个概念，可能有不同的测量指标，有的确实是在测量这一概念，有的却不是测量这一概念。因此，绩效指标的选择及适切性与评价实施者对高等教育绩效本身的定义高度相关。高等教育绩效评价的产生很大程度上受管理学经济绩效思想的影响，该思想认为好的品质是具有经济效益的（quality as value for money）。社会公众期望公共服务具有绩效，政府也希望大学能够有效利用资源以产生绩效，提升效率与效果。纳税人希望大学能够将纳税款有效运用，研究委托单位也希望研究经费可以有效使用。例如英国的专科与学院拨款委员会（Polytechnics and Colleges Funding Council，简称PCFC）及经费补助委员会（Universities Funding Council，简称UFC），不再对低绩效的学校给予补助，而对高质量的学校给予补助，以鼓励其有效使用经费。因此，绩效指标整体上要体现出高等院校的办学效益，反映高等教育的投入和产出的水平。凯文（Cave）等把高等教育的绩效指标定义为对高等教育机构及其构成要素的活动的关键属性进行权威的和定量的测量。他们需要在不同层面收集资料，以帮助在院校和整个高等教育系统做出管理判断。与此相似的是韦拉斯尼夫等人（Vlsceanu， L，Grünberg， L和Parlea）的定义，他们认为绩效指标是一组反映高等教育机构或某个学科特定质量水平的统计参数，强调了指标的多层次性和全面性。
（三）目标
评价指标确定的目标应包括对被评价对象价值的鉴定、引导对被评价对象朝向目标、激励被评价对象和进行问题诊断等。绩效指标的目的在于评价高等学校功能的实现情况。莫赛斯（Moses）认为教学与研究相长。他曾在1987年对澳大利亚大学进行过调查，他以400名教师为样本（来自化学系、工程系、英语语言系和法律系）。研究发现，四个系的大部分教师都认为研究强化了教学。漫姆韦德（Mwamwenda）曾指出，研究与发表不仅是大学永久的目标，而且是个别教授在社会、经济心理需求满足的源泉。在社会需求方面，大学教授接受同行评议所带来的压力是无法抗拒的，他们的社会地位也受到研究与发表的影响;而在心理需求方面，研究的成就可以带来极大的自我满足感。因此，他认为使用定量的研究成果的数量与质量的方式来评价大学教师是科学的方法，是衡量大学科研绩效的有效工具。Dochy等人提出，选择绩效指标主要有四个基本原则：第一，要求指标必须与组织的功能密切相关;第二，要求认识到指标所描述的是组织要实现的目标;第三，要求指标必须可以有效地表达所要指向的事物，可以测量并以可信的正确的方式表达出来;第四，要求指标的值是相对而非绝对的，它们包含了管理技术机制，这需要特别注意。绩效指标是管理时尚，但绩效指标的目的到底是什么，政策制定者往往并不清晰。对可测量的追求忽视了定性指标的意义，而且投入、产出和过程指标之间存在关系让人迷惑，有些投入指标并不意味着相应的产出指标。因此，政策制定者需要明确通过绩效指标试图得到什么样的结果，应建立在观测点的价值和重点上，通过设置指标体系及配置权重试图达到何种结果。
（四）因果性
某些统计资料中的两个变量（X和Y）之间存在一种关系，一个变量（Y）的变化是另一个变量（X）的变化所引起的，则这两个变量间的关系称为因果关系。通常计量上的因果指的是格兰杰因果，定义如下：若在包含了变量X、Y的过去信息的条件下，对变量Y的预测效果要优于只单独由Y的过去信息对Y进行的预测效果，即变量X有助于解释变量Y的将来变化，则认为变量X是引致变量Y的格兰杰原因。因果性是用来进行预测的，即宏观世界中，当X为Y的因，那么X在时间线上要早于Y发生，加入X变量之后，对Y的预测优于单纯的ARIMA预测，在符合一致性和无偏性时，那么我们认为X格兰杰引起了Y（即X为Y的格兰杰因）。
在高校绩效评价活动中，绩效指标通过展现出因果关联为院校管理活动和结果配置权责（例如一个变量引起第二个变量的变化，或者与其他变量存在相关等），使院校明确哪些管理活动会引起组织绩效的变化。绩效指标为谁的绩效负责？因果性的概念强调的是责任的分配，例如，让院校对学生满意度负责，意味着院校能够控制影响学生满意度的因素。呈现绩效指标的因果关系体现了问责的思考。当前的绩效指标应包含更多的“市场化”因素，以满足消费者对高校绩效信息的需求。新自由主义改革对教育领域的影响就是教育市场化，促进消费者（学生家长）选择契约服务和绩效表现。这意味着教育领域的问责方式和形态也出现了相应变化，由原来的专业问责向市场问责以及表现问责倾斜。专业问责是指基于教师或学术团体专业判断和自治的基础上对学生发展做出回应;市场问责则意味着院校发展、办学过程和效果要对学生家长负责，通过学生家长的选择和评价倒逼院校做出符合利益相关者关注的行为;表现问责的背后是政府或行政管理力量，旨在通过一系列绩效表现指标，将教师的教学表现或科研产出与相应奖惩措施联系起来，通过竞争提升高等教育质量。因此，客户满意度、毕业生质量、入学情况应该是高校绩效指标的核心内容。在投入环节，要充分挖掘影响这些变量的指标要素，如生师比、师资队伍质量等。绩效指标要能揭示高校组织的内在因果关系，把高校绩效指标分为投入指标和产出指标就体现了这样的原则。
（五）可比性
可比性原则指的是指标体系中同一层次的指标应该尽量满足可比性的原则，即具有相同的计量范围、计量口径和计量方法，指标取值应采用相对值，尽可能不采用绝对值，以便指标能够反映实际情况又便于比较优劣。绩效指标开放要保证当使用共同的指标对院校进行对比时，院校所要收集的信息具有同样的意义。例如测量学院、大学和技术学院获得的外部收入，意味着每种机构都可以获得外部收入。可比性原则使得绩效指标开发应该集中在院校从事的共同的管理活动（投入维度中的经费、教师隊伍规模等）或者管理活动的共同结果（毕业率、就业率和满意度等）。例如：全美公共政策与高等教育研究中心发布的《高等教育评价报告》中共使用了6项一级指标和35项二级指标。6项一级指标分别是高中生入学准备情况、注册入学比率、学费负担能力、学业完成率、学历收益率、学习效果。该评价指标中，每类绩效表现下面都有一些指标或衡量标准，评价报告中使用的所有指标都具备以下特点：一是有助于衡量各州的高等教育表现;二是由可靠的公共机构定期收集，遵循公认的数据收集方法;三是具有可比性，能够对50个州进行比较;四是可以衡量绩效表现结果。澳大利亚高等教育设施维护职员联合会（Australian Association of Higher Education Facilities Officer， AAPPA）于1996年开始了一项高等教育标杆管理活动，主要关注大学的设施和服务，到1998年，该项活动已覆盖澳大利亚和新西兰的36所高等院校。为确保各高校提供的信息具有可比性，该协会规范了对于术语的定义，避免了由于对概念理解不一致而产生的不可比问题。中国教科院高等教育研究中心开发的“教育部直属高校绩效评价”指标体系，在进入指标的聚类分析前，先将投入指标和产出指标进行标准化处理（计算Z分数），目的是消除各个指标的量纲影响，从而使得指标之间具有可比性。
（六）常态
在測量活动中，统计学家提出了常态分布概念，用以描述数据的概率分布特征。常态分布也叫正态分布，是连续随机变量概率分布的一种，自然界、人类社会、心理和教育领域中的大量现象均按正态形式分布，例如能力的高低、学生成绩的好坏等。高校绩效指标所收集的数据从理论上讲具有常态分布特征，对于某具体的指标而言，通过描绘其数据分布特征，可以帮助院校识别该指标所表征的常态规范行为或结果的分布状态，促使院校改变自身的活动方式以抑制劣势或者增加优势。指标的常态性所蕴含着对规范性行为或者结果的假设。例如，测量学生就业率关涉到学生所学习的专业领域在学科范围内可以找到工作，并且同一个专业领域的学生有相似的职业路径。常态概念帮助院校了解怎么做是符合规范的常态行为，常态概念也反映了指标所指向的“合法性”。
二、绩效指标所蕴含的假设
建立在上文分析基础上，本研究提出建立高效绩效指标应该考虑到指标的价值、操作化界定、目标、因果性、可比性和常态。每个维度具体的内涵如表1所示。每个指标都蕴含着相应的假设，以上每个分类维度所确定的绩效指标中具有决定意义的假设如表2所示。
从整个指标体系衡量，以上6个维度所蕴含的决策性假设如表3所示。
本研究选取多个代表性绩效指标对指标所涉及到的具体假设做出具体阐释，以说明应该如何在实践中运用以上提出的6个指标建构原则性维度，这些指标包括毕业生就业率、满意度、入学、管理成本和创收收入，具体见表4。
总之，绩效指标是一种概念性技术，它通过在指标的选择和结构中嵌入规范性假设，塑造学者思考的问题以及如何思考这些问题。希望本文提出的理论框架和绩效指标假设有助于高等教育的绩效指标设计。
参考文献：
[1]Bob Barnetson; Marc Cutright. Performance Indicators as Conceptual Technologies， Higher Education ， 2000（03）：277-292.
[2]Polser， C.， Newson， J. Don"t count your blessings：
The social accomplishments of performance indicator in Cuie，J.，Newson， J. Universities and Globalization：
Critical Perspectives[M].Thousand Oaks：
Sage.1998：173-182.
[3]Burke， J. C. Accountability， reporting， and performance：
Why haven"t they made moredifference Keynote address at the 39 th Annual Conference Research and Planning Group for California Community Colleges， Lake Arrowhead， CA，2001-06-03.
[4]Rhodes， G.，& Slaughter， S.Academic capitalism in the new economy：
Challenges and choices.American Academic， 2004（01）：37-59.
[5]M.Cave， S.Kogan， M.Hanney，G.Trevett.The Use of Performance Indicators in Higher Education[M].London：Jessica Kingsley，1988：22-23.
[6]L.Vlasceanu，L.Grunberg，D.Parlea.Quality Assurance and Accreditation：a Glossary of Basic Terms and Definitions[M]. UNESCO，2004：48-49.
[7]Ingrid Moses.Teaching，research and scholarship in different disciplines[J].Higher Education，1990（03）：351-375.
[8]Tuntufye S.Mwamwenda，Bernadette B.Mwamwenda.Teacher characteristics and pupils" academic achievement in Botswana primary education[J].International Journal of Educational Development，1989（01）：31-42.
[9]Dochy， F. J. R. C.， Segers， M. S. R.， & Wijnen， H. F. W. 1990a， Preliminaries to the implementation of a quality assurance system based on management information and performance indicators：
Results of a validity study. In F. J. R. C. Dochy， M. S. R. Segers & H. F. W. Wijnen （Eds.）， Management and Performance Indicators in Higher Education （pp. 69-94）. Maastricht：
Van Gorcum， pp.
（责任编辑：许高蕊）
The Theoretical Basis of Higher Education Performance Evaluation Indicators
WANG Zhanjun，XU Xin
（1 Zhejiang Normal University， Jinhua， Zhejiang 321004， China;2 Hangzhou Normal University，Hangzhou，Zhejiang 311121， China）
Abstract：
Performance indicators in higher education is a conceptual technique that shapes the questions scholars think about and how they think about them by embedding normative assumptions in the selection and structure of indicators. The theoretical framework of higher education performance indicators covers six dimensions：
value， definition， target， causality， comparability and normality. Several representative performance indicators are selected to explain the specific assumptions involved in the indicators in order to explain how to use six indicators in practice to construct the principle dimension.
Key words：
performance indicators; normative hypothesis; performance evaluation
