近日，广东省财政厅主管刊物《广东财政理论与实务》在2023年第10期发表省评价科学研究会与评科智库重磅研究成果――《满意度调查在财政绩效评价中的问题及应对》。文章结合实际案例，深入分析财政绩效评价中满意度调查的规范性及科学性问题，并提出应对评价数据失真风险的具体措施。

满意度调查是财政绩效评价的重要组成部分。满意度调查在操作层面，却呈现“两缺”状态，即缺乏统一的满意度调查执行规范，地方部门及第三方绩效评价机构普遍缺乏统计调查专业素养。在这样的状态下，绩效评价中的满意度结果的科学性如何？可信度有多高？本文结合有关案例，就如何提升满意度调查的科学性和可行度进行了探讨。

制度层面：满意度调查原则性规范较为完备

2018年《中共中央国务院关于全面实施预算绩效管理的意见》提出，将部门和单位预算收支全面纳入绩效管理，从运行成本、管理效率、服务对象满意度等方面，衡量部门和单位整体及核心业务实施效果，并强调“绩效目标不仅要包括产出、成本，还要包括服务对象满意度等”。

2018年《财政部关于推进政府购买服务第三方绩效评价工作的指导意见》进一步要求，受益对象为社会公众的政府购买公共服务项目，应当积极引入第三方机构开展绩效评价工作，并要求绩效指标体系要能够客观评价服务提供状况和服务对象、相关群体以及购买主体等方面满意情况，特别是对服务对象满意度指标应当赋予较大权重。

随后，财政部2020年印发的《项目支出绩效评价管理办法》，对满意度指标的设置进一步规定，“单位自评指标的权重由各单位根据项目实际情况确定。原则上预算执行率和一级指标权重统一设置为:预算执行率10%、产出指标50%、效益指标30%、服务对象满意度指标10%”。但对满意度指标的操作方法，虽然要求“一般采用社会调查方式”，但未作详细说明。

2021年广东省财厅在上述文件基础上，印发《广东省财政绩效评价指南》，就满意度指标的设置和操作，做了一定程度细化。

首先，《指南》在绩效评价工作实施的现场评价阶段，针对问卷调查方法，规定“在结合项目情况的基础上，遵循问卷设计的相关性、明确性、逻辑性、非导向性和简洁易懂性原则，按照项目所需综合设置封闭式问题和开放式问题，广泛收集使用者意见。”

其次，《指南》还针对评价报告中关于满意度调查结果的内容，规定“应以数据、图形等方式呈现满意度调查的数据分布，呈现从原始数据至调查结果的路径。”

总体看，现有的财政绩效评价各类规定，对满意度调查更多是提出若干原则性规范，但操作细则还有待进一步细化和明确。

实操层面：地方满意度调查的规范性有待提升

满意度调查看似门槛不高，方法多样，但实际上存在较高专业门槛。根据评科智库和广东省评价科学研究会的监测，地方政府采购的满意度项目质量水平在全国的分布符合“二八定律”，即质量较高的项目仅占两成，其余八成项目在方法设计、执行管控、计算方法等环节，都存在不同程度的科学性问题，存在数据失真风险。

财政绩效领域的满意度调查，同样有大量违背社会调查基本规范的现象。即便是第三方绩效评价机构出具的报告，对满意度指标的认识和评价操作，缺乏规范的现象也屡见不鲜。这一方面与部门经办人员、第三方从业人员缺乏统计素养有关系，另一方面绩效评价的满意度调查还存在指标设置不明和评价执行不到位等问题。

首先，绩效评价报告在指标设置上避重就轻，回避满意度核心指标。

以第三方机构出具的《2021年XX市市场监督管理局部门整体支出绩效评价报告》为例，列出多项支出计划，但有的支出计划（任务）设置满意度指标，有的却回避满意度指标，即便该计划要点就是提升满意度。

正常设置满意度指标的支出计划：如表1所示，年度支出计划的“一、服务创建国家营商环境改革创新试点城市，在深化放管服改革上走前列、上水平”，以“企业对一网通平台使用满意度”等作为任务指标，设置预期实现值为80%或以上，实际完成99.33%，评定为已完成。满意度指标与任务对应，预期值的设置和实际完成值的呈现，较为严密，可信度高。

表1 正常设置满意度指标的绩效指标情况表

回避满意度指标的支出计划：如表2所示，年度支出计划的“三、全面推进放心消费环境创建，不断提升消费者安全度、经营者诚信度和消费者满意度”，绩效指标的设置却明显回避满意度、安全度等主观感受指标，而是以消费调查报告完成率、消费维权公益广告短片制作完成率来代替。任务与指标不对应，刻意回避满意度指标的现象非常明显。

表2 回避满意度指标的绩效指标情况表

其次，满意度调查执行操作存在不规范问题。如近两年某地市部门公开的《XX市XX名胜管理局2021 年度城建计划（园林绿化建设）项目绩效评价报告》为例，该报告由第三方机构出具，游客满意度是关键绩效指标之一，设置预期实现值为≥90%，第三方机构依据“项目单位自行统计数据”，认可“各子项目游客满意度均超过90%”。按照社会调查基本规范，该满意度数据存在如下不足之处：一是未核实数据真实性。该数据是项目单位自行统计，但第三方绩效评估机构负有审核义务，核心审核内容是原始答卷或原始电子数据、抽样方法、调查方式、样本量、满意度算法等技术要点。但该满意度评价仅在报告中说明依据项目单位自行统计数据，未说明第三方机构是否经过审核，也未说明调查技术是否合规，不够严谨。二是未说明抽样方法。如果使用非随机抽样调查，结果不可信。三是未说明具体调查方式。究竟是问话调查、网络调查、入户调查还是其他调查方式，应作具体说明。四是样本量不明。样本量过低时，结果误差过大甚至失真，不可信。五是满意度算法不明。满意度结果算法不科学时，必然导致评价结果失真。

又如《XX市2022年植物园科研保育经费项目支出绩效评价报告》对满意度指标得分情况表述为：“XX市植物园已对2022年园区绿化、保洁及设施设备等项目开展群众满意度问卷调研，回收有效问卷60份，其中对园区景观方面“满意”或“基本满意”的群众占比为100%，对园区设施设备方面“满意”或“基本满意”的群众占比为96.67%。公众满意度指标分值5分，得5分，不扣分。”

按照社会调查基本规范，该满意度调查存在如下不足之处：一是调查对象不准确。有效调查对象应为植物园游客，而且仅限2022年入园游客，而非泛指该市群众。如果调查对象有未入园浏览的群众，即使调查人数再多，对该园的绩效评价都属于无效评价。二是未说明抽样方法。该植物园占地200公顷，当年游客量达185万人次。必须使用随机抽样方法，抽中的样本游客才能代表当年游客总体。如果使用非随机抽样，而且仅有60人的样本量，无法保证样本代表性，不能推论游客总体满意度。换言之，此调查结果失真程度非常高，不可信。三是未说明调查方式。报告所说“回收有效问卷”过于笼统。准确调查方式可以是园内拦截调查，同时采用等距抽样等随机方法，或者对近期入园游客的随机抽样电话调查，又或者是游客通过门票上的二维码扫码参加的调查等等。未说明具体调查方式时，无从判断调查过程是否遵循随机抽样原则，更无从判断调查结果的真实性。四是样本量过少。统计学上确定最小样本量的依据，在95%置信度下，抽样误差控制在3%以内时，随机抽样应在1067人。抽样误差控制在5%以内时，随机抽样应在384人。根据国内外满意度调查的实际操作经验来看，区县级的满意度调查随机样本量不应低于200人，也有学者建议不低于250人。美国顾客满意度指数（ACSI）和欧洲顾客满意度指数（ECSI）,要求每家入选公司的样本量至少在250。统计学家弗洛德认为，250左右的样本量，足以满足一般的调查需要。因此，此项报告中仅有60份答卷作为样本，不足以代表上百万游客总体。此项满意度调查结果必然存在失真情况。

规范财政绩效评价满意度调查的建议

建议出台财政绩效评价的满意度调查操作指南。从满意度指标设置、满意度算法、抽样方法、样本量、调查方式、数据质量控制等环节，出台统一规范及操作指南。

建议通过培训提升调查人员的专业素养。现有环境下，财政部门、业务部门及项目资金使用单位，对绩效评价工作的经办人员都没有统计调查专业素养要求，采购第三方机构服务时，也少有统计调查专业要求。在此情况下，需组织专项培训甚至检查、考试，才能保障绩效评价经办人员掌握指南内容，遵循指南操作。

建议引入专家评审。对第三方机构的绩效评价服务，委托部门同样有必要加强项目管控与质量审核，尤其是满意度指标的设置及调查方法的把控。如果无法判断第三方服务质量，应邀请满意度调查专家，参与项目评审，避免绩效评价失真甚至数据造价行为。

（李涛：评科智库秘书长 广东省评价科学研究会监事长）