研究构建的高校科研人员绩效评价指标体系既包括可直接观测的客观量化指标,又包括不可直接观测的定性指标,因此在对科研人员开展绩效评价分析前,需要获取能够反应上述指标的科研人员绩效数据。依据构建的高校科研人员绩效评价指标体系,将绩效指标转化为问题项,设计的调查问卷结构如下:第一部分,基础信息部分。主要采集受访人员年龄、所在机构类别、从事专业领域等信息。第二部分,问卷主体部分。涵盖基础绩效、创新创意绩效及成果转化绩效三个方面的问题,均为客观题项。第三部分,开放式问卷。主要收集受访人员有关提升科研人员绩效、促进科研成果转化的对策建议。

表1 创新成果转化中高校科研人员绩效评价指标体系

为保障调查问卷设计与研究问题的匹配性,在初始问卷设计完成后,选择西安航空学院、咸阳职业技术学院、西京学院、西安建筑科技大学、西安交通大学有限样本进行了发放,就预调研回收情况咨询了有关专家,对问卷中部分提项进行了修正。正式问卷发放历时4个月,采取面对面、网络及微信等方式共发放调查问卷300份,回收问卷286份,剔除无效问卷后,保留有效问卷253份,有效回收率为84.3%,将其作为高校科研人员创新科技成果转化绩效评价的样本数据。

为保障数据收集与问题研究的匹配性,数据整理后对其进行了信度和效度分析,并对其基本数据特征进行了描述性统计。

(1)数据的统计性描述。在统计性分析中,主要进行数据均值、极大极小值及偏度峰度分析(表2、表3)。依据数据统计结果,科研人员科技成果产出指标具有以下特性:①在省属普通本科院校、大专院校和民办高校中,科研论文及科研著作年均产出不高,3年内发表核心及以上期刊论文数处于1～3篇的受访人员占比最大,为53.25%; 而出版著作数量则更低,其中80%以上的科研人员3年内没有著作出版。②科研人员申请专利及上级政府部门或科研单位科研成果认定的积极性不高,仅有少部分科研人员3年内申请了发明专利或争取了上级政府部门或科研单位科研成果认定,占受访人员比例均低于10%。③参与企业或相关单位委托课题已成为高校教师介入成果转化的重要形式,受访高校教师中有接近40%的人员,主持或参与横向课题研究。但从研究形式上看,还相对单一,与企业的研究合作多数限于承担起科研外包项目,高级合作研究形式(如联合研究)较少。④技术授权使用率较低。主要集中在对外技术授权和对内技术授权两个方面,其中对外技术授权量(即向企业或其他单位技术授权)明显较低,人均技术授权数仅为0.34; 而接受外部技术授权数则更低,人均仅为0.09。⑤多数科研人员难以进行科技成果的自主孵化,受访科研人员中仅有不足15%的人员进行或参与了科研成果的自主孵化。

表2 高校科研人员创新成果转化绩效统计性描述(1)

表3 高校科研人员创新成果转化绩效统计性描述(2)

(2)数据的信度和效度检验。采用Cronbach方法对调查问卷回收的数据进行信度检验。借助社会科学统计分析软件spss18.0,检验其Cronbach系数(表4)。

表4 科研人员绩效评价问卷调研及数据Cronbach系数

借助探索性因子分析方法分析问卷的结构效度。经检验,KMO值为0.876,Bartlett球形检验值为593.065,认为可进行因子分析(表5)。由此可以判定,研究设计的调查问卷具有较好的结构效度,对于高校科研人员创新科技成果转化绩效评价具有较强的解释力。

表5 科研人员绩效评价调研问卷KMO和Bartlett球形检验值

综上所述,采集数据后调查问卷通过了信度和效度检验,可有效支撑后续的绩效评价与分析。

在对高校科研人员创新科技成果转化绩效评价实施过程中,综合考虑了研究需要及评价方法的适用性,在创新成果转化绩效评价指标赋权环节选择了20名相关领域专家组成评价小组; 在创新成果转化绩效评价指标评分环节邀请了10名相关领域专家参与科研人员绩效评分。

在对高校科研人员创新科技成果转化绩效评价实施过程中,评价专家主要来自于以下领域:(1)科技管理部门人员,占20%;(2)人事部门绩效管理的相关人员,占20%;(3)科研团队负责人或其他科研一线人员,占40%;(4)政府及产业界相关人员,占20%。为避免绩效评价主体对评价结果客观性的影响,在绩效评价各环节由上述来自不同领域的人员构成名义小组。

邀请专家对准则层相对于目标层、方案层相对于准则层的重要性程度进行打分。为计算方面,采用各个专家打分值简单平均数取整数作为指标相对重要性评价值。其中,依据层次分析方法的基本原理,打分准则依据表6。

表6 重要性判定的标度

首先,借助专家打分情况,构建准则层相对于目标层的重要性矩阵(表7)。

表7 准则层(B)相对于目标层(A)的重要性矩阵

利用常用跟方法对其进行归一化处理。其中

W_i=(∏a_ij)^1/n(1)

为保障评价的一致性,在权重计算后需要对其进行一致性检验。借助式(2)对其进行一致性检验。为保障评价的一致性,而一致性检验需测算向量矩阵的最大特征值,研究采用方根法计算特征根λ_i,而最大特征根λmax=1/n∑ⁿ_i=1λ_i。可应用式(2)对表7矩阵进行一致性检验。其中,N=3。

C..I=(λ_max-N)/(N-1)(2)

λ_max=3.531,依据一致性检验参考标度,矩阵通过了一致性检验,说明专家关于准则层相对于目标层重要性的判断具有较好的一致性。由此,判定准则层权重向量:科研人员绩效评价一级指标可按照其重要性进行排序,为基础绩效(0.601)>成果转化绩效(0.259)>创新创意绩效(0.140)。可见,基础绩效仍为科研人员绩效构成最为核心的部分,而评价主体对于成果转化绩效重要性的认同感也在增强。

依据上述关于准则层指标重要性矩阵构建思路,同样构建方案层相对于准则层指标重要性判断矩阵(表8～表 10)。

对矩阵C₁进行一致性检验。其中,一致性检验系数C..I=(λ_max-N)/(N-1)=0.293 2,其中N=4; R.I=0.293 2/0.89<1,因此判断矩阵C₁通过了一致性检验。专家对科研人员基础绩效的评价具有较高的一致性。

对矩阵C₂进行一致性检验。其一致性检验参数C..I=(λ_max-N)/(N-1)=0.463,其中N=3; 而R.I=0.463/0.52=0.890 4<1,因此判断矩阵C₂也可通过一致性检验。

对矩阵C₃进行一致性检验。其一致性检验参数C..I=(λ_max-N)/(N-1)=0.175 3,其中N=7; 而一致性检验参数R.I=0.175 2/1.36=0.128 8<1。矩阵C₃也通过了一致性检验。

表8 方案层相对于准则层(B1)的重要性矩阵(C1)

表9 方案层相对于准则层(B2)的重要性矩阵(C2)

表 10 方案层相对于准则层(B3)的重要性矩阵(C3)

对高校科研人员创新科技成果转化绩效评价指标权重的判定,需结合各层指标相对与上层指标的重要性,计算加权权重,构建综合指标权重矩阵(表 11)。

依据表 11对高校科研人员创新科技成果转化绩效指标综合权重的判定,可得指标权重向量:

W=(0.053 9,0.067 1,0.200 7,0.279 3,0.036 5,0.052 8,0.050 7,0.010 2,0.012 0,0.016 0,0.025 1,0.048 0,0.052 3,0.095 3)

由指标权重向量结果可知,对高校科研人员创新科技成果转化绩效三级指标(方案层指标)进行排序如下:地市厅局级及以上档次科研成果认定、专利申请(批准)、成果转化收益、著作出版、核心及以上期刊论文发表、科研活动采用新技术、自主孵化项目、科研活动知识积累、企业委托或联合技术开发项目、科研活动采用新思想、成果(专利)交换使用、获得技术授权数、对外技术授权数、签订技术转让合同。

表 11 综合指标权重矩阵