构建综合集成学术评价体系

今年2月，教育部、科技部发布的《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》提出“鼓励定性与定量相结合的综合评价方式，探索建立科学的评价体系”，这与著名科学家钱学森曾提出的“定性定量相结合的综合集成方法”有一定的关联性。能否将综合集成方法应用于学术评价，建构定性与定量相结合的学术评价体系是值得学界探讨的话题。

综合集成方法助力开创学术评价新局面

定性定量相结合的综合集成方法的实质是把专家体系、信息体系与知识体系以及计算机体系有机结合，构成一个高度智能化的人机结合体系。该方法具有以下特点：一是把定性判断和定量研究有机结合；二是把各学科、各领域的专家及知识综合集成到一起进行评价；三是把专家经验、大数据、人工智能等综合集成，形成人机系统，既有主观评价，又有客观数据。面对复杂系统，定性定量相结合的综合集成方法能够发挥定性定量的各自优势，达到全面、客观的效果。

学术评价是一个开放、复杂的系统性问题，采用定性定量相结合的综合集成方法，有助于开创学术评价新局面。以往的评价体系或是依靠主观评价，或只注重定量评价。实践表明，这两种方法都是不全面的，很难评估出学术成果的真正价值。

学术评价需要定量与定性相结合

定性学术评价主要是通过同行专家进行相互评价。目前国外依然比较重视同行专家的意见，我国以往也主要依靠同行的定性评价。同行专家的定性评价可以科学把握科研成果的创新本质，同时更全面地评估新成果在学科发展中的历史地位。但是，同行定性评价也有其局限性，主要表现在评价者是少数专家，评价结果主观性强、样本数少、差异性大、难以检验。

定量学术评价的出现主要得益于文献计量学的兴起。它主要从学术成果的外在表现来评价其社会影响，例如论文的数量、发表论文的刊物级别、发表刊物的影响因子、引用次数等，这些外在数据比较客观地评价了成果的创新性和影响力。定量方法引入我国后，在学校排名、学科评估和成果评奖，特别是刊物分级中，得到了广泛应用。定量方法用数据说话，克服了个人的主观性和不确定性，因此更具有客观性和可检验性，但有时量与质不完全对应，数据也不一定能够反映学术成果的价值。

学术成果应该是质和量的统一，学术评价需将定性与定量相结合，形成综合的评价体系。这样既能发挥同行专家的定性优势，又能发挥大数据、人工智能对数据的采集、计量和评估的定量优势，进而实现人机结合。

推进综合集成学术评价体系建设

首先，由同行组成的专家团队对成果的创新性和学术地位进行定性评价。要获得公平公正的定性评估，必须注意评级机构的选择、专家库的建设、专家的遴选以及双向匿名等问题。第一，应该建立独立公正的第三方评价机构。目前由本单位邀请少数专家进行定性评价的做法不易做到公平公正，应该由权威、独立的第三方组成评价机构。第二，专家数据库要足够大。可以将全国各高校的各类学者收入专家库中，有些比较国际化的专业也可以考虑适当吸收国外学者特别是华人学者。第三，随机抽取成果鉴定专家。每一次成果鉴定可以在专家库中根据研究方向或问题最接近原则随机抽取若干专家，且抽取的专家应该在5名以上，以便尽量消除个人偏见、减少误差。第四，实行双向匿名制。该制度可以避免评审中渗透个人感情和利益因素。

其次，利用大数据、人工智能等手段获取学术成果的影响力指标，以便用数据来评价学术成果的外在影响。为了更好地做好学术成果的定量评价，我们要注意以下问题：第一，建构完备的分类量化参数指标。量化参数指标的选取要科学、全面，并根据不同类型的成果确定不同的参数体系，以期能更全面、精准地展现学术成果的创新性和价值。第二，利用大数据、人工智能等技术挖掘成果影响力数据。除了传统的他引次数、影响因子等文献计量学数据，学术成果的社会影响还表现在网络云端中，需从中挖掘相关数据以便更加充分地反映成果的社会影响力。第三，用数据算法模型全面评价成果的社会影响力。大数据可以更全面、精准地反映成果的创新性和影响力，因此应引入大数据及其算法模型来建构学术成果评价体系，以尽量减少人为因素的影响，让数据更加客观公正。

最后，构建定性与定量相结合的综合集成评价体系主要有两种路径：一是定性与定量结合形成定性评价结论，二是定性与定量结合形成定量评价结论。第一种路径是在定性和定量评价的基础上，由专家做最后的综合评价。第二种路径是将同行专家的定性评价进行量化，最后全部变成量化指标体系，再根据不同的权重进行综合集成，最终让数据说话。

（作者系江西财经大学马克思主义学院教授）