本文刊載于《中國科學院院刊》2025年第10期“政策與管理研究”
鮑錦濤1 步一2*
1 北京大學 科學研究部
2 北京大學 信息管理系
在國家深化科技體制改革的系統工程下，構建以創新價值、能力、貢獻為導向的科技評價體系成為關鍵環節。針對當前“破五唯”改革后如何建立新范式的核心挑戰，文章引入元評估作為核心理論框架，旨在對科學計量指標的效度、信度與公平性進行系統性審視，以破解“指標-行為”互構循環、防范新的指標異化風險。文章系統剖析了科學計量指標在概念測量、結果穩定性及無偏見性方面面臨的固有挑戰，綜述了國際負責任評價原則的前沿探索。在此基礎上，文章立足中國情境，提出了構建負責任指標生態系統的系統路徑：通過指標設計的本土化調適、評價場景的精細化解構，以及制度技術的協同化賦能，推動科技評價從“計量管理”向“價值治理”的范式轉型，最終服務于國家科研新體制的建設，以及科技創新能力的系統性提升。
一、科學計量評價的挑戰與元評估的必然性
科學計量指標作為科研管理的“可見之手”，其改革與規范使用尤為重要。它在提升資源配置效率的同時，若設計或應用不當，極易引發指標異化、價值偏離等系統性風險，與改革目標背道而馳。中國科技評價體系歷經40年“量化啟蒙—國際接軌—改革糾偏”演變。根據《中國科技論文統計報告》的統計，2023年，我國在各學科最具影響力期刊上發表的論文數占世界總量的27.7%，世界排名已達第一。當前，在“破五唯”取得階段性成果的基礎上，改革正步入深水區，面臨從“破”到“立”的關鍵躍遷，亟待克服簡單的指標替換陷阱與深層的制度惰性困局，以構建真正契合科研規律與體制要求的高質量評價體系。深層矛盾體現為原創導向與跟風研究的價值倒掛、技術攻關與產業需求的計量盲區、成果轉化與學術貢獻的制度割裂三大脫節問題。
這些問題的本質在于評價工具與創新規律的斷裂。行政主導的“指標-資源”綁定機制形成路徑依賴（如科研機構將評價指標內化為組織目標），而績效合法性機制進一步固化“指標-行為”互構循環（如學者為應對考核采取專利/論文拆分、熱點跟風等策略）。這種評價體系的內在缺陷，其核心機制可由古德哈特定律（Goodhart’s Law）所揭示：當一項測量指標成為決策目標時，它就會失去其作為測量工具的效力。制度社會學視角揭示，唯有打破這種由指標扭曲行為、行為又反過來固化指標的自我強化循環，才能釋放科技創新活力。這標志著單純改進單一指標的傳統思路已難以為繼，必須引入對評價體系本身的反思與重構，即元評估（Meta-assessment）這一更高階的思維。
元評估旨在對評估指標本身的效度（validity）、信度（reliability）、公平性（fairness）及其社會效果進行系統性檢驗與反思。在國家著力建立以創新價值、能力、貢獻為導向的科技評價新體系的當下，元評估為破解上述困局、防止改革進程中出現新的指標異化提供了關鍵的理論工具與方法論指引。本文基于元評估的三維框架，剖析中國科學計量評價在效度、信度與公平性上的核心挑戰，并嘗試提出一套服務于科技體制改革目標的負責任指標生態系統重構路徑。
二、科學計量指標元評估的理論框架與國際經驗
2.1 元評估的核心維度及其挑戰
元評估作為對評估指標本身科學性、適用性及倫理影響的系統性審查，其核心在于剖析支撐指標價值的三大關鍵維度：效度、信度與公平性。這三大維度共同構成了評估指標能否真實、穩定且無偏倚地服務于科研評價實踐的基石，對其進行深入審視是提升評估質量、優化學術生態的必經之路。
（1）效度維度關注指標能否準確測量其預設的目標概念，其核心挑戰在于克服各類測量失真
這里的首要問題體現為“概念漂移”，即指標的實際測量對象偏離了其理論目標，這在社會科學中被認為是構念的概念化及其操作化之間的偏差。期刊影響因子（JIF）被廣泛用作單篇論文質量的代理變量即為典型例證。Waltman和Traag的研究指出，引用分布高度偏斜，少數文章獲得大部分引用。以期刊為例，前10%的論文往往占據超過一半的總引用量，這使得JIF難以代表單篇論文的真實質量；同時，依賴JIF這樣的群體指標去推斷個體（即單篇論文）水平存在邏輯錯誤。這直接暴露了“以刊評文”方式在反映個體研究成果質量上存在顯著的效度缺陷。其次，“學科盲區”是跨學科評價中的普遍障礙。不同學科領域知識傳播與引用積累的速率存在根本差異，例如：數學領域論文的被引半衰期超過10年，而臨床醫學則可能不足2年。這種差異使得直接比較不同學科論文的原始被引次數幾乎失去意義。為了應對這一挑戰，提升指標效度，引入學科校正機制至關重要，如領域權重引用影響力指數（FWCI）等標準化方法，其通過將論文引用表現置于其特定學科領域的基準中進行比較，顯著提升了跨學科評價的效度與可比性。
（2）信度維度強調指標測量結果的穩定性、一致性與可復現性
然而，科研評價指標的信度在實踐中面臨著多重嚴峻挑戰。
① “數據庫依賴性”。不同文獻數據庫（如Scopus與Web of Science）在期刊覆蓋范圍、數據收錄標準上的顯著差異，直接導致基于不同數據庫計算同一學者的相關科學計量指標可能出現很大偏差。這意味著評價結果高度依賴于所選用的數據源，其客觀性和可比性受到嚴重質疑。
② “算法波動性”是新興計量指標面臨的特有風險。由底層平臺技術規則變動引發的劇烈波動使得指標值缺乏必要的穩定性，難以進行可靠的縱向跟蹤和比較。
③ “時間衰減效應”揭示了引文積累的非即時性對早期評估信度的干擾。部分具有深遠影響力的“睡美人”論文可能在發表后沉寂5—10年甚至更久才迎來引用高峰。假如僅依據發表初期的引文數據進行評估，必然嚴重低估其真實價值和影響力，導致評估結果失真。
（3）公平性維度致力于識別并消除評價指標中潛藏的系統性偏見，確保評價過程與結果的公正性，避免因非學術因素（如地域、性別、語言）導致特定群體處于結構性劣勢
① 地域偏見是顯著的不公來源之一。例如，在Scopus這樣的主流數據庫中，非洲大陸的期刊占比僅約0.1%。這種顯著的收錄不平衡，直接壓制了發展中國家研究成果在全球學術舞臺上的可見度和影響力，使其在基于此類數據庫的評價體系中先天不足。
② 性別偏見同樣不容忽視。Larivière等的實證分析揭示，即使女性學者在科研產出數量上與男性學者相當，其獲得的被引量平均也要低于男性學者。這種評價結果的系統性差異，極可能阻礙女性學者在學術職業發展中的晉升機會與資源獲取，加劇學術界的性別不平等。
③ 語言壁壘構成另一重障礙。非英語科研成果在傳播廣度、引用潛力及其在主流評價指標中的劣勢都會導致其學術貢獻被低估。
元評估通過對效度、信度與公平性三大維度的系統性審視，為評估指標的科學性、適用性和倫理性提供了堅實的分析框架。只有深刻理解并有效應對指標在概念測量準確性（效度）、結果穩定性（信度）以及無偏見性（公平性）方面存在的固有挑戰，才能推動科研評價實踐不斷走向完善與公正，最終服務于更健康、更包容的學術生態構建。
2.2 國際宣言的奠基與新興指標的挑戰
21世紀以來，科研評價體系逐漸從依賴傳統文獻計量指標轉向更為全面和負責任的多維評估模式。在這一轉型過程中，2013年發布的《舊金山科研評估宣言》（San Francisco Declaration on Research Assessment，以下簡稱“DORA”）和2015年發布的《萊頓宣言》（Leiden Manifesto for Research Metrics）具有里程碑式的意義，共同奠定了當代科研元評估的理論基礎與實踐原則。DORA宣言明確提出應消除對期刊影響因子的過度依賴，建議不得將期刊影響因子作為衡量單篇論文質量或科研人員貢獻的替代指標，強調必須根據研究內容本身的價值進行評價。截至2025年10月中旬，已有168個國家和地區的2.6萬多研究人員或機構簽署了DORA宣言。《萊頓宣言》則進一步系統化地提出了科研評價中應遵循的公平性與透明度原則，并著重指出應保護學科差異和科研活動的多樣性，避免“一刀切”的評價方式損害某些領域的科研生態；倡導指標使用的開放性，要求公開所有評價指標的算法、數據來源及其局限性，以增強評估過程的可審查性和公信力。2025年6月，北京大學、武漢大學、南京大學等一批青年科學計量學者也在國際科學計量學與信息計量學會議（International Conference on Scientometrics and Informetrics）上發布了《走向負責任的科學計量學：研究評估的規范數據實踐》（Toward Responsible Scientometrics: Normative Data Practices for Research Evaluation）的倡議，傳播中國聲音。
隨著科研交流形態的日益多元化和數字化，一系列新興計量指標被提出并應用于實踐，其中以替代計量學（Altmetrics）和專利引用指標最為典型。替代計量學嘗試通過追蹤學術成果在社交媒體、新聞媒體、政策文檔等非傳統渠道的傳播情況來反映其社會影響力。然而，這類指標在效度上面臨嚴峻挑戰。Bornmann的綜述表明，論文在網絡中的引用與其后續的學術引用率之間僅存在中等程度的相關，說明公眾關注度與內在學術價值之間存在顯著脫節，社會影響力并不能等同于科學價值。類似地，專利引用長期以來被視為衡量科技成果轉化與應用價值的重要指標，但企業在專利文件中引用學術文獻的動機非常復雜，既可能代表對該技術的采納與進一步發展，也可能是出于“專利規避”的策略考慮，即通過引用現有文獻來限制他人的專利主張范圍或規避侵權風險。因此，僅憑專利引用次數難以有效區分正面的技術采納與防御性的法律策略，其作為評價指標的效度存疑。
為應對上述挑戰，歐盟在推動負責任評價機制方面進行了重要探索，其“創新雷達”（Innovation Radar）計劃提倡采用“證據融合”的評價范式。該范式不一味依賴單一數據源或指標類型，而是將替代計量指標、專利指標與傳統同行評議、學術引用分析相結合，形成多來源、多維度且相互驗證的評價證據鏈。該做法標志著國際科研評價理念的根本轉變：從最初尋求簡單、可替代的量化指標，逐步發展為以多維驗證為核心、以支持決策為目標的系統化元評估框架。
三、基于元評估的負責任指標生態系統構建路徑
當前正值國家深化科技體制改革的關鍵時期，其核心目標在于優化科研組織模式、重塑資源配置邏輯與提升創新體系整體效能。在此宏觀背景下，科技評價體系作為指揮棒，“破五唯”已取得階段性成效，但破除舊有標準后，如何構建一套科學、負責任且與中國科研新體制相適應的評價新范式，已成為關乎改革成敗的核心挑戰。元評估作為對評價活動本身的再評估，聚焦效度（有效性）、信度（可靠性）與公平性三大核心維度，為構建具有中國特色的負責任指標體系提供了理論根基與方法論指引。本節基于元評估框架，從指標設計、場景適配與制度協同3個方面提出生態系統構建路徑，推動科技評價從“計量管理”向“價值治理”轉型。
3.1 提升指標效度的本土化設計
國際主流科學計量指標大多形成于西方學術語境，難以充分響應中國科技創新中的國家戰略需求與產業現實問題。效度提升的核心在于通過本土化設計，使指標真實捕捉中國科研活動的多元價值。
學科差異是制約評價效度的關鍵因素。直接移植國際通用標準，可能導致戰略亟需領域或中國特色學科被系統性低估。近年來，我國在科技評價體系中加強了對本土卓越期刊的認可，一些反映國家重大戰略需求的研究成果被納入高水平成果評價范圍，體現了立足國情的效度提升努力。
在指標設計上，應突破單一引文分析的局限，構建融合學術價值、社會影響與技術創新等多維度的復合型評價指標，推動指標設計的深度本土化。
① 建立學科差異校正模型，不能直接套用國際標準；應自主構建符合中國學科生態、科研范式與國家戰略需求的基準參考體系。例如，在評價研究成果時，不僅要關注其國際引用情況，還應考量其在國內學術共同體中的影響力，特別是在國家重大工程、關鍵核心技術攻關和社會民生改善中的實際貢獻。這種多維度的評價框架能夠更加全面地反映科研工作的真實價值。
② 引入“創新韌性”指標，以克服短期評價的弊端。這包括設立長周期（如10—15年）成果追溯機制、評估核心技術的市場轉化率與國產化替代率，以及對承擔“卡脖子”等臨界領域攻關任務的項目給予特殊的支持度權重，從而系統性地引導科研活動服務于國家長期創新戰略和安全需求。科技創新具有長期性和不確定性，短期評價容易扭曲科研行為，削弱系統創新韌性。為此，需建立長周期評價機制，承認科研價值實現的滯后性。這方面可以借鑒國際上的有益做法，建立成果價值隨時間變化的動態評估模型，對經過長期實踐檢驗產生重大影響的成果給予應有的認可。
③ 針對技術轉化的特點，建立反映技術成熟度、市場應用前景和產業鏈安全等多維度的評價指標體系。通過設置國產化率、技術自主可控度等特色指標，有效引導科研工作服務于國家創新體系建設。
3.2 解構評價場景與強化適配性
科研活動的多樣性決定了評價體系的復雜性。指標效度的提升最終需落地于具體的評價實踐，這就要求對評價場景進行精細化解構，徹底摒棄“一刀切”模式。例如，對基礎研究，應堅持同行評議的主導地位，并輔以引文歷時分析等量化工具，識別“睡美人”式原創成果；而對面向國家重大需求的技術攻關類研究，則應果斷棄用論文導向，轉而采用專利鏈整合度（衡量技術布局的系統性與前瞻性）、國產化替代率、技術就緒度等高度產業關聯的指標進行評估，真正反映其解決實際問題的能力。
基礎研究具有高度原創性和不確定性，其價值往往需要較長時間才能顯現。對此類研究的評價應在堅持同行評議的基礎上，創新性地引入基于大數據和人工智能的輔助評價方法。通過追蹤研究成果的長期引用軌跡和學術影響，識別那些初期關注度不高但后期產生重大影響的原創性工作。同時，可以探索建立基于概念傳播和分析的創新性評價方法，通過監測新概念、新方法在學術共同體中的傳播速度和影響范圍，更早地發現具有突破潛力的研究方向。這種“同行評議+”的混合模式既保持了學術共同體判斷的核心地位，又利用了現代技術手段擴展評價的視野和維度。
面向國家重大需求的技術攻關類研究，其評價應徹底擺脫論文導向，建立直接反映產業競爭力和國家安全保障能力的指標體系。這類評價需要重點關注技術在解決關鍵瓶頸問題中的實際效果、自主可控程度以及產業鏈帶動作用。通過建立技術就緒度與市場就緒度協同評價機制，確保科技成果不僅能“做出來”，更能“用起來”“產出來”。評價主體也應更加多元化，吸收產業專家、最終用戶和投資機構等參與評價過程，使評價結果更加貼近實際需求。
對于成果轉化類活動，評價焦點應從論文專利數量轉向對創新鏈的實際整合效能。建立科技成果市場轉化評價機制，重點評估技術轉移、企業孵化和產業帶動等方面的實際成效。通過建立學術價值與市場價值等效承認的制度安排，激勵科研人員面向經濟主戰場開展創新活動。這種評價導向有助于打通科技成果轉化的“最后一公里”，促進創新鏈產業鏈深度融合。
3.3 制度與技術協同賦能
負責任指標生態系統的落地，必須依靠強有力的政策杠桿撬動現有利益格局，打破制度惰性。
① 應將指標本身的元評估納入科研機構的績效考核體系，引導機構不僅關注產出，更關注評價體系的健康度。這可參考英國REF評估框架中關于環境評估（environment template）的理念，對機構支持負責任研究文化的舉措進行評議。
② 需出臺明確的“負面清單”制度，禁止將單一指標（如期刊影響因子、H指數、論文數）直接用于人才晉升、薪酬核定或項目評審的關鍵決策環節，從源頭上遏制“唯指標”的沖動。
評審專家體系的優化是提升評價信度的關鍵環節。通過建立專家動態評價機制，從領域覆蓋度、評價一致性和前沿把握能力等維度對評審專家進行持續評估和優化。利用現代信息技術手段，建立評審質量監測和反饋機制，及時發現并糾正可能存在的系統性偏差。同時，應加強評審專家培訓，不斷提升其專業水準和職業道德水平。
在公平性保障方面，需要建立完善的利益沖突防范機制。通過區塊鏈等新興技術構建透明可信的評審關系記錄系統，實現利益相關關系的自動識別與預警。建立健全評審回避制度和公示制度，強化全過程監督，確保評價程序的公正性和評價結果的公信力。
針對區域創新資源不平衡問題，應建立有利于協同創新的跨區域評價機制。通過設立設備共享激勵、成果互認和人才柔性評價等制度安排，促進創新要素跨區域流動和優化配置。這些措施有助于縮小區域間創新鴻溝，形成全國一盤棋的創新格局。
獨立專業的第三方評估是保障評價信度的重要環節。應推動建立科技評價倫理監督機構，強化對評價指標、程序和結果的監督與評估。同時，積極引入市場和社會評價力量，形成多元主體參與的立體化評價體系。通過建立評價結果追溯和責任追究機制，確保評價工作嚴肅性和權威性。
數字治理基座建設是現代化科技評價體系的技術支撐。技術支撐是構建可信、公正評價體系的基石。當前亟待開發國家級的“科研畫像”系統，打破數據孤島，整合Web of Science、中國知網、專利數據庫及產業經濟數據，為科研人員、機構和成果構建多維度的全景視圖，為融合多維證據的評價提供數據基礎。為確保評價過程的公正性與成果的真實性，可探索區塊鏈技術的應用，實現從項目立項、研究過程到成果產出和轉化的全鏈條追溯，防止數據造假和指標操縱，讓每一份貢獻都能被清晰、可信地記錄和評估。積極應用人工智能、大數據等先進技術，開發智能輔助評價工具，提升評價工作的效率和精準度。通過數字化手段，實現評價過程的全程留痕和可追溯，為評價質量提升提供技術保障。
四、結論與展望
本文系統剖析了科學計量指標在科研評價應用中引發的系統性風險與深層矛盾，論證了引入元評估框架以打破“指標-行為”互構循環、驅動科技評價體系改革的理論必然性與實踐緊迫性。研究構建了以效度、信度與公平性為核心維度的元評估理論框架，深入辨析了指標在概念測量、結果穩定性及無偏見性方面面臨的固有挑戰，并綜述了以DORA和《萊頓宣言》為代表的國際負責任評價原則與前沿探索。在此基礎上，本文立足中國“破五唯”后的制度場景，提出了構建負責任指標生態系統的系統路徑，主張通過指標設計的本土化調適、評價場景的精細化解構，以及制度技術的協同化賦能，推動科技評價從簡單的“計量管理”邁向更高階的“價值治理”，最終服務于國家科技創新能力的系統性提升。
展望未來，在國家科技體制改革持續深化的征程中，本文提出的元評估框架與負責任指標體系構建路徑，亟待在理論與實踐兩個層面進行探索與驗證。理論上，需進一步探索融合多維證據（如學術引用、社會影響力、技術轉化價值）的復合型指標建模方法與權重分配機制，以更精準地捕捉科研活動的多元價值。實踐上，后續研究可聚焦兩大方向：
① 開發支撐負責任評價的數字化治理基座與智能輔助工具，實現全流程的可信、透明與可審計；
② 開展大規模的實證研究與政策試點，在具體機構、學科或區域中驗證并優化不同場景下的評價方案，從而形成可復制、可推廣的中國模式與標準，為全球科研評價體系的健康發展貢獻中國智慧。
作者簡介
鮑錦濤 北京大學科學研究部成果辦公室主任、副研究員。主要研究領域：科技政策與科技管理。
步 一 北京大學信息管理系助理教授、研究員。主要研究領域：科學學、科技政策與科技管理。
文章來源
鮑錦濤, 步一. 科學計量指標的元評估與負責任使用：理論框架與科技創新賦能路徑. 中國科學院院刊, 2025, 40(10): 1813-1820.
DOI: 10.3724/j.issn.1000-3045.20250829002.
本刊發表的所有文章，除另有說明外，文責自負，不代表本刊觀點。
