摘要 學(xué)科領(lǐng)域里的優(yōu)秀科學(xué)家就像“天際線”上升起的星星。天際線方案最大的優(yōu)勢(shì)在于避免了評(píng)價(jià)指標(biāo)賦權(quán)重過(guò)程中的武斷。 論文推薦人:武夷山 / 中國(guó)科學(xué)技術(shù)發(fā)展戰(zhàn)略研究院
文稿:李江 / 浙江大學(xué);編輯:李東 / 浙江大學(xué) 注:圖片來(lái)源于參考文獻(xiàn)中的論文
兩院院士、千人計(jì)劃、青年千人、長(zhǎng)江學(xué)者、青年長(zhǎng)江學(xué)者、杰青、優(yōu)青、拔尖人才……,我們有很多人才遴選計(jì)劃激勵(lì)著科研工作者好好干?鋸埖卣f(shuō),很多人認(rèn)為頭上不戴頂“帽子”就覺得低人一等。人才遴選主要依賴于科學(xué)家的科研業(yè)績(jī),我們有很多定量學(xué)術(shù)評(píng)價(jià)指標(biāo),用于衡量科學(xué)家的學(xué)術(shù)績(jī)效,例如,h指數(shù)、g指數(shù)、發(fā)文量、被引次數(shù)……,此外,還要考察科學(xué)家的科研項(xiàng)目、獲獎(jiǎng)、專著、社會(huì)服務(wù)與影響等等。 任何一個(gè)指標(biāo)都只能衡量科學(xué)家的某一個(gè)維度或幾個(gè)維度的特征,而不能全面地揭示科學(xué)家的學(xué)術(shù)績(jī)效。所以,我們常?吹礁黝愒u(píng)價(jià)體系,羅列一組指標(biāo),采用各種“科學(xué)的方法”確定權(quán)重,然后,標(biāo)準(zhǔn)化、加權(quán)、累加,得到總分并排名。從科學(xué)的角度來(lái)看,用任何方法獲得權(quán)重都是武斷的。之前沒有人指出來(lái),是因?yàn)檫沒有找到更好地方案。今天小編分享的論文提出了一種超贊的解決方案。 選擇餐廳吃飯時(shí),我們通常非常在意食物的品質(zhì)和服務(wù)的質(zhì)量。如果有一家餐廳在這兩個(gè)方面都無(wú)人能及,那么,這家餐廳絕對(duì)是首選。但是,多數(shù)時(shí)候我們發(fā)現(xiàn)食物的品質(zhì)和服務(wù)的質(zhì)量難以兼得,于是,直接的方法就是對(duì)候選的每個(gè)餐廳的這兩個(gè)指標(biāo)打分,然后加權(quán)累加得到排名。Sidiropoulos等人將兩個(gè)指標(biāo)的打分結(jié)果畫在二維坐標(biāo)系里,如上圖所示,并認(rèn)為,對(duì)于圖中的任意點(diǎn)S而言,如果沒有另一個(gè)點(diǎn)在兩個(gè)指標(biāo)的分值上都比它高,那么,點(diǎn)S就可以被視為優(yōu)秀的點(diǎn)。這樣操作的結(jié)果,可能會(huì)得到一組點(diǎn),這些點(diǎn)連接在一起,形成一條“天際線(Skyline)”。天際線上的點(diǎn)都是優(yōu)秀的點(diǎn),都是冉冉升起的星星,因此,天際線可用于遴選優(yōu)秀科學(xué)家。
優(yōu)點(diǎn)1:避免了武斷的賦權(quán)重方法 天際線的操作過(guò)程中,同樣使用了兩個(gè)指標(biāo)的分值,但并不需要為指標(biāo)賦權(quán)重。避免賦權(quán)重過(guò)程中的人為干預(yù)之后,能極大地提高遴選方案的可重復(fù)性。
優(yōu)點(diǎn)2:避免了單個(gè)指標(biāo)的片面性 h指數(shù)常用于科學(xué)家學(xué)術(shù)影響力評(píng)估,但該指標(biāo)只考察科學(xué)家的發(fā)文量與被引次數(shù)兩個(gè)方面,而忽視了學(xué)術(shù)發(fā)展軌跡、年限等其他因素。此外,科學(xué)家遴選過(guò)程不僅考慮論文、還考慮科研項(xiàng)目、獲獎(jiǎng)、社會(huì)影響等一系列因素。天際線的優(yōu)勢(shì)在于可以綜合使用一組指標(biāo),從多個(gè)維度全面揭示科學(xué)家的學(xué)術(shù)績(jī)效。
缺點(diǎn)1:冠軍只能有一個(gè)時(shí) 冠軍只能有一個(gè)時(shí),天際線可能不能奏效。如上圖所示,如果我們要給朋友建議一組餐廳,天際線遴選方案超贊,但我們要自己挑選一家餐廳吃飯時(shí),便陷入糾結(jié),因?yàn)樘祀H線上一共有6個(gè)點(diǎn)。正因?yàn)槿绱耍瑠W運(yùn)會(huì)比賽采用多指標(biāo)加權(quán)的方法評(píng)選體操團(tuán)體冠軍,好聲音比賽采用多指標(biāo)加權(quán)的方法評(píng)選年度冠軍。
缺點(diǎn)2:排名情結(jié) 每個(gè)人心中都有一個(gè)“我比你強(qiáng)”的情結(jié),這種情結(jié)需要一個(gè)排名得以釋放。于是,我們從小學(xué)開始,通過(guò)考試排名證明我比你強(qiáng),不行的話,我鋼琴十級(jí),比你強(qiáng),再不行的話,我國(guó)家二級(jí)運(yùn)動(dòng)員,踢球比你強(qiáng)……。這種情結(jié)深深地印在每個(gè)人心里,所以我們樂此不疲地點(diǎn)擊各種排名。看到大學(xué)排行榜里浙江大學(xué)排在南京大學(xué)前面的反應(yīng)是:看,我比你強(qiáng);看到南京大學(xué)排在浙江大學(xué)前面的反應(yīng)是:哼,瞎扯。排行榜受關(guān)注的原因,不是它科學(xué)合理,不是它提供了信息,不是它解決了問(wèn)題……,而是它提供了“我比你強(qiáng)”的依據(jù)。在這方面,“天際線”可能無(wú)能為力。
天際線的測(cè)試效果 Sidiropoulos等人用了幾組數(shù)據(jù)測(cè)試天際線的遴選效果,研究發(fā)現(xiàn),天際線遴選出的科學(xué)家與同行評(píng)議遴選出的圖靈獎(jiǎng)等獎(jiǎng)項(xiàng)的獲獎(jiǎng)人在很大程度上一致,因此,天際線可在一定程度上作為同行評(píng)議不可行時(shí)高效的替代方案。此外,歷時(shí)數(shù)據(jù)顯示,天際線上的科學(xué)家大概每5年換一波,這是科學(xué)共同體的新老更替規(guī)律。
參考文獻(xiàn) Sidiropoulos, A., Gogoglou, A., Katsaros, D., & Manolopoulos,Y. (2016). Gazing at the skyline for star scientists. Journal ofInformetrics, 10(3), 789-813.
一個(gè)超贊的優(yōu)秀科學(xué)家遴選方案 | 責(zé)任編輯:蟲子 |