Il post odierno riprende il tema descritto nelle ultime settimane ed affronta una questione sollevata nei vari commenti, ovvero quali sono gli indici utilizzati per la valutazione della ricerca e dei ricercatori e quali sono le caratteristiche di pregio ed i limiti di questi strumenti.
VALUTAZIONE DELLA QUALITÀ
La necessità di valutare qualitativamente la ricerca scientifica si basa sul corretto fondamento che, laddove vengano impiegate risorse (soprattutto pubbliche), sia necessario evidenziare i risultati di tali investimenti con criteri che identifichino sia la qualità del singolo risultato, che del ricercatore nel complesso della sua produttività.
Il dibattito che ne scaturisce è ovviamente complesso ed articolato in quanto, se sulla necessità di valutare i risultati è difficile individuare soggetti che non ritengano questa fase necessaria e doverosa, dall’altra parte è estremamente difficile definire i criteri oggettivi sui quali basare le valutazioni.
Questa necessità, esaltata dal bisogno di individuare criteri oggettivi ben definiti, ha portato alla definizione di vari parametri che caratterizzano sia le pubblicazioni che il contesto nel quale esse vengono presentate.
LA QUALITÀ IN UN INDICATORE
Rivolgendo l’attenzione verso qualcosa di oggettivo e definibile in maniera chiara ed univoca, è abbastanza scontata la soluzione del problema mediante la definizione di alcuni indici tra i quali, i più noti ed importanti sono sicuramente l’Impact Factor per quanto riguarda “la sede” della pubblicazione (ovvero la rivista oppure la conferenza) ed il Citation Index per quanto riguarda la pubblicazione stessa (e quindi l’autore o gli autori), oppure qualche altro indicatore che svolga una funzione analoga.
Nella giungla dei possibili indicatori utilizzabili nessuno di questi è scevro di problematiche, in particolare risulta difficile tenere conto al tempo stesso della produttività scientifica (numerosità delle pubblicazioni) e del valore delle stesse (desumibile dal livello di citazioni ottenute per ogni pubblicazione), pertanto si è fatto strada anche il cosiddetto h-index (Indice di Hirsh), il quale è definibile come segue:
considerato il numero delle pubblicazioni di un autore ed il numero di citazioni ricevute, l’indice di un ricercatore vale h se h dei suoi articoli pubblicati in N anni (Np) hanno ottenuto almeno h citazioni ciascuno, ed i rimanenti (Np – h) articoli hanno ricevuto meno di h citazioni ciascuno.
E’ evidente come tale indice punti a tenere in considerazione nel suo complesso la produzione scientifica di un autore piuttosto che privilegiare un singolo lavoro estremamente citato, ma d’altra parte non rende così oggettivo il giudizio, inoltre se si applicasse tale sistema a lavori scientifici fondamentali del passato si potrebbero ottenere risultati non in linea con l’importanza stessa di tali ricerche e ricercatori.
Un metodo molto utilizzato nei paesi anglosassoni (ma non solo) è invece quello della valutazione delle istituzioni e dei gruppi di ricerca attraverso un panel internazionale di esperti, i quali eseguono un’analisi della produzione scientifica nel suo complesso ed esprimono il giudizio su di essa.
CHI STABILISCE GLI INDICI?
Se i problemi relativi alla definizione degli indici per valutare la ricerca sono piuttosto complessi, e per certi versi insoluti (e forse insolubili in maniera completamente soddisfacente), una discussione non meno importante è quella relativa a chi valuta l’importanza delle riviste e delle conferenze, e stabilisce di conseguenza il valore dell’indice di importanza delle stesse, ovvero l’Impact Factor (IF).
Purtroppo tale indice viene stabilito non da una organizzazione indipendente (per quanto spesso, anche in altri ambiti, organizzazioni indipendenti sulla carta non lo siano poi nei fatti), bensì da una società privata attiva nel settore dell’informazione, ovvero la Thomson-Reuter.
Questa organizzazione pubblica annualmente il Journal of Citation Report (JCR), contenente il numero di citazioni di un elevato numero di riviste delle tante discipline scientifiche esistenti, dati al partire dai quali viene valutato l’IF.
L’IF viene calcolato mediante il rapporto tra tutte le citazioni ottenute dalla rivista in un dato anno a partire da articoli pubblicati nel biennio precedente, diviso il numero totale di articoli pubblicati dalla rivista esaminata in tale biennio.
Sebbene nel JCR siano catalogate una grande quantità di riviste scientifiche, queste non sono né la totalità né tanto meno quelle più rappresentative in tutti i casi, in quanto possono esistere (nel mio campo un esempio sono le pubblicazioni della SAE – Society of Automobile Engineers) riviste dotate di peer review e di comitati scientifici di assoluto rilievo internazionale, che per motivi di incostanza nella pubblicazione dei fascicoli piuttosto che di altri fattori non scientifici sono escluse dal JCR.
Inoltre molte riviste “border-line” che si occupano di settori innovativi della ricerca poco coperti dalle riviste più tradizionali, possono non trovare sufficiente visibilità in quanto gli autori degli articoli, per motivi legati alla necessità di pubblicare su riviste di maggiore valore possibile (l’IF delle riviste sulle quali si pubblica è diventato uno dei parametri più importanti nei concorsi), finiscono per pubblicare su un numero ristretto di riviste diventando così una sorta di comunità auto-referenziante nelle citazioni.
Un ulteriore punto da evidenziare è l’elevata variazione dei valori di IF spostandosi tra i vari settori scientifici, anche prossimi tra loro, ma che in sede concorsuale si sovrappongono, creando delle situazioni svantaggiose per un ricercatore rispetto ad un altro, variazione che evidenzia la necessità di normalizzare tale parametro.
LIMITI E CRITICHE SUL SISTEMA DI VALUTAZIONE
Tra i limiti evidenziati da molti autori (è importante sottolineare che la stessa Thomson-Reuter sconsiglia l’uso dell’IF come parametro unico per giudicare il valore delle pubblicazioni di un ricercatore) vi sono sicuramente quelli già evidenziati nel paragrafo precedente riguardo l’inserimento o meno nel JCR di alcune riviste piuttosto che altre, e quelli legati all’impossibilità di mettere insieme riviste settorialmente differenti considerandole tutte con un indice non pesato, oltre che sulla difficoltà di valutazione dei settori di ciascuna rivista (le ricerche spesso e volentieri sono difficilmente circoscrivibili in un solo settore).
Oltre a questi limiti ed alle conseguenti critiche, bisogna aggiungere che la valutazione di un lavoro su parametri legati alle citazioni non corrisponde automaticamente (e spesso nemmeno proporzionalmente) alla qualità e valore del lavoro, in quanto i lavori citati sono molto spesso quelli degli autori più noti, ed in certi casi si assiste ad un vero e proprio “scambio di cortesie” provvedendo a citare colleghi che a loro volta citeranno, oppure addirittura situazioni nelle quali in fase di peer review (seppure anonima) vengono segnalate mancanze nelle citazioni riguardo ai lavori di questa o quella Università/Istituto, segnalazioni che sono in molti casi facilmente riconducibili ai lavori di una determinata cerchia di autori alla quale appartiene il revisore anonimo.
Un ulteriore punto da evidenziare consiste nel livello di fama di un autore nel panorama scientifico internazionale, in quanto al giorno d’oggi l’aumento esponenziale delle pubblicazioni porta con se un’enormità di materiale che ogni ricercatore dovrebbe leggere (cosa impossibile, nemmeno se fosse l’unica occupazione del ricercatore) per essere a conoscenza di ogni dettaglio di quanto pubblicato nel proprio campo di interesse, pertanto ogni autore avrà la tendenza a leggere principalmente i lavori dei gruppi più prestigiosi e conosciuti favorendo le loro citazioni e tralasciando lavori simili ma meno visibili, pertanto l’aumento di citazioni di un autore potrà essere influenzato anche da questi fattori.
Sebbene il sistema basato sugli indici sia ricco di problemi, anche una valutazione basata sul panel di esperti non ne è esente, infatti anche in questo caso possono venirsi a creare dei rapporti di collaborazione tra le parti che possono influenzare la totale obiettività, oppure più semplicemente si può valutare positivamente un gruppo in quanto, a parti invertite (in fin dei conti per ogni settore è difficile individuare un elevato numero di esperti prestigiosi) non si vuole correre il rischio di valutazioni negative.
Se da tutto ciò appare difficile valutare la ricerca, questo non significa che se ne debba fare a meno (sarebbe una cura peggiore del male), ma è evidente che nessun indicatore deve venire preso come metro di giudizio in maniera eccessivamente rigida, perché se confrontare due ricercatori con lo scopo di individuare il migliore basandosi su un numero è impossibile, dall’altra parte è ovvio che utilizzando questi strumenti (e possibilmente migliorandoli) è possibile individuare se un ricercatore risulti attivo oppure non attivo nella ricerca, così come valutare la qualità globale di un gruppo senza dovere però stilare una classifica rigorosa.
Con questa discussione sulla valutazione della ricerca si conclude il post odierno, vi rinnovo il consueto appuntamento a lunedì prossimo, sempre su AppuntiDigitali, sempre con la rubrica Energia e Futuro.
