In primo piano

Misurare la ricerca

Impact factor, h-index e la valutazione della ricerca: un tascabile sui criteri di valutazione della performance scientifica che “misurano” le pubblicazioni delle ricerche e il loro utilizzo. Clinici e ricercatori sanno di cosa si parla quando si cita l’impact factor?

Tutti i ricercatori e i clinici sanno che cos’è l’impact factor, più o meno sanno che è un valore numerico che quantifica il valore della rivista su cui hanno pubblicato un loro articolo e che, conseguentemente, può influire sulla loro carriera o posizione accademica.

E l’h-index?

Di questo sanno certamente che un altro parametro che valuta la qualità della produttività di un autore sulla base del numero massimo di citazioni ottenute. Non sempre hanno le idee chiare su come si calcola, ma sanno che è possibile ottenerlo all’interno delle banche date quali Web of Science e Scopus, oppure anche in Google Scholar. Per i ricercatori e i clinici è comunque molto chiaro che le Università e gli Istituti di Ricovero e Cura a Carattere Scientifico (IRCCS) richiedono questi due parametri – impact factor e h-index – nella selezione dei ricercatori e delle attività di ricerca. Da alcuni anni, anche alcuni grandi ospedali stanno iniziando a richiederli.

Il publish-or-perish riguarda tutti o solo i ricercatori più giovani?

Non farei una distinzione tra giovani e non giovani perché ormai in diversi ambiti la carriera e i finanziamenti della ricerca vengono decisi anche sulla base di quanto si pubblica, dove si pubblica e quanto si è citati. Come dicevo, indipendentemente dall’età, è ormai quasi sempre obbligatorio presentare l’impact factor e l’h-index nelle domande dei bandi di selezione e dei progetti di ricerca. Dunque quello che fa la differenza non è tanto l’età ma dove si lavora, dove viene fatta la richiesta. Per accedere a un bando di concorso il ricercatore sa che deve presentare un curriculum con 10-15 pubblicazioni, prodotte in un determinato intervallo temporale, e che la sua performance scientifica verrà misurata con l’impact factor. Nelle valutazione l’età può fare la differenza quando viene incluso tra gli indicatori bibliometrici anche l’h-index che chiaramente penalizza i più giovani.

Secondo le disposizioni dell’Agenzia nazionale per la valutazione del sistema universitario e della ricerca (ANVUR) la valutazione dei candidati alla selezione di professori nelle nostre università deve basarsi anche sul numero di citazioni accumulate nella carriera. Questa nuova disposizione ha aumentato l’offerta dei paper scientifici?

Non direi che è aumentata l’offerta delle pubblicazioni ma piuttosto che i ricercatori fanno molta più attenzione a dove pubblicare un loro articolo. In questi ultimi anni ho notato che sempre più i ricercatori vogliono sapere qual è l’impact factor di una rivista piuttosto di un’altra dove vorrebbero pubblicare la loro ricerca, oppure mi chiedono a quale rivista mandare per prima in revisione il loro articolo sulla base dell’impact factor. I ricercatori sono un po’ particolari, in genere pubblicano sulle loro riviste e sanno benissimo che impact factor hanno. Per chi lavora nelle Università o negli IRCCS è un obbligo pubblicare, perché senza una produzione scientifica è inverosimile avere dei finanziamenti ministeriali e anche fare carriera.

Come giudica la decisione del Ministero della ricerca di eleggere delle banche dati private (Web of Science della Thomson Scientific e Scopus di Elsevier) a database di riferimento?

Non c’era altra scelta perché non esistono banche dati pubbliche che possono assolvere a questa funzione. L’unica banca dati pubblica è Pubmed, che però ha il limite di fare riferimento nel calcolo delle citazioni solo alle riviste che appartengono a PubMedCentral e quindi a un numero circoscritto. Per forza di cose ci si è dovuti rivolgere ad altri servizi quali Web of Science e Scopus. Web of Science è un banca dati della Thomson Scientific, creata negli Sessanta da Eugene Garfield che aveva avuto l’intuizione di costruire il record bibliografico sulla base delle citazione ricevute dall’autore. Probabilmente Garfield non aveva immaginato le ricadute di questo sistema di archiviazione, anche se ne aveva capito le potenzialità. Dopo Web of Science è arrivato Scopus prodotto da Elsevier. Personalmente quindi non mi scandalizza la scelta del Ministero anche se riconosco il limite che essendo servizi a pagamento molti clinici non possono usufruire del calcolo dell’h-index se non appoggiandosi presso istituzioni abbonate a queste banche dati.

Costruire una banca dati pubblica italiana è una possibilità remota?

A mio avviso sarebbe un’operazione inutile. Sarebbe un grosso sforzo per replicare strumenti che già esistono e che funzionano. Molte università e tutti gli IRCCS hanno l’abbonamento a Web of Science. In questi ultimi anni si sta diffondendo anche Scopus.

L’h-index può essere calcolato anche sulla base dei dati di Google Scholar…

Google è il terzo concorrente, però ha la grossa pecca di calcolare l’h-index sulla base di tutto quanto viene pubblicato in rete e non solo su riviste scientifiche con peer review. Il risultato è che l’h-index cresce a dismisura. Recentemente ho fatto una lezione su questo tema nel nostro IRCCS e ho mostrato che l’h-index di un nostro ricercatore abbastanza giovane raddoppiava da 7 a 14 passando da Web of Science a Google Scholar.

La valutazione della ricerca attraverso le pubblicazioni e le citazioni degli articoli, non rischia di moltiplicare la ricerca inutile e la cosiddetta salami-science, cioè la pubblicazione ripetitiva degli stessi dati o il frazionamento indebito di un dato corpo di dati in più pubblicazioni?

Questo è un altro aspetto controverso della valutazione della ricerca che viene citato nel tascabile di Ombretta Perfetti tra le criticità dell’h-index. È vero che questa misura della perfomance blibliometrica può stimolare il ricercatore a parcellizzare la produzione scientifica secondo la formula dello salami slicing. Ed è anche vero che un articolo fa il giro delle sette chiese finch non arriva alla stampa, con il pericolo che si pubblichino ricerche di scarso valore o si replichino gli stessi dati in più pubblicazioni scientifiche. Ma questo rischio dovrebbe essere controllato dall’editor delle riviste soppesando la qualità dello studio e verificando che lo stesso autore non abbia già pubblicato lo stesso articolo e parte dei dati. Non c’è altra soluzione. Comunque ho l’impressione che questo fenomeno della duplicazione degli articoli sia meno frequente di un tempo.

A chi consiglierebbe il tascabile Impact factor, h-index e la valutazione della ricerca?

È un libriccino esaustivo e ricco di informazioni su come valutare la produzione scientifica con l’utilizzo degli indicatori bibliometrici e l’analisi statistica dell’utilizzo online dei documenti. Passa in rassegna tutti i criteri di valutazioni anche quelli di minor utilizzo. Lo consiglierei sia ai ricercatori e clinici sia al personale delle strutture degli IRCCS e delle università, che devono mettere in atto le diverse procedure di valutazione della produzione scientifica.

A chi lo regalerebbe?

A qualche collega e certamente ai giovani ricercatori e medici che stanno iniziando a scrivere i loro primi lavori. È importante non solo saper scrivere un articolo ma anche sapere a priori secondo quali criteri sarà valutato e che questa valutazione servirà per la carriera prossima e futura.

Articoli correlati

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *