|
Prima di discutere sulle metodologie di valutazione, occorre decidere cosa valutare. Come ricorda Barucci, la valutazione della ricerca può avere due obiettivi principali: la valutazione delle strutture, con conseguenze sull’assegnazione delle risorse, e la valutazione dei singoli ricercatori, con conseguenze sul reclutamento e sulla carriera. In entrambi i casi, l’unità di osservazione sono i prodotti di ricerca individuali (nella maggior parte dei casi articoli o monografie), ma poiché il VQR 2004-2010 non intende valutare i singoli ricercatori, riteniamo che sarebbe opportuno adottare, dove possibile, come oggetto della valutazione la qualità e della sede editoriale di pubblicazione piuttosto che la pubblicazione in sé. Si tratterebbe di una ‘metavalutazione’, in altre parole di una valutazione delle sedi di pubblicazione piuttosto che dei prodotti in sé, dove l’indicazione di qualità attribuita alla rivista/collana editoriale sarebbe trasferita in modo automatico ai prodotti che vi sono contenuti.
L’adozione di un simile approccio sarebbe difficilmente difendibile qualora si trattasse di valutare la produzione scientifica dei singoli ricercatori. Infatti, pur ipotizzando di aver misurato esattamente la qualità media di una rivista, è evidente che vi sarà inevitabilmente una significativa variabilità nella qualità dei singoli articoli pubblicati. Tale variabilità rappresenta l’errore insito in qualsiasi metavalutazione, ma tale errore è destinato a ridursi all’aumentare del campione oggetto di valutazione. La metavalutazione, quindi, non rappresenta la soluzione più accurata, ma potrebbe essere una soluzione più efficiente quando si tratta di valutare enti e strutture di ricerca.
Se si guarda alla passata esperienza della Valutazione Triennale della Ricerca (VTR) 2001-2003, si rileva che: ci sono voluti tre anni per espletare l’intera procedura; il primo Comitato di Indirizzo per la Valutazione della Ricerca – CIVR – ha consegnato la relazione finale nel 2006; il costo è stato di 3,5 milioni di euro; ha coinvolto 150 esperti e 6000 valutatori per valutare 18500 prodotti. Il VQR 2004-2010 si prospetta come un esercizio ancor più ambizioso: circa 210000 prodotti che dovranno essere gestiti dai 450 componenti del Gruppo di Esperti della Valutazione (GEV). Ciascun componente, quindi, avrà in media un “carico” di quasi 500 prodotti e, se si rispetterà l’obiettivo di valutarne tramite peer review almeno la metà (più uno), inviando a ciascun revisore un numero di prodotti compreso tra 10 e 20 (valori ragionevoli ma tutt’altro che piccoli), ci sarebbe bisogno di un “esercito” di valutatori oscillante fra le 10000 e le 20000 unità.
La nostra tesi, quindi, è che una metavalutazione ridurrebbe significativamente i costi e i tempi della valutazione: nelle attuali condizioni di bilancio e con la necessità di abbreviare sensibilmente i tempi (il MIUR nella distribuzione della quota premiale del Fondo di Finanziamento Ordinario utilizza le informazioni della VTR che risalgono ormai a 10 anni fa!), oculatezza e tempestività ci sembrano virtù di non poco conto. E’ meglio ricevere in tempi ragionevolmente rapidi una fotografia abbastanza accurata della qualità attuale della ricerca svolta nelle diverse sedi, piuttosto che un’immagine dai contorni più definiti (ma assai più costosa) di quello che le strutture erano nel passato.
Peraltro, sulla base dei numeri sopra citati e della capacità di carico dei valutatori, è lecito attendersi che molti di loro saranno in qualche modo costretti a utilizzare tutte le informazioni in loro possesso per portare a termine il proprio compito in tempi ragionevoli. Poiché la sede della pubblicazione non è ‘blind’, è ragionevole aspettarsi che lo status della rivista (eccellente, mediocre, e così via) finisca per influenzare il giudizio dei valutatori sui prodotti in esame. Al termine di un lungo e costoso processo di peer review, quindi, potremmo scoprire che le valutazioni soggettive sono altamente correlate con il ranking bibliometrico delle sedi di pubblicazione, e questo renderebbe palese l’inefficienza della procedura di valutazione in corso. A scanso di equivoci, non riteniamo che la metavalutazione sia una panacea universalmente. Evidentemente, essa è difficilmente applicabile a quei settori dove i prodotti di ricerca sono rappresentati da monografie in lingua nazionale, edizioni critiche, risultati di scavi, lessici, cataloghi di mostre o curatele, ovvero tutti quei prodotti per cui è difficile ipotizzare una tassonomia chiusa (prima ancora che un ordinamento secondo criteri di qualità) delle sedi di pubblicazione.
(Fonte: A. Giunta, L. Salvatici, www.nelmerito.com 03-02-2012. Articolo integrale)
|
