trovi di seguito un documento nel quale si svolgono alcune riflessioni critiche sui criteri che regolano attualmente le procedure di Abilitazione Scientifica Nazionale, e si impegna l’AIP a farsene interprete nelle sedi ufficiali. Al termine del documento è disponibile un pulsante per esprimere la tua eventuale adesione, che ti chiediamo di effettuare entro il 16 luglio, posto che il Direttivo per discutere di questi temi è convocato per il 18, ed è importante che conosca l’opinione del soci al riguardo. Come di consueto, nel forum puoi, se vuoi, aggiungere tuoi commenti.
Felice Carugati
Bruno Mazzara
Giuseppe Scaratti
Leggi il documento
Prendi visione di chi ha già aderito all’iniziativa
Esprimi la tua adesione
Quale bibliometria per quale valutazione
documento a cura di Bruno Mazzara, Felice Carugati, Giuseppe Scaratti
10 luglio 2014
Le modalità di svolgimento e gli esiti della prima tornata dell’Abilitazione Scientifica Nazionale hanno dimostrato la fondatezza di molte delle preoccupazioni che hanno accompagnato il dibattito, in sede scientifica e socio-politica, nella fase di definizione del percorso normativo. A fronte dell’indubbio vantaggio di aver avviato, con il pieno consenso degli interessati, un processo di valutazione pubblica dell’attività scientifica, ancorando agli esiti di tale valutazione il reclutamento e la progressione di carriera dei docenti, è stata riscontrata una serie di problemi anche gravi che hanno caratterizzato lo svolgimento della procedura, condizionandone i risultati e rischiando di vanificarne gli effetti positivi (si veda in proposito la chiarissima risoluzione approvata il 18 giugno dalla VII Commissione della Camera dei Deputati). Da più parti è stato giustamente osservato che se non si ponesse rimedio a questi problemi con risposte adeguate anche sul versante normativo si finirebbe per favorire quanti ancora si oppongono alla valutazione in quanto tale auspicando, in modo più o meno esplicito, un ritorno alla situazione precedente (si veda in proposito il ricco dibattito sviluppato sul n. 1/2013 della rivista Il Mulino).
Gli aspetti problematici riguardano da un lato le modalità con le quali la procedura è stata operativamente gestita, e dall’altro i criteri scelti per garantire quel principio di “obiettività” che deve considerarsi il fondamento stesso dell’intera operazione. Sui limiti procedurali molto è stato detto, anche da parte dell’AIP, su diversi argomenti, tra cui: i rapporti istituzionali tra ANVUR, CUN, Ministero, Associazioni scientifiche; tempestività, trasparenza e affidabilità nella produzione e circolazione delle informazioni; riconoscimento delle specificità di ambiti e settori scientifico-disciplinari; regolamentazione del funzionamento delle commissioni; uso improprio delle valutazioni al di là degli ambiti specifici per cui sono state effettuate. Su questi temi, l’AIP ha realizzato una significativa convergenza con le altre associazioni scientifiche, contribuendo a produrre importanti documenti che potranno avere peso nel processo di revisione che la stessa governance politica ha intrapreso (si vedano i recenti documenti unitari dell’area 11 e delle aree 10-14 CUN). Per quanto riguarda i criteri, invece, l’AIP non ha finora sollevato alcun dubbio, sottolineando anzi con soddisfazione come l’adesione al criterio bibliometrico abbia consentito alla comunità degli psicologi di non incorrere nelle grandi difficoltà in cui si sono trovati invischiati i settori non bibliometrici, relative soprattutto alla classificazione delle riviste e in generale alla valutazione qualitativa dei contributi scientifici.
Al riguardo, occorre evidenziare che tale risultato – vale a dire l’aver evitato le contese spesso tanto violente quanto pretestuose sulla validità di riviste e collane editoriali – è stato ottenuto al prezzo di considerare come fatti – oggettivi e incontestabili – dati numerici tutt’altro che privi di aspetti problematici. Il modo in cui il criterio bibliometrico è stato operazionalizzato e utilizzato può essere considerato infatti uno dei principali motivi di insoddisfazione rispetto agli esiti della procedura, sicché le critiche e le proposte di miglioramento che l’AIP si appresta a formulare dovranno necessariamente, se vorranno risultare incisive, riguardare anche questo punto. Ciò non vuol dire mettere in discussione l’approccio bibliometrico in sé, ma evidenziare che il modo in cui esso è stato realizzato non ha tenuto conto di una ormai vasta letteratura critica sull’argomento e delle numerose esperienze già realizzate a livello internazionale, e si è tradotto in una distorsione di quei principi di equità e di valorizzazione del merito che avrebbe dovuto sostenere. In particolare, i criteri utilizzati hanno finito con il privilegiare di fatto uno specifico modo di concepire la ricerca nell’ambito della psicologia, penalizzandone pesantemente altri, per i quali altri parametri e altri criteri, pur all’interno dell’orizzonte bibliometrico, sarebbero risultati più idonei.
1. Quale prodotto scientifico
Il sistema attuale considera come prodotto scientifico valutabile esclusivamente l’articolo, pubblicato sulle sole riviste che sono censite nelle due banche dati ISI WoS e Scopus, e a partire dalla data in cui le stesse riviste sono entrate in quelle banche dati (non solo: ma spesso anche a partire dalla data in cui i singoli prodotti sono fatti entrare nelle banche). Pur essendo indubitabile che l’articolo, specie su rivista internazionale, costituisca un importante veicolo di trasmissione della conoscenza e di confronto con i colleghi, non si può sostenere che questa sia l’unica forma possibile di produzione scientifica.
In particolare, non si può pregiudizialmente escludere dal novero delle pubblicazioni scientifiche i volumi, sia di autore unico che collettanei, e i capitoli che vi sono pubblicati. Infatti se è pur vero che le riviste costituiscono il canale privilegiato per la pubblicazione dei risultati delle singole ricerche, spesso è solo nei capitoli e ancor più nei volumi che gli studiosi trovano lo spazio per gli approfondimenti di tipo teorico-critico, mettendo in connessione i risultati di più ricerche proprie o di altri e ricavando da tali connessioni la trama interpretativa entro cui collocare i dati empirici. Volumi e capitoli non sono sempre soltanto strumenti divulgativi o manualistici (finalità peraltro non necessariamente prive di dignità e di valore scientifico); spesso sono il luogo in cui possono essere elaborati e discussi con il necessario respiro gli impianti teorici che danno senso alla ricerca, dei quali si sente spesso la mancanza negli spazi necessariamente ridotti degli articoli (spazi che spesso le riviste stesse limitano a pochissime pagine, a meno che non si sia disposti a pagare per le pagine in eccesso). Così è stato storicamente per molti grandi nomi della psicologia, in tutte le sue versioni (da Vygotskji a Lewin, Bruner, Harré, Gergen, Moscovici; da Bartlett a Fodor, Frijda, Johnson-Laird, Dennett). In questa prospettiva, la presenza nel curriculum scientifico di pubblicazioni di maggiore respiro e approfondimento critico dovrebbero essere considerate, come peraltro accade nei contesti internazionali, come indicatore imprescindibile di maturità scientifica.
Oltre a ciò, occorre considerare che l’articolo su rivista internazionale risulta molto più adatto a riportare i risultati di una certa tipologia di ricerche, in particolare quella sperimentale e di tipo quantitativo. Per ricerche condotte con altri impianti teorici e metodologici (ad esempio la ricerca situata, la ricerca-azione, quella legata a specifici ambiti territoriali, quella di orientamento critico e “societale”, e in generale la ricerca qualitativa, applicativa e interdisciplinare) sono quasi sempre necessari spazi di pubblicazione più ampi e il cui ambito di pertinenza può talvolta essere limitato a quello nazionale. Considerare come prodotti scientifici i soli articoli su rivista internazionale si traduce così di fatto in un indebito privilegio di uno specifico modo di concepire la psicologia e la ricerca.
Ovviamente riconsiderare il ruolo dei volumi e dei capitoli nella produzione scientifica non significa allentare il rigore nella valutazione della qualità delle pubblicazioni; sia a livello internazionale che a livello nazionale le grandi case editrici hanno infatti ormai tutte (da molti anni) adottato procedure serie di revisione analoghe a quelle delle riviste. Allo stesso modo, richiamare la possibile validità del livello di pubblicazione nazionale non significa legittimare pubblicazioni di nessuna o scarsa circolazione. Purtroppo, stante l’attuale impostazione normativa e soprattutto l’attuale clima d’opinione prevalente, tale equivoco permane; ed è stato così possibile in sede di ASN che alcuni commissari abbiano considerato produzioni scientifiche di tutto rispetto, pubblicate da primarie case editrici nazionali, quali pubblicazioni “limitate al livello locale”, come se fossero dispense prodotte da una stamperia comunale.
2. Quali banche dati
Al momento la normativa prevede che vengano considerate, ai fini del calcolo bibliometrico, le sole due banche dati ISI WoS e Scopus. Si tratta com’è noto di due banche dati di tipo commerciale, che rispondono agli interessi economici di colossi dell’editoria, i quali gestiscono l’indicizzazione con criteri che sono tutt’altro che trasparenti e che sono apparsi, proprio in occasione di questa massiccia utilizzazione, decisamente poco affidabili. Spesso, di una stessa rivista, alcuni numeri risultano presenti e altri no, sicché tocca ai singoli ricercatori verificare e far rettificare il dato; molti dei numerosissimi ricorsi che sono stati presentati a conclusione della prima tornata ASN hanno come oggetto – tra l’altro – il fatto che le banche dati non hanno correttamente riportato le pubblicazioni (e dunque il “punteggio”) dei candidati. Ciò vale sia per i candidati che per gli aspiranti commissari: sono diversi i casi di colleghi che non hanno ritrovato nella propria dotazione diverse delle proprie pubblicazioni, le quali sono state poi successivamente “ripescate” in modo oscuro o dopo esplicita richiesta alla banca-dati. Il “balletto delle mediane” che ha accompagnato la partenza della procedura è significativo al riguardo.
Un altro dei limiti di queste banche dati è il fatto che recensiscono quasi esclusivamente pubblicazioni in lingua inglese, com’è evidente e com’è stato dimostrato (Archambault et al. 2006). Ferma restando l’importanza dell’internazionalizzazione della ricerca, occorre chiarire una volta per tutte se è possibile (e auspicabile) considerare le due cose – internazionalizzazione e lingua inglese – di fatto come sinonimi. Rispetto a tale problema, la scelta di queste due specifiche banche-dati ha comportato ad esempio la cancellazione, ai fini valutativi, di intere aree di ricerca che hanno come punto di riferimento il mondo francofono e quelli ispanico e portoghese, e che certamente non possono non dirsi internazionali.
In relazione a questi limiti, e anche con riferimento a quanto si diceva prima sull’importanza di altre modalità di pubblicazione scientifica, occorre riprendere e approfondire la ricerca di banche-dati più adeguate alle esigenze delle scienze umane e sociali, come ampiamente documentato in letteratura (Archambault, Vignola-Gagné 2004; Krell 09) e come peraltro auspicato dalla stessa ANVUR in più occasioni. Alcune commissioni ASN hanno già ritenuto di poter utilizzare allo scopo Google Scholar che, pur con tutti i limiti che sono stati da più parti evidenziati, può però offrire, magari in sinergia con le altre due, un indicatore aggiuntivo in grado di stemperare gli effetti distorsivi citati.
3. I limiti del sistema citazionale
Il sistema di valutazione attuale risulta essenzialmente fondato sul criterio citazionale, basato sulla presupposizione che la quantità di citazioni ricevute da un testo possa essere considerato come una stima della sua qualità e del suo valore scientifico. Sulla correttezza di tale presupposizione sono state sollevate com’è noto un gran numero di obiezioni, e si può dire che questo argomento sia uno dei più dibattuti nella ormai vasta letteratura sulla validità dei sistemi bibliometrici (per introduzioni generali: Geisler 2000; De Bellis 2009; Baccini 2010; Cronin, Sugimoto 2014). E’ per questo che si sono moltiplicate negli ultimi anni a livello internazionale le iniziative e le prese di posizione, da parte di gruppi di studiosi e associazioni scientifiche, ma anche da parte di organismi ufficiali deputati alla valutazione, che mettono in guardia contro l’uso meccanico dei dati quantitativi e citazionali come indicatore di qualità della ricerca.
Il più noto di tali documenti è la San Francisco Declaration on Research Assessment (DORA 2012), che si riferisce in particolare all’Impact Factor; ma è risaputo che in Francia e nel Regno Unito tale dibattito ha già prodotto un ripensamento delle strategie ufficiali di valutazione della ricerca; si veda ad esempio la riflessione avviata dall’Higher Education Funding Council for England in relazione al Research Excellence Framework (HEFCE 2009), e la recente consultazione pubblica avviata dallo stesso ente (HEFCE 2014); oppure il documento che l’Accademia delle scienze francese ha presentato al Ministero dell’Educazione (Académie des Sciences 2011). Il tutto ovviamente con maggiore attenzione per i limiti di tale sistema nella valutazione delle scienze umane (Archambault, Larivière 2010), ma anche con riferimento alle stesse scienze fisico-naturali (European Physical Society 2012). In Italia si possono ricordare fra tutte le autorevoli prese di posizione dell’Accademia dei Lincei (2012; 2014).
Fra i molti limiti del sistema citazionale si possono ricordare i seguenti:
– tende a favorire il conformismo piuttosto che l’innovazione, posto che stare in un filone ampiamente condiviso aumenta la probabilità che il proprio contributo venga citato;
– è molto esposto a possibili comportamenti “opportunistici”: risulta vantaggioso suddividere un contributo importante in diversi contributi ridotti; l’associarsi in più autori può rispondere non solo a criteri di collaborazione scientifica, ma anche a previsioni sull’allargamento delle potenziali citazioni; si possono facilmente strutturare reti di citazioni reciproche di convenienza; si può indulgere in auto-citazioni;
– non consente di distinguere il contesto e le finalità della citazione; ad esempio se la citazione sia fatta in positivo o in negativo, ma anche se sia fatta per puri fini di completezza di rassegna o se abbia prodotto significativi stimoli alla propria attività di ricerca;
– risultano penalizzati i contributi interdisciplinari, e quelli che non hanno una specifica “nicchia” di ricercatori (Larivière, Gingras 2010);
– è molto sensibile alle differenze, fra i diversi ambiti, circa l’arco di tempo entro cui si è soliti citare un contributo
– è talvolta affetto da bias di genere (Maliniak et al. 2013);
– non è adeguato a rendere conto delle nuove forme di diffusione della conoscenza scientifica nel mondo digitale, nel quale probabilmente occorre prevedere nuove forme di verifica dell’impatto (Lozano et al. 2012);
– è molto sensibile alle dimensioni dell’universo di riferimento dei potenziali interessati all’argomento; teorie e approcci nuovi o minoritari, condivisi da un piccolo numero di studiosi, non possono competere con quelli di dimensioni più ampie (il cosiddetto “effetto Gulliver”; Gleiser 2000);
– non tiene conto del numero di autori di un testo, che è invece un dato molto importante; infatti l’essere in molti riduce il peso e il “merito” del singolo, ma nel contempo, paradossalmente, aumenta il vantaggio che il singolo ne può avere, dal momento che si allarga la rete dei potenziali fruitori agli altri autori e ai loro collaboratori ed aumenta così la probabilità che il contributo venga citato;
– risente della politica avviata da tempo da Editors/reviewers di riviste, di richiedere agli autori di citare comunque prodotti presenti nella rivista/ pubblicati dai reviewers medesimi.
Per questi limiti, il sistema citazionale è stato sottoposto a serrate critiche in sede internazionale, risultando in generale condivisa la convinzione che esso possa essere utilizzato come supporto alla valutazione, ma non come criterio automatico, unico o comunque fondante. Nella nostra attuale normativa, invece, il criterio risulta non solo acquisito in maniera acritica, ma addirittura sovrarappresentato. Dei tre indicatori bibliometrici, infatti, il secondo e il terzo (cioè la quantità totale di citazioni ricevute e l’indice H) sono evidentemente correlati e finiscono per misurare la stessa variabile.
Osservando a valle i risultati dell’ASN, si può notare come l’adozione prevalentemente meccanica di questo criterio, in molti casi senza ricorso ai margini di elasticità che pure la normativa consentiva, ha avuto come effetto l’esclusione di aree di ricerca (e di modalità di pubblicazione dei contributi scientifici) che più di altre sono risultate penalizzate dalle possibili distorsioni citate. In particolare, va segnalato il problema relativo alla dimensione dell’universo di riferimento: se è pur vero infatti che anche le aree di ricerca marginali (diciamo non di mainstream) possiedono le loro sedi specifiche di pubblicazione, è altrettanto vero che, essendo il numero complessivo dei fruitori più ridotto, la competizione con le aree mainstream, rispetto al numero assoluto delle citazioni ricevute, è del tutto impari.
Dati questi presupposti, gli effetti della procedura (anche scontando i limiti di rigidità delle commissioni) hanno mostrato che la psicologia, in quasi tutte le sua aree, si presenta come chiaramente bi-modale. Considerando i punteggi nei tre parametri dei candidati alla recente tornata di abilitazione (che sono stati resi pubblici, sia pure per breve tempo) si osserva da un lato un gruppo di studiosi con valori molto alti, decisamente superiori alle mediane e abbastanza vicini tra loro, ben integrati nel modo di fare ricerca e pubblicare che questi parametri misurano meglio; dall’altro un altrettanto nutrito gruppo di studiosi con valori decisamente più bassi, anche questi abbastanza vicini tra loro, che hanno lavorato seguendo approcci diversi. Questo risultato rispecchia peraltro quanto già rilevato in sede di esercizio VQR 2004-2010, ove per cinque settori psicologici su otto la percentuale dei prodotti sottoposti a esclusiva valutazione peer-review è stata superiore a quella sottoposta a valutazione bibliometrica, delineando in molti casi una situazione di quasi perfetto equilibrio tra le due componenti (per M-PSI/05: 54,77% peer review e 52,08% bibliometrica; per M-PSI/04 58,03% contro 45,58%; per M-PSI/06 75,36% contro 29,95%).
Si tratta di un dato che esprime quella situazione di bi-modalità che era stata prevista dalla stessa normativa come condizione per il calcolo di distinte mediane per sottoinsiemi omogenei di uno stesso settore scientifico-disciplinare (lettera a comma 3 dell’Allegato A al D.M. n. 76 del 07/06/2012). Se ciò non è avvenuto (e obiettivamente appare difficile che possa avvenire, considerate le difficoltà operative che richiederebbe l’individuazione dei criteri in base ai quali stabilire l’omogeneità) appare comunque iniquo che il sistema adottato abbia privilegiato in modo così evidente una delle due parti, peraltro non maggioritaria.
Alcune correzioni del criterio permetterebbero di ridurre questi effetti. Tra gli interventi possibili:
– riduzione del suo peso nel complesso della valutazione, eliminando uno dei due indicatori basati sulle citazioni;
– introduzione di una ponderazione rispetto al numero degli autori;
– depurazione delle auto-citazioni;
– individuazione di qualche forma di ponderazione rispetto all’universo di riferimento.
4. Quale soglia: necessario superare il criterio della mediana
Il criterio della mediana come soglia per determinare la selezione tanto dei commissari quanto dei candidati è stato scelto, com’è noto, per poter disporre di un criterio di eccellenza non fisso, ma corrispondente all’evoluzione dell’universo di riferimento, che sarebbe così necessariamente indirizzato verso un costante miglioramento qualitativo. Tuttavia, date le problematiche esaminate e i limiti evidenziati nel sistema di misura, il criterio della mediana finisce per essere uno degli elementi di maggiore iniquità della procedura, che rischia di fossilizzare e riprodurre, in maniera cumulativa e non reversibile, gli errori di valutazione realizzati in questa fase.
Innanzitutto occorre notare che, anche in senso propriamente tecnico, la mediana come strumento statistico non può legittimamente rappresentare una distribuzione multimodale; ed è appunto per questo che la stessa normativa prevedeva la necessità di individuare diverse mediane qualora ci fossero distribuzioni di questo tipo. In condizioni di multimodalità, il criterio della mediana taglia fuori necessariamente ampi gruppi omogenei di soggetti, che nel nostro caso corrispondono a tipologie di studiosi e modi di far ricerca.
Inoltre, si può prevedere che, data la forte pressione alla pubblicazione ormai diffusa, la spinta condivisibile all’innalzamento della qualità può invece facilmente degenerare in una rincorsa parossistica all’accumulo di punteggio purchessia, con possibile esasperazione dei comportamenti opportunistici sopra evidenziati e dei livelli di competizione tra le persone, il che non giova certamente alla qualità. Ai fini dell’innalzamento della qualità, gli studiosi dovrebbero sentirsi liberi di pubblicare quando hanno raggiunto risultati di rilievo e quando sentono di avere qualcosa di importante da comunicare alla comunità scientifica; ciò non è evidentemente possibile in un contesto in cui il proprio avanzamento confligge per definizione con quello degli altri.
L’effetto più grave di questo tipo di soglia è che essa immobilizza nel tempo, con scarsissime possibilità di modifica, la condizione attuale di privilegio degli studiosi che hanno aderito per tempo all’orientamento scientifico-culturale che questo sistema valorizza. Man mano che saranno immesse nei ruoli le persone che, con questi criteri, hanno livelli quantitativi anche 4 o 5 volte superiori al valore mediano attuale (vale a dire coloro che popolano la parte alta della distribuzione bi-modale), il nuovo valore mediano raggiungerà un livello tale da essere assolutamente fuori dalla portata di quanti sono oggi a valori prossimi alla mediana. Se il sistema doveva essere uno stimolo per tutti alla produttività, i suoi effetti saranno invece che l’attuale metà inferiore (e buona parte di quanti si trovano ora lievemente al di sopra della mediana) non avrà alcuna possibilità di pervenire al livello di accettabilità, sicché potrebbero comprensibilmente diffondersi sentimenti e condotte di disaffezione e progressivo distacco dalla comunità scientifica (già documentate e in rapida diffusione, come era facile prevedere, e che erano state peraltro anticipate in documenti di soci AIP); mentre nella metà superiore si scatenerà la lotta per evitare la retrocessione, sapendo che qualcuno comunque dovrà retrocedere.
Molto più saggio ed equilibrato sarebbe individuare una soglia assoluta di accettabilità, stabilita da organismi scientificamente competenti (si può pensare al CUN d’intesa con le associazioni scientifiche), che andrebbe rivista periodicamente, per assicurare quell’innalzamento qualitativo al quale tutti teniamo. Tale soglia otterrebbe di salvaguardare le specificità dei diversi approcci teorici e metodologici; se ad esempio si individuasse come soglia assoluta, in prima applicazione, il valore attuale delle mediane, gran parte degli studiosi che ne sono ora lievemente al di sotto potrebbero utilmente impegnarsi per superare quel livello, specie se nel contempo fossero state riviste le principali distorsioni di cui si è detto sopra. Adottando invece il criterio della mediana, tale obiettivo non sarebbe per loro raggiungibile.
E’ anche per questi motivi che il criterio della mediana è oggetto di discussione, e diverse associazioni scientifiche ne hanno richiesto il superamento. Così nel documento unitario dell’area 11 CUN, alla quale la psicologia afferisce, ci si dichiara “a maggioranza” a favore del criterio della mediana, mentre nel documento delle aree 10-14 si sospende il giudizio sull’argomento, stante la presenza di diverse associazioni che ne chiedono l’abolizione e dunque la necessità di approfondire la questione.
Sarebbe opportuno che la psicologia, forte della sua inequivoca scelta a favore del sistema bibliometrico, posizionasse tuttavia il proprio peso politico-accademico in direzione di una sostanziale revisione del sistema della mediana, che rischia di enfatizzare i difetti del sistema bibliometrico, in palese contraddizione con i supposti vantaggi che promette.
5. In conclusione
L’esperienza realizzata con la prima tornata dell’ASN ha dimostrato, se ce ne fosse stato bisogno, i limiti di un’applicazione meccanica e rigida dei criteri bibliometrici. La psicologia può confermare con convinzione la propria scelta dell’approccio bibliometrico solo se il sistema sarà in grado di evolvere nella direzione di quella che può definirsi unabibliometria matura e consapevole, che utilizzi indicatori quantitativi solo come uno degli strumenti di valutazione, da utilizzare con prudenza e sempre in interazione con altri più approfonditi criteri. In altri termini, l’esperienza ha dimostrato, che non è possibile stimare la qualità in modo totalmente automatico, utilizzando solo parametri quantitativi, senza passare attraverso il laborioso ma inevitabile percorso della valutazione di merito dei singoli prodotti. D’altra parte, è quanto si dice nella recente risoluzione con cui la Commissione VII della Camera dei Deputati ha commentato i risultati dell’ASN: “la stessa pretesa oggettivita? degli indicatori quantitativi si e? rapidamente rivelata illusoria per i singoli candidati, sia per i molti errori inevitabilmente contenuti in banche dati commerciali di dimensioni enormi, sia per la complessita? interna dei settori concorsuali difficilmente riducibile a pochi indicatori generali”.
Nel caso specifico della psicologia, il risultato è stato non solo e non tanto la valorizzazione dei più capaci e meritevoli, quanto piuttosto la penalizzazione di specifici modi di pensare e concretizzare le diverse componenti della disciplina, nei fondamenti epistemologici, nei compiti e nei metodi. Si rende pertanto necessario, pur all’interno della cornice di riferimento bibliometrica, una profonda revisione del sistema, per attivare un sistema di valutazione in grado di rispettare tutte le specificità che costituiscono la ricchezza della disciplina.
Questi gli interventi necessari nell’immediato:
– allargamento delle basi dati, con inclusione di quelle che considerano i libri;
– ridimensionamento del criterio citazionale al solo indice H;
– introduzione del criterio libri e capitoli, in sostituzione del criterio citazioni globali
– criterio citazionale corretto per numero di autori e con controllo delle autocitazioni;
– introduzione di soglie assolute in sostituzione delle mediane come criterio di accesso.
In questi giorni l’AIP sta partecipando autorevolmente, insieme alle altre associazioni scientifiche, alla ridefinizione delle modalità di svolgimento dell’ASN; chi rappresenta l’AIP deve farsi carico di verificare quanto le istanze qui sintetizzate siano condivise dagli iscritti, in modo da poter correttamente rappresentare, negli incontri e nelle sedi istituzionali, l’articolazione della posizione dei propri soci. Data l’importanza dell’argomento, e soprattutto se il Consiglio Direttivo non dovesse arrivare ad una posizione unanimente condivisa, sarebbe opportuno avviare una riflessione allargata e convocare un’Assemblea straordinaria, nella quale tutti i soci possano esprimere la propria opinione in proposito.
Riferimenti bibliografici
Académie des sciences (2011). On The Proper Use of Bibliometrics to Evaluate Individual Researchers. http://www.academie-sciences.fr/activite/rapport/avis170111gb.pdf
Accademia dei Lincei (2012). Criteri di valutazione della ricerca scientifica nelle “Scienze Morali” con riferimento all’attività dell’ANVUR.
http://www.lincei.it/files/dichiarazioni/Mozione_Anvur_20-4-2012.pdf
Accademia dei Lincei (2014). Sui criteri di valutazione della ricerca scientifica e delle università in Italia.
http://www.lincei.it/files/dichiarazioni/Mozione_ANVUR_26_giugno_2014.pdf
Archambault É., Larivière V. (2010). The limits of bibliometrics for the analysis of the social sciences and humanities literature. In 2010 World Social Science Report: Knowledge Divides, International Social Science Council (ISSC), pp. 251-254.
Archambault É., Vignola-Gagné É. (2004). The Use of Bibliometrics in the Social Sciences and Humanities. Final report prepared for the Social Sciences and Humanities Research Council of Canada (SSHRCC). Montreal: Science-Metrix.
Baccini A. (2010). Valutare la ricerca scientifica. Uso e abuso degli strumenti bibliometrici. Bologna: Il Mulino.
Cronin B., Sugimoto C.R. (eds.)(2014). Beyond Bibliometrics: Harnessing Multidimensional Indicators of Scholarly Impact. Cambridge, MA: MIT Press
De Bellis N. (2009). Bibliometrics and Citation Analysis: From the Science Citation Index to Cybermetrics. Lanham: Scarecrow Press.
DORA (2012). San Francisco Declaration on Research Assessment. Putting Science into the Assessment of Research. http://am.ascb.org/dora/
European Physical Society (2012). EPS Statement: On the Use of Bibliometric Indices During Assessment. http://www.eps.org/news/94765/EPS-statement-On-the-use-of-bibliometric-indices-during-assessment.htm
Geisler E. (2000).The Metrics of Science and Technology. Westport, CT: Quorum Books
HEFCE (2009). Report on the pilot exercise to develop bibliometric indicators for the Research Excellence Framework. http://www.hefce.ac.uk/pubs/year/2009/200939/
HEFCE (2014).The role of metrics in research assessment. Call for evidence. http://www.hefce.ac.uk/whatwedo/rsrch/howfundr/metrics/
Krell, F.-T. (2009). The poverty of citation databases: Data mining is crucial for fair metrical evaluation of research performance. Bioscience, 59: 6-7.
Larivière V., Gingras Y. (2010). On the relationship between interdisciplinarity and scientific impact. Journal of the American Society for Information Science and Technology. 61,126-131
Lozano G. A., Larivière V., Gingras Y. (2012), The Weakening Relationship Between the Impact Factor and Papers’ Citations in the Digital Age. Journal of the American Society for Information Science and Technology. 63: 2140–2145.
Maliniak D., Powers R., Walter B.F. (2013). The Gender Citation Gap in International Relations. International Organization, 67: 889-922.
Adesioni
Prendi visione di chi ha già aderito all’iniziativa
Esprimi la tua adesione
Se vuoi aderire all’iniziativa clicca qui
condividi su