Misurazione in Psicologia

Premessa e motivazione

La qualità della misurazione è un aspetto decisivo in psicologia. Che si tratti di un esperimento, di una rilevazione a fini statistici o, naturalmente, di una valutazione clinica, la misurazione è un’operazione sempre delicata e, talvolta, difficile. Vi è un accordo pressoché unanime sul fatto che dati di scarsa qualità compromettano qualsiasi successivo tentativo di analisi e di comprensione del fenomeno studiato.
Nel presente documento il termine “strumenti di misura psicologica” è utilizzato come categoria generale comprendente test, scale, questionari e batterie di valutazione. Nella pratica quotidiana della valutazione psicologica, l’adattamento di test esistenti e la costruzione di nuovi strumenti sono diventate operazioni abituali: si traducono e adattano batterie, si accorciano scale, si estendono i test a popolazioni diverse da quelle originarie. Si tratta di passaggi metodologicamente complessi, che richiedono scelte teoriche, tecniche e applicative non sempre immediatamente visibili nel prodotto finale.
Succede talvolta che gli strumenti di misura siano pubblicati senza solide evidenze sull’invarianza, sull’attendibilità e sulla fairness/equità e validità, e che siano corredati da informazioni parziali, difficili da reperire o non pienamente trasparenti per l’utenza professionale e ancor meno per l’utenza generale. In queste condizioni, per chi utilizza tali strumenti nella pratica professionale può non essere semplice distinguere strumenti costruiti con rigore scientifico da strumenti meno rigorosi e più opachi dal punto di vista metodologico. Inoltre, quando ulteriori analisi e nuove evidenze compaiono nella letteratura scientifica, queste non comportano necessariamente un aggiornamento o una revisione dei manuali in tempi brevi. Se i test psicologici guidano decisioni nei diversi contesti dell’agire umano, gli aspetti sopra richiamati risultano problematici sia sul piano scientifico sia su quello etico.
A questo si aggiunga una seconda questione: la tensione crescente tra la tutela del diritto d’autore commerciale e l’esigenza, certamente prioritaria, di garantire trasparenza sulle procedure di scoring, standardizzazione e criteri di interpretazione dei punteggi di un test psicologico. La protezione del prodotto finisce per vanificare la possibilità di controllarne efficacemente e in modo indipendente la qualità.
La proposta di un gruppo tematico sulla misurazione in psicologia interno alla Associazione Italiana di Psicologia nasce da queste considerazioni, che il gruppo scientifico disciplinare di psicometria sta sviluppando da anni, per aprirsi al dialogo con gli altri settori scientifico-disciplinari interessati alla valutazione in prospettiva scientifica e basata sulle evidenze. Il carattere fortemente interdisciplinare del gruppo tematico è giustificato dal riconoscimento che i problemi legati alla qualità delle misure è questione trasversale ai diversi settori della psicologia, sia in ambito di ricerca sia nella pratica professionale.
L’obiettivo è anche quello di promuovere principi di Open Science nel testing psicologico, favorendo la trasparenza dei processi di costruzione, adattamento e revisione degli strumenti di misura, nel rispetto dei vincoli normativi e dei diritti di proprietà intellettuale, per il libero utilizzo professionale di strumenti di misura con proprietà psicometriche chiaramente documentate. Tale modello include inoltre la definizione degli elementi da rendere disponibili in modalità aperta, nonché delle relative condizioni di accesso e riutilizzo, specificando le licenze (es. Creative Commons) con cui saranno condivisi il test, il codice per le analisi svolte, i dati e gli altri materiali o documenti ad esso associati.

Nuclei teorici del gruppo tematico

Il gruppo si propone di lavorare sulla qualità della misurazione psicologica a partire dai riferimenti teorici che fanno parte del patrimonio della disciplina.
Si ritiene opportuno distinguere chiaramente tra i modelli teorici della misurazione e gli approcci statistici e computazionali contemporanei, per chiarire la diversa funzione concettuale dei due livelli (i modelli teorici da un lato, le metodologie analitiche per studiare la struttura e il funzionamento dall’altro):
• Modelli teorici della misurazione:
o Teoria Classica dei Test (CTT) e Teoria della Misura;
o Teoria della Risposta all’Item (IRT);
o Teoria della Generalizzabilità;
o Teoria Rappresentazionale della Misurazione;
o La Knowledge Space Theory;
o I modelli epidemiologici applicati alla psicologia.

• Approcci statistici, metodologici e computazionali contemporanei:
o La Psychometric Network Analysis per dati cross-sezionali e di panel;
o I modelli di misurazione per lo sviluppo e la validazione di misure longitudinali e intensive (e.g., modelli multilevel, cross-classified, dinamici e Vector Autoregressive Analysis);
o I modelli fattoriali classici e moderni, includendo l’Exploratory Structural Equation Modeling (ESEM, nelle sue estensioni come bi-factor ESEM, hierarchical ESEM ed EFA con rotazioni target, valorizzando la complessità dell’analisi fattoriale moderna);
o I Modelli di Equazioni Strutturali (SEM) classici e i modelli a equazioni strutturali basati su compositi (ad es. per Minimi Quadrati Parziali – PLS-SEM);
o La Multidimensional IRT;
o I Cognitive Diagnosis Models;
o Il Machine Learning e l’Intelligenza Artificiale applicati alla psicometria (Psychometric AI), inclusi gli strumenti del Natural Language Processing (NLP) per l’analisi automatica di item, risposte aperte e indicatori psicologici ricavabili dal linguaggio naturale;
o Gli strumenti della teoria dell’informazione (funzioni di informazione, criteri informativi per la selezione dei modelli, misure entropiche e di mutua informazione) trasversali a diversi paradigmi;
o Gli approcci person-centered mediante Latent Profile Analysis (LPA) e Latent Class Analysis (LCA) per la gestione di eterogeneità nascosta nei dati, l’identificazione di tipi/profili e la valutazione della capacità di discriminazione degli item.

L’intento è mostrare come i paradigmi consolidati possano dialogare con approcci più recenti e come, insieme, possano contribuire a definire cosa intendiamo per buona misurazione psicologica oggi.

Obiettivi generali e operativi

Un primo obiettivo del gruppo è promuovere una riflessione critica e costruttiva sull’applicazione delle linee guida internazionali (i.e., ITC Guidelines for Translating and Adapting Test, sviluppate dalla International Test Commission; Standard for Educational and Psychological Testing, sviluppati congiuntamente da: AERA, APA e NCME; Model for the Review, Description and Evaluation of Psychological and Educational Test, sviluppate dalla EFPA). Le linee guida vengono citate con frequenza, ma l’aderenza effettiva ai loro standard è molto variabile. Il gruppo si propone quindi di:
• leggerle criticamente alla luce del contesto italiano;
• tradurle in criteri operativi chiari per la ricerca sui test e per la pratica professionale;
• promuovere una cultura del rigore nell’introduzione di nuovi strumenti o nuovi adattamenti.

Sul piano operativo, la proposta di istituzione del gruppo mira in particolare a definire standard condivisi e a valorizzare gli approcci multi-metodo nella validazione dei test psicologici. In particolare:

1. Procedura di traduzione e adattamento dei test a popolazioni target
Promuovendo modelli e procedure di traduzione appropriati per massimizzare l’adeguatezza dell’adattamento dei test nelle popolazioni target, ricordando che la sola forward translation è generalmente considerata insufficiente dalle principali linee guida internazionali per l’adattamento dei test:
• back-translation, esplicitando la necessità di una valutazione di equivalenza concettuale fra l’item back-translated e l’item originale da far eseguire all’autore/autrice originale del test e/o a un Subject Matter Expert;
• double-translation and reconciliation (in cui un terzo traduttore indipendente individua e risolve eventuali discrepanze tra le diverse traduzioni, integrandole in un’unica versione finale).

2. Valutazione dell’attendibilità
Non limitata al solo indice di consistenza interna, ma estesa a stime dell’errore di misurazione e della precisione dei punteggi derivanti da differenti paradigmi psicometrici (CTT, IRT, Teoria della Generalizzabilità e modelli multilevel):
• attendibilità ed errore di misura in contesti longitudinali e intensive longitudinal, con attenzione alla distinzione tra variabilità within-person e between-person;
• forme di attendibilità rilevanti per l’uso diagnostico e applicativo (quali stabilità temporale, distinguendo accuratamente tra coefficiente di correlazione test-retest e assenza di variazione nel punteggio medio tra somministrazioni, accordo tra valutatori, equivalenza tra forme parallele/alternative o derivate da item-pool open, e caratteristiche operative).

3. Valutazione delle evidenze di validità
In linea con l’approccio contemporaneo e unitario adottato dagli standard internazionali (e.g., Standard per AERA, APA, NCME), il termine validità viene inteso come il giudizio valutativo complessivo a supporto delle interpretazioni e degli usi proposti dei punteggi, derivante dall’integrazione di diverse fonti di evidenza empirica, piuttosto che come proprietà intrinseca dello strumento in sé:
• evidenze basate sul contenuto dello strumento: con criteri espliciti per la definizione del dominio e il coinvolgimento di esperti;
• evidenze basate sui processi di risposta: includendo la validità di facciata intesa come comprensibilità degli item da parte della popolazione target (es. tramite riformulazione) ed elicitazione dei processi mentali previsti (es. verifica tramite protocolli di thinking aloud per escludere strategie alternative nei test di prestazione massima);
• evidenze relative alla struttura interna (struttura dei punteggi): da raccogliersi tramite modelli fattoriali (esplorativi, confermativi, bifattoriali, ESEM), approcci multi-trait multi-method (MTMM, per valutare convergenza e discriminazione) e Psychometric Network Analysis;
• evidenze relative alle relazioni con altre variabili (relazioni con criteri esterni): intese sia in termini predittivi sia concorrenti, valutando l’accuratezza e la sensibilità rispetto a decisioni nei vari contesti operativi (clinici, selettivi, orientativi, forensi);
• evidenze relative alla generalizzabilità: in termini di invarianza e equivalenza della misura tra gruppi differenti, contesti culturali e occasioni di rilevazione;
• evidenze relative alle conseguenze derivanti dall’uso dello strumento: impatto sociale, etico e applicativo delle decisioni basate sul testing.
• Analisi semantiche e linguistiche: quando pertinenti, a supporto della corrispondenza tra item, risposte aperte, indicatori osservabili dal linguaggio naturale e dominio teorico del costrutto.

4. Equità (Fairness) e appropriatezza della misurazione
Inserendo un focus operativo esplicito per promuovere strumenti accessibili e rispettosi delle diverse popolazioni:
• verifica empirica del funzionamento differenziale degli item (DIF) e dell’invarianza della misurazione tra gruppi;
• concettualizzazione situata dei processi di risposta che tenga conto di predittori situazionali e culturali;
• accessibilità delle modalità di somministrazione, dei materiali e delle istruzioni;
• impiego di un linguaggio chiaro, rispettoso, inclusivo e non stigmatizzante nella formulazione degli item e delle istruzioni;
• appropriatezza nella raccolta delle informazioni sociodemografiche, limitandole a quelle strettamente pertinenti agli obiettivi di ricerca e prevedendo categorie adeguate alla pluralità delle caratteristiche personali.

5. Calibrazione, standardizzazione e decisione diagnostica
Distinguendo tra:
• dati normativi basati su parametri e criteri (e.g., punteggi equivalenti, percentili, distanza dalla media);
• stime dei parametri ottenute su campioni di calibrazione, e gli algoritmi utilizzati per lo scoring e per l’assessment individuale;
• cut-off diagnostici derivati da studi epidemiologici, costruiti a partire da indici di accuratezza (sensibilità, specificità, valori predittivi, likelihood ratio, curve ROC, scelta dell’optimal cut-off).

L’obiettivo è favorire l’integrazione di queste informazioni nella pratica decisionale, esplicitando il passaggio dai dati di ricerca alla decisione sul singolo caso, alla luce della popolazione di riferimento, del contesto d’uso, dell’incertezza associata alla classificazione e delle evidenze di applicabilità dello strumento nei diversi gruppi o sottogruppi.

6. Trasparenza e documentazione
Promuovendo manuali e documenti tecnici che rendano visibili:
• le scelte metodologiche (campionamento, analisi, gestione dei dati mancanti, ecc.);
• i risultati completi delle analisi (non solo quelli a favore dello strumento);
• i limiti noti dell’applicazione del test in specifici contesti o popolazioni;
• le versioni specifiche dello strumento, le condizioni d’uso e gli eventuali vincoli di applicabilità;
• le procedure di scoring, garantendo che siano sempre accessibili, trasparenti e replicabili in modo indipendente per superare le opacità commerciali (es. policy open scoring).

L’idea è avvicinarsi ai criteri di eccellenza indicati dalle linee guida internazionali, trasformandoli in prassi verificabile e operativa, evitando le mere dichiarazioni di principio.

7. Potenzialità e rischi connessi con l’uso della IA generativa nella costruzione e nella reportistica dei test
Per la valutazione delle potenzialità e dei rischi connessi all’impiego della IA generativa (ad es., large language models) nell’ambito della costruzione (ad es., generazione automatica item) e dell’utilizzo (per es., reportistica) dei test psicologici. Tale integrazione appare rilevante anche alla luce del crescente sviluppo di sistemi computerizzati, digitalizzati, adattivi e di altre procedure tecnologicamente avanzate nell’ambito dell’assessment psicologico.

Composizione e funzionamento del gruppo

Il gruppo sarà formato da esperti con comprovata esperienza in psicometria, costruzione di test e valutazione, e da esperti di diversi settori scientifico-disciplinari che si occupano o sono interessati alla misurazione in ambito psicologico. L’elemento unificante è l’attenzione alla qualità dei processi di misura secondo il metodo scientifico, in prospettiva basata sulle evidenze.

Una possibile linea di sviluppo del gruppo potrebbe essere la creazione di un Osservatorio permanente sugli strumenti di misura, con il compito di:
• monitorare la produzione di nuovi test e adattamenti nel contesto italiano, anche attraverso repertori strutturati di strumenti esistenti e procedure computazionali/semantiche (per es. esperienze internazionali come il Semantic Scale Network) volte ad analizzare la sovrapposizione tra strumenti, la ridondanza dei costrutti e la qualità della documentazione psicometrica, prevenendo la proliferazione non necessaria di scale;
• favorire la diffusione di buone pratiche di validazione;
• proporre schemi di valutazione condivisi, utilizzabili sia in contesti accademici sia applicativi;
• promuovere l’organizzazione di seminari, winter school, summer school, e in generale sostenere la disseminazione nell’ambito della misurazione psicologica.

Parallelamente, il gruppo potrebbe elaborare un framework per l’implementazione dell’Open Science nel testing psicologico, che specifichi:
• quali elementi della procedura debbano essere sempre resi pubblici;
• in che forme rendere disponibili i materiali (anche in presenza di vincoli dovuti alla protezione del diritto d’autore);
• come documentare in modo chiaro e replicabile ogni scelta metodologica rilevante.

Elenco delle firmatarie e dei firmatari

Marco Perugini
Andrea Bosco
Palmira Faraci
Monica Mazza
Caterina Primi
Rosalba Rosato

Gianmarco Altoè
Mario Angelelli
Pasquale Anselmi
Linda Antonella Antonucci
Giorgio Arcara
Giulia Balboni
Michela Balsamo
Claudio Barbaranelli
Salvatore Bonfiglio
Giovanni Bruno
Alessandro Oronzo Caffò
Carlo Chiorri
Pietro Cipresso
Daiana Colledani
Giulio Costantini
James Dawe
Maria Anna Donati
Marina Ottavia Epifania
Alessio Facchin
Marcello Gallucci
Sara Garofalo
Alessandro Gennaro
Sonia Ingoglia
Marco Innamorati
Margherita Lanz
Stefano Livi
Barbara Loera
Antonella Lopez
Amelia Manuti
Tatiana Marci
Mario Miccoli
Giorgia Molinengo
Stefano Noventa
Massimo Nucci
Paola Pasca
Massimiliano Pastore
Valerio Pellegrini
Annalisa Pelosi
Lina Pezzuti
Egidio Robusto
Daniele Romano
Angela Sorgente
Giuseppina Spano
Pietro Spataro
Andrea Spoto
Luca Stefanutti
Semira Tagliabue
Luigi Tinella
Flavio Urbini
Michele Vicovaro
Michela Zambelli