Scarica pretest approccio cognitivo libro e più Sintesi del corso in PDF di Metodologia della ricerca solo su Docsity!
PRETEST: UN APPREOCCIO COGNITIVO
1. Il pretest nei sondaggi
All’inizio del ‘900 il radicamento nella cultura americana della filosofia individualista e la diffusione di una concezione aggregativa dell’opinione pubblica (cioè che sia costituita dalla somma delle opinioni che partecipano alla vita civile e politica), ha indotto a legittimare il sondaggio come strategia principe per rilevare l’opinione pubblica e come strumento di democrazia partecipata. Si è pero prodotta una proliferazione di sondaggi su svariasti temi, spesso però condotti senza rispettare le prescrizioni dei manuali e soprattutto ignorato il consiglio di sottoporre lo strumento a un pretest prima di procedere alla raccolta dei dati, allo scopo di individuarne i difetti e correggerli.
1.1 Il dibattito sul pretest
Per molto tempo il pretest degli strumenti di raccolta dei dati è stato condotto in un solo modo: dopo essere stati istruiti sugli obiettivi dei pretest e sui tipi di problemi ricorrenti nelle interviste, gli intervistatori venivano invitati ad annotare tutte le difficoltà incontrate durante le interviste; e al termine della sessione di pretest, i ricercatori organizzavano una discussione di gruppo con gli intervistatori per raccogliere le loro impressioni generali sul questionario e i loro resoconti dei problemi emersi per ciascuna domanda. Quest’idea molto generale veniva attuata in diversi modi e molti metodologi lamentavano l’assenza di linee guida condivise. In generale, le critiche rivolte al pretest tradizionale riguardavano la sua forte dipendenza dal giudizio degli intervistatori o dal comportamento degli intervistati, che potrebbero anche essere inconsapevoli di avere un problema o non volerlo dire per non apparire incompetenti. Queste critiche hanno preparato il terreno a una nuova fase della riflessione sul pretest, caratterizzata soprattutto da 2 aspetti: l’apertura ai concetti e agli strumenti di lavoro della psicologia cognitiva e lo sviluppo della tecnologia informatica.
1.2 Gli obiettivi della fase di pretest
Il pretest serve a controllare il funzionamento di uno strumento di rilevazione e a individuarne i difetti che possono ridurre la qualità dei dati raccolti. Per qualità dei dati intendiamo la capacità di un’informazione, collocata sotto forma di simbolo numerico in una posizione univocamente definita della matrice, di rispecchiare lo stato in un oggetto sulla relativa proprietà- ciò che Marradi chiama ‘fedeltà’. Questa definizione di qualità del dato sposta il controllo al di fuori della matrice e quindi si discosta dal concetto di accuratezza – e da quello connesso di errore di misurazione – ancora diffuso nel mondo anglosassone, eliminando ogni riferimento a una valutazione basata sul calcolo di coefficienti di attendibilità. La possibilità che uno strumento di rilevazione produca dati fedeli dipende dalle scelte che influenzano, più o meno direttamente, il funzionamento: come viene concettualizzato il problema che si indaga, quali indicatori vengono scelti e come sono definiti operativamente, quali modalità vengono adottate per la raccolta delle info e come vengono codificati i dati. Quindi fare il pretest di uno strumento significa fare controllare il suo funzionamento in relazione agli obiettivi conoscitivi specifici che si propone e alle modalità della sua applicazione
sul campo. Inoltre, la valutazione di un questionario deve tener conto di come un intervistatore e intervistato interagiscono tra loro e con lo strumento, poiché è da queste interazioni che dipendono gli esiti della raccolta dei dati. Dunque gli obiettivi del pretest di un questionario sono: a) Controllo/affinamento della concettualizzazione del problema di ricerca. Il pretest può servire per indagare se nella mappa dei concetti sono state inserite tutte le proprietà rilevanti per gli obiettivi della ricerca e se le proprietà scelte rivestono importanza e significato dal punto di vista degli intervistati. Sotto quest’aspetto, il pretest si sovrappone in parte allo studio pilota, che è un’indagine di carattere esplorativo svolta nelle fasi preliminari di una ricerca per indagare la rilevanza delle proprietà inserite nella mappa e scovare quelle che non sono state previste dal ricercatore ma emergono dall’ascolto degli intervistati. b) Controllo della validità degli indicatori, raccogliendo informazioni utili a sostenere o rivedere il giudizio di validità formulato dal ricercatore sulla base delle sue conoscenze del problema e della popolazione studiata, dei risultati di ricerche precedenti e della letteratura scientifica. c) Controllo dell’affidabilità delle definizioni operative: il pretest consente di controllare se i procedimenti con cui una proprietà viene trasformata in una variabile producono dati fedeli, cioè, come detto in precedenza, dati che rappresentano correttamente il (supposto) stato effettivo di un soggetto su una data proprietà, secondo le convenzioni stabilite dalla definizione operativa. Questa può essere considerata la funzione principale del pretest. Questa funzione può essere scomposta in 3 sotto-funzioni, in base alla componente del sistema di rilevazione che si ritiene causa della potenziale distrazione: Controllo delle distorsioni introdotte dagli intervistati: prima che la rilevazione abbia inizio, è importante controllare la capacità degli intervistatori di eseguire correttamente il compito. (comprensione errata domande, modificazione della formulazione domanda ecc). Se correttamente individuate, possono essere almeno in parte prevenute rivedendo la formulazione delle domande e/o addestrando meglio gli intervistatori. Controllo delle distorsioni dovute agli intervistatori: in un pretest il ricercatore deve indagare la capacità degli intervistati di comprendere il testo delle domande ed eseguire i compiti richiesti e la loro disposizione a rispondere con sincerità e attenzione a tutte le domande, comprese quelle su temi delicati. Controllo delle distorsioni introdotte dalla formulazione delle domande e della struttura del questionario: il testo di una domanda potrebbe essere formulato in maniera da indirizzare gli intervistati verso una delle risposte (domande sovra- determinate) oppure mancare degli elementi necessari agli intervistati per indicare correttamente il loro stato e agli intervistatori per decidere a quale categoria attribuire la risposta (domanda sotto-determinata). d) Controllo della codifica delle risposte: i dati possono risultare infedeli anche a causa di errori commessi nel passaggio dalla risposta dell’intervistato al simbolo numerico nella corrispondente cella della matrice dati e il pretest dovrebbe servire per prevenirli. I possibili errori di codifica dipendono anche dalle modalità di conduzione dell’intervista. Nel caso di domande aperte il pretest consente di cogliere problemi come la scarsa comprensibilità delle risposte trascritte, o la loro non riconducibilità a un ‘fundamento divisionis’ sul quale sia possibile basare un piano di codifica.
1.3.1 Tecniche non basate sull’ascolto degli intervistatori o degli intervistati
Codifica del comportamento verbale degli intervistatori o degli intervistati Negli anni 80 è stata proposta una forma di pretest che si basa sulla codifica del comportamento verbale degli attori di uno scambio comunicativo, prima era usata solo per monitorare le prestazioni degli intervistatori nelle interviste standardizzate poi è stata successivamente adattata per le valutazioni dei problemi delle domande. Gli schemi usati per codificare sono diversi, il più noto è quello proposto da Cannell e i suoi colleghi: ogni deviazione dalla sequenza domanda risposta prevista dal ricercatore deve essere interpretata come il segnale di un potenziale difetto del questionario; registrando queste deviazioni attraverso uno schema di codifica stabilito a monte e analizzandone la frequenza nelle diverse interviste, si possono ottenere informazioni utili alla valutazione del questionario. Ci sono dei limiti però: la codifica del comportamento verbale è una tecnica utile per individuare le difficoltà di intervistatori e intervistati ma non per capirne le concause. Si è proposto di affiancarle ad altre tecniche come il debriefing degli intervistatori o degli intervistati, per fornire informazioni sui motivi dei problemi individuati; tutto ciò comunque non consente di superare il principale limite di rilevazione dei problemi che non si manifestano nel comportamento degli intervistatori o degli intervistati. Per questo motivo la codifica del comportamento verbale dovrebbe essere accompagnata da altre forme di pretest che consentano di individuare le domande problematiche e acquisire indicazioni utili alla loro revisione. Valutazione di esperti Una tecnica di pretest facile da applicare e poco costosa consiste nel chiedere e 3/4 studiosi estranei al frutto di ricerca di valutare i potenziali problemi del questionario, il parere può essere richiesto individualmente oppure in un incontro di gruppo. Alcuni studiosi Hanno proposto degli schemi che posso assistere gli esperti nella valutazione delle domande, Willis e Lessler propongono questo schema per codificare i problemi:
- La domanda è difficile da leggere perché non chiarisce agli intervistatori quali parti devono essere lette (1a), manca delle istruzioni su come somministrarla (1b) o non è completa (1c)
- Le istruzioni per gli intervistati non sono precise e coerenti (2a) oppure sono complicate (2b)
- L'intento della domanda è poco chiaro perché il testo è lungo, difficile e/o complicato (3a), Contiene termini tecnici sconosciuti agli intervistati (3b), può essere interpretato in modi diversi (3c), i periodi di riferimento non sono indicati o mal specificati (3d)
- La domanda presuppone assunti impliciti (4a), Ipotizza che il comportamento degli intervistati sia costante (4b) e contiene domande implicite (4c)
- Le informazioni richieste non sono note agli intervistati (5a), non hanno alcuna opinione sul tema (5b), Hanno difficoltà a ricordare le informazioni richieste (5c) o hanno problemi a dare una risposta (5d)
- La domanda affronta un argomento delicato (6a) oppure sollecita risposte socialmente desiderabili (5b)
- La Forma aperta della domanda è inappropriata (7a) Oppure le alternative di risposta non sono coerenti (7b), contengono termini sconosciuti (7c), sono vaghe (7d), non sono esclusive (7e), non esaustive (7f) o presentate in ordine illogico (7g) Lessler e Forsyth Citano tre ricerche in cui la valutazione sistematica degli esperti è posta a confronto con altre tecniche di pretest come l'intervista cognitiva, il debriefing degli intervistatori, il focus group e la codifica del comportamento verbale di intervistatori e intervistati. I problemi
codificati dagli esperti coincidevano con quelli individuati dalle altre tecniche, ciò ha portato i due studiosi a concludere che questo schema di codifica è uno strumento utile e a basso costo. La valutazione degli esperti assistita da uno schema di codifica e una tecnica efficiente soprattutto nelle fasi preliminari del controllo di un questionario. Analisi del questionario col software ed esame dei movimenti oculari Uno strumento è stato proposto da Graesser e consiste in un software detto QUAID (Question Understanding Aid) che ironizza le domande per individuare gli aspetti che potrebbero compromettere la comprensione da parte degli intervistati. Esso si basa su un modello di rappresentazione della cognizione umana che specifica le procedure che le persone mettono in atto per rispondere a diversi tipi di domande e permette di individuare quegli aspetti della domanda che ne rendono difficile la comprensione, come termini sconosciuti , sostantivi vaglio ambigui, sintassi complessa, ecc… La presenza del ricercatore rimane fondamentale: a lui spetta il compito di valutare i risultati dell'analisi e prendere decisioni finali su quanto suggerito dal software. Un altro strumento è l’eye-tracking, Una tecnica hardware e software che esamina i movimenti oculari degli intervistati quando rispondono al questionario auto compilato allo scopo di capire dove e per quanto tempo lo sguardo delle intervistato sul viso sul questionario; è una tecnica diffusa soprattutto nella ricerca di mercato ma se ne hanno ancora pochi esempi di applicazione. Esaminare i movimenti oculari degli intervistati è potenzialmente utile per controllare la veste grafica di un questionario che, in assenza di un intervistatore, può influenzare di dati. Gli aspetti grafici diventano importanti: possono aumentare o ridurre la motivazione a partecipare a un’indagine e interferire con le sue risposte ma lo strumento continua ad essere molto invasivo, alterando verosimilmente il processo percettivo degli intervistati.
1.3.2 Tecniche basate sull’ascolto degli intervistati
Debriefing degli intervistati, intervista sull’intervista e intervista cognitiva Il debriefing degli intervistati consiste nel porre domande di approfondimento delle risposte ottenute (probes) dopo la somministrazione del questionario o durante l'intervista ed è stato usato per scopi molto diversi tra loro: indagare quali referenti gli intervistati includono nelle risposte, Sondare i processi di pensiero alla ricerca di possibili difficoltà di rievocazione o formulazione della risposta, saggiare la delicatezza dei temi affrontati (si tratta di una tecnica dispendiosa, sia in termini di tempo sia di sforzo cognitivo richiesto all’intervistato). L'intervista sull’intervista ha molto in comune con il debriefing degli intervistati (la fedeltà dei dati dipende fortemente da una serie di processi mentali degli intervistati), ciononostante nella lettura scientifica sul pretest l'intervista sull’intervista viene raramente menzionata. Simile al debriefing degli intervistati e anche l'intervista cognitiva, una tecnica di pretest che è basata sugli assunti teorici e metodologici (CASM) sorti nei primi anni '80, essa fa affidamento sui resoconti dei processi di pensiero degli intervistati per indagare le cause di infedeltà nelle risposte ed è spesso condotta in laboratorio, In una situazione artificiale che non riproduce necessariamente le modalità di somministrazione del questionario presenti nella rilevazione sul campo. Inoltre, questa tecnica si basa esplicitamente su un quadro teorico di riferimento, il cognitivismo (aspetto cruciale della tecnica). L'intervista cognitiva può essere considerato uno sviluppo delle procedure di
qualità dei dati. Paradossalmente una sovrastima dei difetti può portare a modifiche peggiorative piuttosto che migliorative di un questionario. Willis, Schechter e Whitaker Hanno analizzato le stesse tecniche eccetto il debriefing degli intervistatori, arrivando risultati simili: anche in questo studio la valutazione degli esperti è stata la tecnica che ha segnalato il maggior numero di problemi, l'intervista cognitiva quella che ne ha fatto registrare di meno. I problemi di comprensione sono stati più segnalati sia dalle interviste cognitive, sia dalla valutazione degli esperti. Più recentemente Forsyt, Rothgeb e Willis hanno Svolto uno studio per valutare i risultati di un pretesto condotto con tre tecniche: valutazione di esperti, informale e formale, e intervista cognitiva. Gli studiosi hanno valutato il loro pretest in termini di efficacia (intesa come capacità di individuare gli aspetti del questionario che sul campo causano problemi) e utilità, intesa come possibilità di trarre indicazioni utili alla revisione del questionario. Il pretest con valutazione formale informale degli esperti e con interviste cognitive risultato efficace: i problemi segnalati dalle tre tecniche di pretest corrispondevano a quelli individuati dal debriefing degli intervistatori, inoltre le domande che affrontavano temi delicati ho causavano problemi di ricordo per gli intervistati avevano anche i tassi più alti di non risposta. La maggior parte degli studiosi converge sulla necessità di fare più sessioni di pretest, sottoponendo lo strumento a un processo di controllo iterativo in cui i cambiamenti fatti sulla base dei risultati di uno più tecniche di pretest vengono controllati ricorrendo ad altre tecniche.
1.4 Un confronto fra tecniche di pretest del questionario
Presser e Blair hanno controllato un questionario con quattro tecniche: valutazione degli esperti, debriefing degli intervistatori, codifica del comportamento verbale degli intervistatori e degli intervistati e intervista cognitiva. La valutazione degli esperti è stata la tecnica che ha prodotto il maggior numero di segnalazioni di potenziali problemi del questionario, l'idea di comparare le tecniche in base al numero di problemi segnalati è peraltro abbastanza discutibile, la qualità di un pretest dipende dalla sua capacità di evidenziare aspetti Che hanno conseguenze negative sulla qualità dei dati. Paradossalmente una sovrastima dei difetti può portare a modifiche peggiorative piuttosto che migliorative di un questionario. Willis, Schechter e Whitaker Hanno analizzato le stesse tecniche eccetto il debriefing degli intervistatori, arrivando risultati simili: anche in questo studio la valutazione degli esperti è stata la tecnica che ha segnalato il maggior numero di problemi, l'intervista cognitiva quella che ne ha fatto registrare di meno. I problemi di comprensione sono stati più segnalati sia dalle interviste cognitive, sia dalla valutazione degli esperti. Più recentemente Forsyt, Rothgeb e Willis hanno Svolto uno studio per valutare i risultati di un pretesto condotto con tre tecniche: valutazione di esperti, informale e formale, e intervista cognitiva. Gli studiosi hanno valutato il loro pretest in termini di efficacia (intesa come capacità di individuare gli aspetti del questionario che sul campo causano problemi) e utilità, intesa come possibilità di trarre indicazioni utili alla revisione del questionario. Il pretest con valutazione formale informale degli esperti e con interviste cognitive risultato efficace: i problemi segnalati dalle tre tecniche di pretest corrispondevano a quelli individuati dal debriefing degli intervistatori, inoltre le domande che affrontavano temi delicati ho causavano problemi di ricordo per gli intervistati avevano anche i tassi più alti di non risposta. La maggior parte degli studiosi converge sulla necessità di fare più sessioni di pretest, sottoponendo lo strumento a un processo di controllo iterativo in cui i cambiamenti fatti sulla base dei risultati di uno più tecniche di pretest vengono controllati ricorrendo ad altre tecniche.
2.4 Il ruolo della memoria
La memoria svolge una funzione conservativa perché custodisce tracce del passato che vengono continuamente rievocati e interpretati. La selezione degli elementi da conservare è indispensabile ma non esaurisce le funzioni della memoria che infatti, attraverso nessi di significati, sottrae il singolo atto alla sua singolarità e lo connette ad altri. La memoria è stata per lungo tempo studiata attraverso esperimenti di laboratorio basati sulla somministrazione di stimoli artificiali (immagini,parole) tuttavia l’esigenza di analizzare come le persone rispondono a domande riguardanti eventi delle loro vite ha portato allo sviluppo di studi dedicati alla memoria di eventi autobiografici e alle loro modalità di rievocazione. Le teorie sulla memoria autobiografica si basano tutte sull’assunto che le unità nelle quali le persone conservano e successivamente rievocano informazioni sul loro passato sono rappresentazioni di singoli eventi, si distinguono tuttavia rispetto al modo in cui queste unità sono tra loro collegate in memoria. Secondo Tulving, le info sugli eventi sono collegate tra loro e costituiscono la memoria episodica. Secondo Kolodner la memoria autobiografica ha una struttura gerarchica ed è composta da informazioni su classi di eventi e dalla descrizione di questi ultimi. Nel modello CYRUS elaborato dalla studiosa, l’unità utilizzata per rappresentare una classe di eventi è lo Event Memory Organization Packet (E-MOC) che contiene sia info generali sulla classe (es. luoghi, partecipanti), sia strutture organizzative secondarie (legate a una particolare caratteristica della classe). Per rievocare un evento sarebbe dunque necessario identificarne prima la classe. Barsalou sostiene che il criterio principale per l’organizzazione dei ricordi sia il loro ordine cronologico, i ricordi sarebbero dunque organizzati secondo linee temporali di eventi estesi frequentemente interrotti da quelli che sono definiti “eventi specifici”, che hanno una durata più limitata. Esempio: La molteplicità dei modelli riferiti alla memoria autobiografica testimonia come la ricerca psicologica in questo campo sia in continua evoluzione. Lo sviluppo di questi studi è fondamentale per il continuo aggiornamento della metodologia della ricerca sociale per cui è sempre più importante costruire domande che possano stimolare una rievocazione accurata da parte degli intervistati. La rievocazione prevede il trasferimento di una informazione dalla memoria a lungo termine a quella di lavoro che è di breve durata e consente di elaborare info necessarie per portare a termine compiti cognitivi (es. ragionare). Questo trasferimento tuttavia è spesso caratterizzato dal ricorso a processi ricostruttivi e inferenziali che possono causare distorsioni soprattutto quando il compito di rievocazione è difficile. I fattori che rendono la rievocazione difficile (portando l’intervistato ad adottare strategie di ricostruzione) sono distinti in due differenti classi: proprietà dell’evento da rievocare e proprietà della domanda che chiede all’intervistato di rievocare. Rispetto alle proprietà dell’evento gli studi di Eddinghaus (1885) hanno evidenziato l’importanza assunta dall’intervallo di ritenzione (più passa il tempo minore è la possibilità di ricordare), il passare del tempo determina infatti il decadimento o l’erosione della Traccia Mnestica ovvero il
- Valutazione basata su impressioni generali (non riconducibili ad alcuna delle classi precedenti, ad esempio è spesso scelta la categoria di risposta centrale perché interpretata come corrispondente alla frequenza tipica della popolazione) I tre autori individuano due varianti della prima strategia e una variante della seconda. Oltre al conteggio generico l’intervistato potrebbe scomporre le classi di eventi in sotto-classi per poi rievocare e contare gli eventi in ciascuna di esse oppure usare i singoli eventi rievocati per calcolare un tasso di occorrenza da applicare all’intero periodo di riferimento della domanda. Oltre alla rievocazione del tasso tipico di occorrenza l’intervistato potrà fare riferimento al tasso ritenuto giusto (per dare risposte socialmente desiderabili). Considerata l’esistenza di processi cognitiva alternativi all’enumerazione episodica è importante riconoscere gli elementi che contribuiscono a sceglierla come alternativa. Secondo Blair e Burton è importante considerare:
- il numero di eventi da rievocare, le loro ricerche hanno permesso di rilevare come al crescere di questo elemento diminuiva la probabilità del conteggio dei singoli episodi
- la distanza temporale degli eventi da ricordare (sono rievocati con enumerazione episodica eventi più recenti)
- il tempo concesso per rispondere (più aumenta e maggiore è la possibilità di ricorrere all’enumerazione episodica) Complessivamente secondo i due autori “gli intervistati o non sono disposti a enumerare o non riescono a farlo entri i vincoli temporali dell’indagine”.
2.5.2. La datazione degli eventi
Questo è un processo cognitivo complesso sottoposto a potenziali distorsioni, tra cui il telescoping , ossia la tendenza da parte degli intervistati a collocare gli eventi in periodi precedenti o successivi a quello di effettiva occorrenza. A tal proposito sono state formulate due teorie, la “teoria della compressione temporale” e la “teoria della varianza”. La prima, proposta da Sudman e Bradburn, chiama in causa la mancata coincidenza tra periodo di riferimento della domanda e periodo effettivo del ricordo; quest’ultimo sarebbe infatti sempre più lungo del primo, portando gli intervistati ad una sovrastima degli eventi nel periodo di riferimento. In merito alla seconda, più un evento è remoto, maggiore è l’incertezza sulla sua data e quindi maggiore è la varianza di distribuzione delle datazioni possibili; poiché gli eventi remoti hanno una varianza maggiore di quelli recenti, la probabilità che un intervistato importi un evento remoto nel periodo di riferimento è maggiore della probabilità di esportazione di un evento più recente. Sarebbe quindi la maggiore incertezza sulle date di eventi remoti a indurre gli intervistati a sovrastimare il numero di eventi accaduti. Secondo un’altra interpretazione di Sudman e Bradburn, lo spostamento di eventi anteriori nel periodo di riferimento sarebbe determinato almeno in parte dal desiderio degli intervistati di fare bella figura, invitandoli a pronunciarsi in senso affermativo piuttosto che negativo. Nessuna di queste spiegazioni però riesce a isolare completamente le cause del telescoping , ma possiamo individuare i rimedi: ricorrere a procedure di ricordo delimitato, ponendo la stessa domanda in diverse occasioni e ricordando agli intervistati gli eventi menzionati nella precedente intervista; ancorare l’inizio del periodo di riferimento a una data particolarmente significativa che faciliti la delimitazione del ricordo; consentire agli intervistai di consultare documenti, diari e ricevute di acquisto in cui sono registrare le date degli eventi da rievocare.
2.5.3. I giudizi in risposta a domande su atteggiamenti
Wilson, Kraft e Lisle hanno definito un modello, il File Drawer Model , secondo cui tratto fondamentale del concetto di atteggiamento sarebbe la sua stabilità: gli atteggiamenti sono giudizi già formati che rimangono nella memoria a lungo termine. La variabilità degli atteggiamenti dipende quindi dall’assenza di giudizi radicati: quando la ricerca in memoria non produce alcun risultato, invece di ammettere i propri limiti gli intervistati preferiscono improvvisare una risposta, e questa instabilità induce ad un processo di fabbricazione degli atteggiamenti che risente del contesto di rilevazione. Wilson e Hodges sostengono che gli atteggiamenti non sono altro che costruzioni temporanee che risentono del contesto di rilevazione e del tipo di riflessione in cui le persone sono impegnate (approccio costruttivista). Piuttosto che riportare i contenuti di un file mentale, le persone spesso non ricorrono a tutte le info a loro disposizione e quindi si limitano a costruire i loro atteggiamenti sulla base di un sottoinsieme di tale info: la semplice riflessione sull’oggetto di atteggiamento e l’analisi delle ragioni per le quali si hanno determinati giudizi nei confronti di tale oggetto possono cambiare le info che le persone usano per costruire i loro atteggiamenti. Le persone non sono interamente consapevoli dei motivi dei loro atteggiamenti, pertanto quando vengono invitate a esplicitarli, si focalizzano su quelli più accessibili e considerati accettabili. Quindi in base a quali condizioni alcuni atteggiamenti possono rimanere costanti nel tempo? Tra i numerosi fattori i principali sono la forza e la struttura degli atteggiamenti. Tourangeau, Risp e Rasinski, nella loro prospettiva, Belief Sampling Model , pur riconoscendo agli atteggiamenti la natura di costruzioni temporanee, ammettono la possibilità che tra le info usate nell’attività di costruzione siano presenti valutazioni precedentemente formate. Gli atteggiamenti, secondo loro, sono strutture di memoria in cui sono depositati sentimenti, opinioni e conoscenze su un tema, e la loro instabilità dipende da variazioni nei processi d rievocazione e giudizio. Secondo questo modello, sono tre i parametri che determinano la correlazione tra le risposte a una domanda in due diverse occasioni: la regolarità di assegnazione delle implicazioni (espressa dall’associazione tra le implicazioni assegnate alla stessa considerazione nelle due occasioni); la coerenza interna delle considerazioni (intesa come valore atteso dell’associazione tra le implicazioni assegnate in una stessa occasione a una qualunque coppia di considerazioni); il grado di sovrapposizione tra le considerazioni rievocate ( cioè la proporzione di considerazioni della prima occasione ponderate anche nella seconda). La correlazione tra le risposte sarà elevata se le considerazioni depositate nella memoria a lungo termine del soggetto sono coerenti ed egli rievoca le stesse considerazioni attribuendogli le stesse implicazioni. Secondo Sudman, Bradburn e Schwarz poi, la stabilità degli atteggiamenti sarebbe garantita, oltre che dalla rievocazione di giudizi già formati, anche dalla possibilità di costruire i giudizi ricorrendo a informazioni permanentemente accessibili. In conclusione possiamo affermare che gli atteggiamenti sono inerentemente instabili e dipendono dal contesto, nonostante comunque vi siano posizioni che le persone ritengono generalmente accettabili e quindi i loro atteggiamenti potrebbero variare solo entro questa gamma.
2.6. La scelta di un’alternativa di risposta
Elaborato un giudizio, il compito dell’intervistato è tradurlo in una risposta codificabile. Tra le riflessioni sulla fase di risposta, ampiamente citata è la Range-Frequency Theory di Parducci. La scelta della posizione di una serie di oggetti cognitivi in una scala sarebbe il prodotto di un compromesso fra due principi: il range principle e il frequency principle. Il primo è la tendenza a
consisteva nel chiedere ai soggetti di realizzare un compito complesso, come quello di stabilire connessioni logiche tra i concetti e fare un bilancio retrospettivo delle esperienze avute nel frattempo. In altre parole, il soggetto doveva impegnarsi in qualche processo mentale, come pensare e giudicare, e poi esaminare in modo in cui aveva pensato e giudicato. A partire dal 1907 Buhler introdusse innovazioni significative sul piano metodologico e su quello degli interessi teorici, avviò un programma di ricerca che poi Lazarseld definì studio empirico dell’azione e si sviluppa lungo 3 direttrici focalizzandosi su: gli scopi dell’azione, le intenzioni dell’attore e le influenze esterne sul corso dell’azione. Questo programma venne svolto anche grazie allo sviluppo di una tecnica di rilevazione che può essere considerata un adattamento dell’introspezione sperimentale di Kuple, con questa tecnica si sottopone al soggetto una domanda, su esperienze pregresse, alla quale deve rispondere tramite una certa riflessione. Poi il soggetto fornisce un resoconto il più possibile dettagliato dei passi che gli sono stati necessari per raggiungere una risposta. La verbalizzazione dei pensieri è un passaggio fondamentale anche nella psicoanalisi , infatti Freud concepisce la psicoanalisi come una sorta di arte maieutica: l’analista ha la funzione di aiutare il soggetto in analisi, il terapeuta non può dare nulla di suo, è il soggetto che si riappropria delle parti e degli elementi dimenticati nel proprio subconscio. Piaget ha fatto ricorso alla verbalizzazione nei processi cognitivi complessi per controllare empiricamente le sue ipotesi sul funzionamento dei sistemi psicologici: la tecnica proposta da questo studioso è il colloquio clinico, che consiste nel presentare al soggetto un problema e, mediante una serie di domande opportunamente studiate, ma comunque dipendenti dal caso, nl seguire passo passo le varie tappe che hanno portato il soggetto alla soluzione. In questo modo si comprende lo svolgersi del ragionamento che sta alla base della produzione delle risposte. Nella storia della psicologia ci sono state delle tradizioni che hanno osteggiato l’introspezione e verbalizzazione come tecnica di ricerca come il comportamentismo: per esso lo studio si basa sulla manifestazione osservabile in termini di comportamenti emotivi, abitudinari, d’apprendimento ecc. Se i comportamenti sono la vera natura della psiche, le rappresentazioni che i soggetti possono dare alle loro idee e dei loro ragionamenti sono fuori dal campo della psicologia come scienza. La parte meno estremista del comportamentismo crede che la coscienza e gli stati psichici dei soggetti siano entità metafisiche da eliminare in un discorso scientifico e l’introspezione e la verbalizzazione siano comunque tecniche di ricerche inutili e dannose; questo perché la psicologia deve affrontare i suoi problemi solo tramite variabili indipendenti manipolabili (stimoli) e variabili dipendenti osservabili (risposte comportamentali). In seguito al disaccordo dei comportamentisti a questi due fattori negli anni 70 è avvenuta la rivoluzione cognitivista dove i resoconti diventano nuovamente importanti come fonte di informazioni sui processi mentali delle persone. Ericsson e Simon parlano dell’information processing cioè una strategia di inquadramento teorico secondo cui quando tentiamo di risolvere un problema eseguiamo una sequenza di processi mentali che depositiamo temporaneamente nella memoria a breve termine. Questi processi possono essere riportati verbalmente perché vengono codificati in simboli, anche se i resoconti sono fedeli solo se fatti durante lo svolgimento del compito. Questo perché i simboli sono immagazzinati nella memoria a breve termine e possono essere accessibili immediatamente, mentre quelli nella memoria a lungo termine possono essere recuperati solo attraverso un processo di rievocazione che, per natura, è soggetto ad errori. Secondo Austin e Delaney, quando il processo cognitivo è breve sono invece preferibili resoconti retrospettivi, in quanto più è veloce lo svolgimento di un compito cognitivo più è difficile per una persona riportare simultaneamente i suoi pensieri. alcune domande dei questionari, per la
velocità con cui vengono somministrate e per la semplicità del compito, richiedono una risposta talmente rapida da mettere in discussione il think-aloud simultaneo. Secondo Nisbet e Wilson il problema dei resoconti è il fatto che non è possibile riferire fedelmente i processi mentali sottostanti a comportamenti complessi quali giudizi, scelta, soluzioni a problemi ecc. Riferendosi ad effetti come dissonanza cognitiva affermano che spesso le persone non hanno un’adeguata capacità introspettiva perché non sono consapevoli delle risposte motivazionali innescate da manipolazioni sperimentali cioè in altre parole non capiscono che è avvenuto un processo mentale anche quando sono consapevoli ci sia uno stimolo a cui deve corrispondere una risposta. Non essendo consapevoli, molto spesso, ci si chiede quale sia la fonte dei loro resoconti verbali; e ci si rende conto che queste riguardano competenze, convinzioni, esperienze dirette e indirette che a loro volta sono influenzate da diversi fattori: dal trascorrere del tempo più tempo intercorre tra il processo cognitivo e la sua verbalizzazione, maggiore è la sua probabilità che le cause siano meno accessibili e quindi non individuate correttamente. Dall’appartenenza delle determinanti di una risposta alla classe dei non-eventi i non- eventi sono meno accessibili degli eventi ovviamente, ed è quindi meno probabile che siano ritenuti plausibili. ES. potremmo percepire di non essere ben voluti da qualcuno non perché ci abbia manifestato la sua ostilità ma perché non ha avuto comportamenti amichevoli e questo potrebbe essere ignorato rispetto ad un comportamento evidente. Dall’appartenenza delle cause di una risposta alla classe dei comportamenti non verbali perché questi sono meno accessibili e quindi sono giudicati meno plausibili rispetto a quelli verbali. ES. potremmo essere influenzati da qualcuno non per ciò che dice ma per come si pone Dalla discrepanza tra livelli di generalità della causa e dell’effetto ad una risposta su una questione molto specifica le persone sono più disposte ad attribuire una causa più specifica piuttosto che generale Non si pensa che i soggetti non siano assolutamente capaci di realizzare dei resoconti veritieri, ma secondo questi due studiosi questi devono essere preparati adeguatamente dal ricercatore per riuscire ad imparare una tecnica che gli permetta di creare resoconti più veritieri possibili. Arrivano quindi a concludere che non ci sono significative tra la prestazione di chi completa un compito pensandolo ad alta voce e quella di chi lo esegue in silenzio. L’unico effetto riscontrato è l’allungamento dei tempi necessari a svolgere il compito. TUTT STU BURDELL PER SENZA NIENT. Secondo i due autori per ridurre il rischio che la strategia think-aloud sia reattiva bisogna: a) Istruire i soggetti a riportare solo i processi di pensiero presenti nella memoria a breve termine b) Chiedere loro di verbalizzare i pensieri senza provare a giustificarli o analizzarli Da alcune esperienze di ricerca è emerso che la richiesta di pensare ad alta voce nel rispondere a domande di opinione non genera reattività perché semplicemente viene ignorata. Gli intervistati preferiscono dare una risposta e poi motivare la loro scelta, cioè non si impegnano nell’attività think-aloud, ma è come se reagissero retrospettivamente a una generica richiesta di approfondimento della loro risposta.
riferimento etc.) o per indagare una fase del processo di risposta generato da quella domanda. Questi ultimi possono essere efficaci quando si ha già consapevolezza dei possibili problemi delle domande, consentendo al ricercatore di focalizzare l’attenzione degli intervistati proprio su aspetti che si intendono indagare. Se invece l’analisi preliminare del questionario non mette in luce potenziali problemi specifici, è meglio ricorrere a probes generali , che lasciano più liberi gli intervistati di ricostruire i modi che cui hanno risposto al questionario. Daugherty ha costruito un’ovvia tipologia di tecniche di intervista cognitiva composta da 4 tipi: interviste con probes specifici simultanei, interviste con probes specifici retrospettivi e interviste con probes generali retrospettivi. Le interviste con probes generali simultanei (terzo tipo) trovarono più problemi di comprensione, giudizio e risposta di quelle con probes specifici (primo tipo) innescando un’interazione un po' meccanica tra intervistatore e intervistato, ma aiutavano l’intervistato a cogliere problemi che spontaneamente non avrebbe individuato. Confrontando le interviste con i diversi tipi di probes, i ricercatori hanno concluso la ricerca dicendo che “entrambi gli approcci simultanei sono utili perché catturano tipi diversi di problemi degli intervistati, quelli ipotizzati dal ricercatore e quelli inattesi”. Un’altra classificazione, proposta da Bichi, distingue i probes in consegne e rilanci a seconda dell’obiettivo che con essi si vuole raggiungere. I probes in consegna hanno lo scopo di sollecitare l’intervistato a continuare il suo discorso, ad approfondire l’argomento appena narrato nel caos dei pretest I probes di rilanci portano l’intervistato a sviluppare gli aspetti intenzionali è valutativi de suo discorso per far si che emergano motivazioni e giudizi non legati a concatenazioni causali prodotte ad hoc Willis ha individuato due ulteriori criteri in base ai quali classificare i probes, combinandoli in una tipologia. Il primo riguarda le condizioni di somministrazione dei probes e distingue le domande di approfondimento in proattive e reattive
- Probes proattivi sono domande che un intervistatore può porre indipendentemente dal fatto che l’intervistato manifesti un problema nel rispondere
- Probes reattivi sono innescati da qualcosa che l’intervistato ha detto o ha fatto e che segnala un problema Il secondo criterio fa riferimento alla progettazione dei probes e distingue le domande di approfondimento in standardizzate e non a seconda che siano previste nella traccia cognitiva o poste in modo estemporaneo dall’intervistatore durante l’intervista Con questi due criteri da Willis vengono articolati 4 tipi di probes : I probes anticipati sono domande di approfondimento che il ricercatore prevede in fase di stesura della traccia perché crede che una domanda del questionario possa porre un problema per gli intervistati I probes spontanei non sono previsti dal ricercatore né dipendono da qualche comportamento dell’intervistato che segnali un problema. Sono domande di approfondimento poste spontaneamente dagli intervistatori che decidono di indagare alcuni problemi nelle domande del questionario, da loro stessi ipotizzati. I probes condizionali sono inseriti dal ricercatore nella traccia di intervista cognitiva, ma gli intervistatori sono istruiti a porli solo in presenza di particolari comportamenti degli intervistati (per esempio una pausa, una flessione interrogativa nella risposta)
I probes emergenti se durante un’intervista l’intervistatore si accorge che l’intervistato sta incontrando un problema con una domanda, può deviare dalla traccia ed elaborare spontaneamente probes di questo tipo. Marradi sostiene che i probes dovrebbero avere sempre natura contingente, ossia dipendere dal particolare andamento di una specifica intervista, per gli intervistatori più esperti infatti non ha senso avere dei questionari standardizzati. Beatty e Willis ritengono invece che, qualora si abbiano in mente ipotesi sui possibili problemi del questionario, i probes standardizzati sono in grado di stimolare risposte focalizzate sui problemi da indagare. In un’intervista cognitiva è oppoetuno ricorrere a probes standardizzati e non standardizzati, sia reattivi e proattivi: i probes reattivi permettono di esplorare problemi che l’intervistato manifesta nel rispondere, mentre quelli proattivi consentono di indagare eventuali difficoltà di cui l’intervistato potrebbe non essere consapevole. Prima di condurre una sessione di interviste cognitive è importante analizzare il questionario per valutare quali distorsioni potrebbero condizionare il funzionamento di ciascuna domanda. Il questionario può essere analizzato direttamente da chi progetta il pretest cognitivo oppure sottoposto al giudizio di un gruppo di esperti in entrambi i casi si può usare uno schema di codifica di potenziali problemi delle domande, come quello elaborato da Willis e Lessler e poi affinato da Willis.
3.4 Progettare e condurre un’intervista cognitiva
Per progettare un pre-test implica diverse decisioni: come scegliere gli intervistati, quante interviste fare, come scegliere e istruire gli intervistatori, come quale modalità condurre le interviste e come analizzare il materiale raccolto.
3.4.1 La scelta degli intervistati
Nei pretest cognitivi generalmente gli intervistati non si scelgono attraverso una qualche strategia di campionamento probabilistico. Ciò significa che i risultati di un pre-test non vengono valutati in funzione della loro generalizzabilità (in senso statistico) alla popolazione di riferimento. Gli intervistati con un campionamento per quote in modo da garantire una diversificazione in base ad alcune caratteristiche di base come età e genere, livello di istruzione; i criteri di campionamento dipendono però anche dal questionario e dagli scopi del pre-test. Un altro aspetto da considerare nella scelta degli intervistati da usare nel pretest è la capacità delle persone di rispondere alle domande dell’intervista cognitiva dando informazioni utili per la valutazione del questionario. Il numero delle interviste da fare dipende naturalmente, alle risorse e dal tempo a disposizione, ma anche da altri aspetti: il numero di criteri scelti per il campionamento; la presenza di percorsi, e quindi domande filtro, nel questionario (se prevediamo domande indirizzano gli intervistati con determinate caratteristiche verso una sezione del questionario e altri verso altre sezioni, è opportuno includere nel campione persone di entrambi i tipi per assicurare che tutte le sezioni vengano adeguatamente controllate); nello sviluppo del questionario potrebbe essere necessario fare nelle prima fasi di pre-test dalle 2 alle 4 interviste cognitive per trovare i problemi più importanti e fare una prima previsione del questionario. Secondo Willis è opportuno comunque condurre più sessioni di interviste cognitive, e in ognuna intervistare al massimo 12 o 15 persone, nelle diverse sessioni dovremmo avere obbiettivi diversi:
prevalentemente condotto tramite interviste faccia a faccia. Willis ritiene che tale modalità possa essere utile nelle prime fasi del pretest cognitivo, quando il ricercatore si propone di indagare temi generali che non dipendono dalla modalità di somministrazione. Quando le interviste cognitive sono condotte con la stessa modalità prevista per la rilevazione sul campo si deve comunque scegliere se raccogliere i resoconti dei processi cognitivi solo dopo che gli intervistati hanno completato il questionario oppure durante l’intervista. Le ricerche empiriche sul tema raggiungono risultati diversi è quindi opportuno il suggerimento di Daugherty di controllare i questionari auto-compilati con un approccio che comprenda una fase di osservazione dell’intervistato durante la compilazione mirata a monitorare i problemi che incontra in assenza di un intervistatore, e una di interviste cognitive con probes simultanei diretta a esplorare le altre possibili forme di distorsione.
3.4.4 L’analisi dei resoconti verbali
In fase di progettazione si deve stabilire come riportare le informazioni raccolte. Le procedure con cui possono essere analizzate le interviste cognitive sono numerose e diverse tra loro; alcuni autori lamentano la mancanza di criteri condivisi da parte dei ricercatori. Willis propone una tassonomia delle procedure di analisi basata su due criteri: la presenza o meno di uno schermo di codifica delle interviste e il tipo di procedura con cii tale schema viene costruito. In questo caso l’intervistatore attraverso un documento di sintesi riporta intervistato per intervistato tutti i problemi che emergono senza utilizzare però una sistematica sistema di decodifica. Molti autori criticano la mancanza di criteri standard per analizzare le interviste cognitive, molti ricorrono al modello a quattro fasi di Tourangeau:
- Assegnare un codice ogni volta che un intervistato manifesta una difficoltà;
- Rievocare le informazioni richieste
- Elaborare un giudizio;
- Scegliere un’alternativa di risposta Nel corso del tempo gli autori hanno personalizzato e variato tale schema di decodifica, ma tali schemi possono essere attuati anche in modo automatizzato. Gli schemi di codifico delle interviste cognitive possono servire per classificare non solo le difficoltà cognitive incontrate dagli intervistati nel processo di risposta, ma anche gli aspetti di una domanda che causano problemi. In entrambi i casi i codici sono costruiti a priori, in alternativa è possibile costruire una strategia di codifica ex-poste dei resoconti. Come note Willis procedendo in tal modo si può descrivere come gli intervistati interpretano le domande oppure individuare eventuali schemi di risposta che caratterizzano tipi di intervistati diversi. È chiaro che solo la codifica ex-post consente di cogliere la ricchezza semantica dei resoconti verbali. Le interviste cognitive consentono di ottenere informazioni approfondite e di chiarire il senso delle risposte date dagli intervistati; questa loro potenzialità dovrebbe pertanto esser tutelata attraverso analisi interpretative che rispettino la profondità del materiale raccolto, conducano a descrizioni accurate dei problemi delle domande e ne consentano anche una spiegazione.
3.5 Potenzialità e limiti dell’intervista cognitiva
L’intervista cognitiva è una tecnica utile per scandagliare il processo di riposta degli intervistati, individuare le difficoltà che incontrano nell’elaborazione cognitiva delle domande e ottenere
indicazioni per migliorarle. Innanzitutto si può controllare come è stato concettualizzato il problema oggetto della ricerca; inoltre permette di raccogliere informazioni con cui sostenere o contraddire il giudizio sulla validità semantica degli indicatori formulati dal ricercato. Con i resoconti verbali dei processi cognitivi degli intervistati è possibile poi controllare l’affidabilità delle definizioni operative e, in particolare, le cause di infedeltà dovute al testo delle domande o al modo in cui vengono elaborate dagli intervistati. Ma il pregio maggiore dell’intervista cognitiva è spingere gli intervistati a descrivere i loro processi di risposta permettendo così di valutarne la coerenza rispetto alle aspettative del ricercatore ed esplorare le cause di infedeltà nelle risposte. In generale, chi fa un pretest cognitivo presume che gli intervistati riescano ad articolare i processi cognitivi e soprattutto possano farlo fedelmente, fornendo in questo modo resoconti adeguati a valutare la fedeltà delle loro risposte. Tuttavia, per giustificare questi assunti la teoria cognitiva da sola non basta, ma deve essere integrata con altre correnti di pensiero. In particolare, quando si tratta di valutare domande su opinioni e atteggiamenti, una certa sensibilità e competenza antropologico-linguistica consente al ricercatore di prefigurare i problemi che certi termini o espressioni anche di uso comune, implicano nella formulazione delle domande, e quindi di impostare in modo più avvertito il pretest tramite interviste cognitive. Inoltre a livello metodologico l’intervista cognitiva a che fare con le interviste in profondità che con l’intervista strutturata, quindi il suo successo poggia più sulle capacità non formalizzabili dell’intervistatore che sul ricorso a questa o quella strategia di conduzione. L’intervista cognitiva permette di raggiungere i risultati voluti quando l’intervistatore la gestisce con ampi margini di flessibilità, cogliendo e sfruttando segnali anche minimi che arrivano dall’intervistato, con la sua capacità di adattarsi alle persone che ha di fronte per far emergere gli aspetti rilevanti dei ragionamenti degli intervistati.
