Docsity
Docsity

Prepara i tuoi esami
Prepara i tuoi esami

Studia grazie alle numerose risorse presenti su Docsity


Ottieni i punti per scaricare
Ottieni i punti per scaricare

Guadagna punti aiutando altri studenti oppure acquistali con un piano Premium


Guide e consigli
Guide e consigli


Riassunti libro Pretest, Appunti di Analisi Matematica I

Riassunto per l'esame di analisi dell'opinione pubblica del professore Martire

Tipologia: Appunti

2018/2019

Caricato il 11/03/2019

ilaria_petraroli
ilaria_petraroli 🇮🇹

4.8

(5)

8 documenti

1 / 28

Toggle sidebar

Questa pagina non è visibile nell’anteprima

Non perderti parti importanti!

bg1
1
Pretest. Un approccio cognitivo
CAPITOLO 1
1. Il pretest nei sondaggi
Sin dagli inizi del Novecento nella cultura americana il sondaggio è stato considerato come strategia principe
per rilevare l’opinione pubblica (cioè dall’idea che l’opinione pubblica sia costituita dalla somma delle opinion
delle persone che partecipano alla vita civile e politica) e come strumento di democrazia partecipata. Si è così
prodotta una proliferazione dei sondaggi sui più svariati temi, spesso però condotti senza rispettare le
prescrizioni dei manuali di metodologia della ricerca sociale. Sottoporre lo strumento di rilevazione ad un
pretest prima di procedere dalla raccolta dei dati allo scopo di individuare difetti e correggerli. Sono pochi i
ricercatori che sottopongono a pretest i loro strumenti, a causa di vincoli temporali ed economici cui sono
soggette le indagini, e per questo non tutti conoscono le linee guida per condurne uno. Già nel 1940, iniziano le
prime critiche, Raymond Sletto criticava la mancanza di studi in cui il sondaggio fosse assunto come oggetto di
indagine e non come strumento. Dillman, Lehmann, Hunt, Sparkman, Wilcox e altri studiosi affermano che fare
un pretest per individuare i difetti di costruzione di un questionario è una fase molto raccomandata di una ricerca,
ma spesso non viene fatto o viene fatto in modo casuale. Un punto debole del pretest è che viene fatto in modo
intuitivo e informale. Anche in Italia infatti non vi sono regole generali per condurre un pretest, fatta eccezione
per il testo di Mauceri (2003), dedicato alle strategie di progettazione e controllo della qualità dei dati, in cui
viene anche presentata una ricerca dell’autore su una tecnica di pretest, ed il manuale di Pitrone (2009) sui
sondaggi che affrontano il tema della costruzione del questionario, descrivendo alcune delle più comuni
procedure del pretest.
1.1 Il dibattito sul pretest
Per molto tempo il pretest è stato condotto in un solo modo: dopo essere stati istruiti sugli obiettivi del pretest
e sui tipi di problemi ricorrenti nelle interviste, gli intervistati venivano invitati ad annottare tutte le difficoltà
incontrate durante le interviste; al termine della sessione di pretest, I ricercatori organizzavano una discussione
di gruppo per raccogliere le loro impressioni generali sul questionario e i loro resoconti dei problem emersi per
ciascuna domanda. In assenza di linee guida questo metodo veniva attuato in diversi modi, e molti metodologi
si lamentavano; molti ricercatori ritenevano opportuno scegliere intervistatori esperti, perchè più attenti ai
problem emersi durante l’intervista e capaci di dare suggerimenti utili; altri proponevano di scegliere anche
intervistatori non professionisti in quanto propensi a farsi carico di quei problemi che gli intervistaori più abili
tendon ad aggirare. Anche riguardo agli intervistati le scelte erano diverse: c’era chi sosteneva che il campione
per il pretest dovesse essere rappresentativo della popolazione oggetto di studio, e chi invece, come Galtung
(1969) credeva fosse sufficiente garantire la massima eterogeneità nella composizione del campione. Quanto al
numero di interviste da effettuare, le indicazioni variano da 10 a 100. Nella seconda metà degli anni ottanta si
comincia ad avvertire l’esigenza di studiare l’efficacia del pretest. Bishoping (1989) ha studiato l’efficacia del
pretest tradizionale, giungendo alla conclusione che gli intervistatori omettevano dei problemi che pure avevano
rilevato in fase di somministrazione del questionario; inoltre era difficile capire se il problema dipendesse dalla
sua ricorrenza a diverse interviste oppure dal ricordo vivido di una singola intervista. In generale, le critiche
rivolte al pretest tradizionale riguardavano la sua forte dipendenza dal giudizio degli intervistatori e dal
comportamento degli intervistati, che potrebbero anche essere inconsapevoli di avere un problema o non volerlo
dire per non apparire incompetenti. Queste critiche hanno portato a una nuova fase della riflessione sul pretest,
caratterizzata da due aspetti: l’apertura ai concetti e agli strumenti di lavoro della psicologia cognitiva e lo
pf3
pf4
pf5
pf8
pf9
pfa
pfd
pfe
pff
pf12
pf13
pf14
pf15
pf16
pf17
pf18
pf19
pf1a
pf1b
pf1c

Anteprima parziale del testo

Scarica Riassunti libro Pretest e più Appunti in PDF di Analisi Matematica I solo su Docsity!

Pretest. Un approccio cognitivo

CAPITOLO 1

1. Il pretest nei sondaggi

Sin dagli inizi del Novecento nella cultura americana il sondaggio è stato considerato come strategia principe per rilevare l’opinione pubblica (cioè dall’idea che l’opinione pubblica sia costituita dalla somma delle opinion delle persone che partecipano alla vita civile e politica) e come strumento di democrazia partecipata. Si è così prodotta una proliferazione dei sondaggi sui più svariati temi, spesso però condotti senza rispettare le prescrizioni dei manuali di metodologia della ricerca sociale. Sottoporre lo strumento di rilevazione ad un pretest prima di procedere dalla raccolta dei dati allo scopo di individuare difetti e correggerli. Sono pochi i ricercatori che sottopongono a pretest i loro strumenti, a causa di vincoli temporali ed economici cui sono soggette le indagini, e per questo non tutti conoscono le linee guida per condurne uno. Già nel 1940, iniziano le prime critiche, Raymond Sletto criticava la mancanza di studi in cui il sondaggio fosse assunto come oggetto di indagine e non come strumento. Dillman, Lehmann, Hunt, Sparkman, Wilcox e altri studiosi affermano che fare un pretest per individuare i difetti di costruzione di un questionario è una fase molto raccomandata di una ricerca, ma spesso non viene fatto o viene fatto in modo casuale. Un punto debole del pretest è che viene fatto in modo intuitivo e informale. Anche in Italia infatti non vi sono regole generali per condurre un pretest, fatta eccezione per il testo di Mauceri (2003), dedicato alle strategie di progettazione e controllo della qualità dei dati, in cui viene anche presentata una ricerca dell’autore su una tecnica di pretest, ed il manuale di Pitrone (2009) sui sondaggi che affrontano il tema della costruzione del questionario, descrivendo alcune delle più comuni procedure del pretest.

1.1 Il dibattito sul pretest

Per molto tempo il pretest è stato condotto in un solo modo: dopo essere stati istruiti sugli obiettivi del pretest e sui tipi di problemi ricorrenti nelle interviste, gli intervistati venivano invitati ad annottare tutte le difficoltà incontrate durante le interviste; al termine della sessione di pretest, I ricercatori organizzavano una discussione di gruppo per raccogliere le loro impressioni generali sul questionario e i loro resoconti dei problem emersi per ciascuna domanda. In assenza di linee guida questo metodo veniva attuato in diversi modi, e molti metodologi si lamentavano; molti ricercatori ritenevano opportuno scegliere intervistatori esperti, perchè più attenti ai problem emersi durante l’intervista e capaci di dare suggerimenti utili; altri proponevano di scegliere anche intervistatori non professionisti in quanto propensi a farsi carico di quei problemi che gli intervistaori più abili tendon ad aggirare. Anche riguardo agli intervistati le scelte erano diverse: c’era chi sosteneva che il campione per il pretest dovesse essere rappresentativo della popolazione oggetto di studio, e chi invece, come Galtung (1969) credeva fosse sufficiente garantire la massima eterogeneità nella composizione del campione. Quanto al numero di interviste da effettuare, le indicazioni variano da 10 a 100. Nella seconda metà degli anni ottanta si comincia ad avvertire l’esigenza di studiare l’efficacia del pretest. Bishoping (1989) ha studiato l’efficacia del pretest tradizionale, giungendo alla conclusione che gli intervistatori omettevano dei problemi che pure avevano rilevato in fase di somministrazione del questionario; inoltre era difficile capire se il problema dipendesse dalla sua ricorrenza a diverse interviste oppure dal ricordo vivido di una singola intervista. In generale, le critiche rivolte al pretest tradizionale riguardavano la sua forte dipendenza dal giudizio degli intervistatori e dal comportamento degli intervistati, che potrebbero anche essere inconsapevoli di avere un problema o non volerlo dire per non apparire incompetenti. Queste critiche hanno portato a una nuova fase della riflessione sul pretest, caratterizzata da due aspetti: l’apertura ai concetti e agli strumenti di lavoro della psicologia cognitiva e lo

sviluppo della tecnologia informatica.

1.2 Gli obiettivi della fase di pretest

Il pretest serve a controllare il funzionamento di uno strumento di rilevazione e ad individuarne i difetti che possono ridurre la qualità dei dati raccolti. Per qualità dei dati si intende la capacita di un’informazione, collocata sotto forma di simbolo numerico in una posizione univocamente definita della matrice, di rispecchiare lo stato di un oggetto sulla relativa proprietà, ciò che Marradi (1990) chiama fedeltà. Questa definizione di qualità del dato sposta il controllo al di fuori della matrice e quindi si discosta dal concetto di accuratezza, e da quello connesso di errore di misurazione, eliminando ogni riferimento ad una valutazione basata sul calcolo di coefficienti di attendibilità. La possibilità che uno strumento di rilevazione produca dati fedeli dipende dalle scelte che influenzano, più o meno direttamente, il suo funzionamento: come viene concettualizzato il problem ache si indaga, quali indicatori vengono scelti e come sono definiti operativamente, quali modalità vengono adottate alla raccolta delle info. e come vengono codificati i dati. Inoltre, la valutazione di un questionario deve tener conto di come intervistatore e intervistato interagiscono tra loro e con lo strumento, perchè è da queste interazioni che dipendono gli esiti della raccolta dei dati. La presenza di un termine tecnico in una domanda, per esempio può non essere ritenuta di per sé causa di distorsione ma può diventarlo se alcuni intervistati non ne conoscono il significato. Una forma di chiusura di una domanda può essere considerata di facile somministrazione da parte dell’intervistato di professionisti ma più difficile da gestire per quelli meno esperti. Inoltre, tra intervistatore e intervistato si possono innescare dinamiche di negoziazione del significato di una domanda tali da produrre risultati inattesi dal ricercatore, quindi le interazioni tra le component dei sistema dovrebbero essere controllate prima che lo strumento venga usato. Alcuni possibili obiettivi del pretest:

a. Controllo / affinamento della concettualizzazione del problema di ricerca.

Il pretest può servire per indagare se nella mappa dei concetti (rete, o diagramma di flusso, in cui il ricercatore colloca tutti i concetti che ritiene rilevanti per la sua ricerca e li pone in relazione tra loro mediante frecce) sono state inserite tutte le proprietà rilevanti per gli obiettivi della ricerca e se le proprietà scelte rivestono importanza e significato dal punto di vista degli intervistati. Sotto questo aspetto, il pretest si sovrappone in parte allo studio pilota, che è un’indagine di carattere esplorativo svolta nelle fasi preliminari di una ricerca per indagare la rilevazione delle proprietà inserite nella mappa e scovare quelle che non sono state previste dal ricercatore ma emergono dall’ascolto degli intervistati. Ciò che distingue lo studio pilota dal pretest è il diverso intervento sulla mappa dei concetti: A differenza dello studio pilota che serve per disegnare la mappa, definendo le proprietà da indagare e le loro relazioni, il pretest può soltanto contribuire ad arricchirla di alcune proprietà risultati importanti per gli intervistati e alleggerendola di altre ritenute irrilevanti

b. Controllo della validità degli indicatori

Raccogliendo informazioni utili a sostenere o rivedere il giudizio di validità formulato dal ricercatore sulla base delle sue conoscenze del problema e della popolazione studiata, dei risultati di ricerche precedenti.

c. Controllo dell’affidabilità delle definizioni operative

Il pretest consente di controllare se i procedimenti con cui una proprietà viene trasformata in una variabile producono dati fedeli, cioè che rappresentano correttamente lo stato effettivo di un soggetto su una data proprietà, secondo le convenzioni stabilite dalla definizione operativa. Questa può essere considerata la funzione principale del pretest e può essere scomposta in tre sotto funzioni in base alla componente del sistema di rilevazione che si ritiene causa potenziale di distorsione:

questionario sulle testimonianze di esperti (cella in alto a sinistra) Tecniche che si basano sull’ascolto del punto di vista degli intervistati (cella in alto a destra) o degli intervistatori (cella in basso a sinistra) e infine, tecniche che si basano sull’ascolto di entrambi gli attori (cella in basso a destra). Come si vede, la quarta cella è vuota. Infatti, visto che le cause di infedeltà nei dati possono dipendere dalla difficoltà di interazione, in un pretest è opportuno considerare il punto di vista di entrambi gli attori. Inoltre, la prima cella è quella più numerosa è ciò evidenzia una certa differenza generale nei confronti delle soggettività degli intervistatori e degli intervistati, cioè i due protagonist di qualsiasi intervista.

1.3.1 Tecniche non basate sull’ascolto degli intervistatori o degli intervistati

  • Codifica del comportamento verbale degli intervistati e degli intervistati : Negli anni 80 è stata proposta una forma di pretest che si basa sulla tecnica già adottata nello studio delle interazioni. Si tratta della codifica del comportamento verbale degli attori in uno scambio comunicativo. Dapprima usata solo per monitorare le prestazioni degli intervistatori, successivamente adattata alla valutazione dei problem delle domande. Gli schemi usati per codificare il comportamento verbale sono diversi. Alcuni esempi di comportamenti condificati: l’intervistatore modifica il testo delle domande alterandone il senso, l’intervistato interrompe la lettura della domanda o chiede chiarimenti o ripetizioni. Secondo alcuni studiosi, ogni deviazione dalla sequenza domanda-risposta prevista dal ricercatore deve essere interpretata come il segnale di un potenziale difetto del questionario; registrando queste deviazioni attraverso uno schema di codifica stabilito a monte e analizzandone la frequenza nelle diverse interviste, si possono ottenere informazioni utili alla valutazione del questionario. La codifica del comportamento verbale è una tecnica utile per individuare le difficoltà di intervistatori e intervistati ma non per capirne le cause, per questo motivo si è proposto di affrancarle altre tecniche, come il debriefing , ad entrambi gli attori al fine di fornire info. sui motivi dei problem individuati. Alla condifica bisognerebbe affiancare altre forme di pretest che consentano di individuare le domande problematiche e acquisire indicazioni sulla loro revisione.
  • Valutazione di esperti : Una tecnica di pretest facile e poco costosa, consiste nel chiedere a tre o quattro studiosi estranei al gruppo di ricerca di valutare i potenziai problemi del questionario. Gli esiti possono essere usati per rivedere direttamente lo strumento di rilevazione o formulare ipotesi sulle cause di infedeltà da sottoporre poi ad ulteriori controlli. Il parere degli esperti può essere richiesto individualmente oppure in un incontro di gruppo durante il quale un moderatore, di solito qualcuno che ha collaborato alla progettazione del questionario, invita i partecipanti ad

esaminare ciascuna domanda. Willis e Lessler (1999) propongono uno schema per codificare i problemi:

  1. La domanda è difficile da leggere perché non chiarisce gli intervistatori quali parti devono essere lette (1a), manca dell’istruzioni su come somministrarla(1b) o non è complete(1c)
  2. L’introduzione o le istruzioni per gli intervistati non sono precise e coerenti con il testo della domanda(2a) oppure sono complicate(2b)
  3. L’intento della domanda è poco chiaro perché il testo è lungo, difficile o sintatticamente complicato(3a), contiene termini tecnici sconosciuti agli intervistati(3b), può essere interpretato in modi diversi da intervistati diversi(3c), i periodi di riferimento non sono indicati o sono mal specificati(3d)
  4. La domanda presuppone assunti impliciti che non sono condivise da tutti gli intervistati(4a), ipotizza che il comportamento degli intervistati sia costante quando non lo è(4b) e contiene domande implicite(4c)
  5. Le informazioni richieste non sono note agli intervistati(5a), gli intervistati non hanno alcuna opinione sul tema della domanda(5b), hanno difficoltà a ricordare le informazioni richieste(5c) o hanno problemi a dare una risposta(5d)
  6. La domanda affronta un argomento delicato e imbarazzante(6a) oppure sollecita risposte socialmente desiderabili(6b)
  7. La forma aperta della domanda e inappropriate(7a) oppure le alternative di risposta non sono coerenti con il testo della domanda(7b), contengono termini sconosciuti agli intervistati(7c), sono vaghe(7d), non mutuamente esclusive(7e), non esaustive(7f) o presentate in ordine illogico(7g). Lessler e Forsyth citano 3 tecniche in cui la valutazione sistematica degli esperti è posta a confronto con altre tecniche di Pretest come l’intervista cognitiva, il Debriefing degli intervistatori ed il focus group: in tutte e 3 le tecniche i problemi rintracciati coincidono con quelli individuati dalle altre tecniche, per cui tale schema di codifica è uno strumento utile ed a basso costo. La valutazione degli esperti, assistita da uno schema di codifica è quindi una tecnica efficace nelle fasi preliminari di controllo di uno strumento di rilevazione (questionario).
  • Analisi del questionario con software ed esame dei movimenti oculari : Il software, proposto da Graesser, detto QUAID (Question Understanding Aid), che analizza le domande per individuarne gli aspetti che potrebbero compromettere la comprensione da parte degli intervistati. Il software, si basa su un modello di rappresentazione della cognizione umana che specifica le procedure che le persone mettono in atto per rispondere a diversi tipi di domande; partendo da questo modello il sistema permette di individuare quegli aspetti della domanda che ne rendono difficile la comprensione, come termini sconosciuti, sostantivi vaghi o ambigui, sintassi complessa ecc. Stabilire attraverso un software i difetti delle domande desta perplessità, è per questo che la presenza di un ricercatore resta fondamentale. Un altro strumento è leye-tracking è una tecnica hardware e software che esamina i movimenti oculari degli intervistati per capire dove e per quanto tempo lo sguardo dell’intervistato si fissa sul questionario. Questo è utile per controllare la veste grafica di un questionario che, in assenza di un intervistatore, può influenzare i dati. Gli aspetti grafici possono aumentare o ridurre la motivazione a partecipare a un’indagine e interferire con le sue risposte.

1.3.2. Tecniche basate sull’ascolto degli intervistati

  • Debriefing degli intervistati, intervista sull’intervista e intervista cognitiva : Il debriefing degli intervistati consiste nel porre domande di approfondimento delle risposte ottenute ( probes ) dopo la somministrazione del questionario o durante l’intervista. Nel secondo caso, Schuman propone una

1.3.3 Tecniche basate sull’ascolto degli intervistatori

  • Debriefing degli intervistatori : Grazie al loro contatto diretto con gli intervistati, gli intervistarori possono dare al ricercatore informazioni utili in merito al funzionamento sul campo del questionario. Il debriefing degli intervistatori non è altro che una discussion tra ricercatori e intervistatori dopo che questi ultimi hanno svolto un certo numero di interviste di prova. Intorno alla merà degli anno 80, il debriefing ha perso di importanza, sotto le crescendo spinte di pretest. In particolare, gli studiosi hanno suggerito di integrare o addirittura sostituire la discussione con la compilazione da parte degli intervistatori di schede di valutazione delle domande e del questionario in generale, compilabili per ogni intervista separatamente o per tutte le interviste complessivamente. Nel primo caso, più faticoso, si possono ottenere info. dettagliate; nel secondo si semplifica e sir ischia di rilevare giudici su un vivido ricordo di esperienze isolate. Le schede di valutazione possono essere strutturate in modo da ottenere tre tipi di informazioni:
  • le impressioni degli intervistatori sul questionario e sugli intervistati
  • le difficoltà da loro incontrate nella lettura delle domande
  • i problemi manifestati dagli intervistati nel comprenderne il testo e dare una risposta. Queste informazioni possono aiutare gli intervistatori nell’eventuale discussione di gruppo con i ricercatori. Anche il moderatore può usare questi dati per gestire la discussione: potrà iniziare chiedendo agli intervistatori di fare dei commenti generali sul questionario e poi passare ad analizzare ciascuna domanda, soffermandosi su quelle più problematiche. Questa forma di debriefing (scheda di valutazione + discussioni di gruppo) viene raccomandata da diversi autori: Ogni intervistatore ha avuto la possibilità di esprire le proprie opinioni nella scheda di valutazione, la discussione di gruppo ha approfondito diversi problem del questionario e ha consentito un brainstorming sulle possibili soluzioni.

1.4 Un confronto fra tecniche di pretest del questionario

Alcuni ricercatori si sono cimentati in studi metodologici che confrontano diverse tecniche di pretest, Presser e Blair, hanno controllato un questionario con quattro tecniche: valutazione di esperti, debriefing degli intervistatori, codifica del comportamento verbale degli intervistatori e degli intervistati e intervista cognitiva. Due panels di esperti sono stati invitati a valutare il questionario e a discutere in gruppo i problemi; stando ai risultati, la valutazione degli esperti è stata la tecnica che ha prodotto il maggior numero di segnalazioni di potenziali problemi del questionario. L’idea di comparare le tecniche in base al numero di problemi segnalati è abbastanza discutibile, la qualità di una tecnica di pretest non dipende da quanti potenziali problem fa emergere, dipende dalla sua capacita di evidenziare aspetti che hanno effettivamente conseguenze negative sulla qualità dei dati. Paradossalmente una sovrastima dei difetti può portare a modifiche peggiorative piuttosto che migliorative di un questionario. Da questo studio inoltre non sono emerse solo differenze quantitative: ciascuna tecnica di pretest sembra individuare difetti diversi, almeno in parte, rispetto alle altre. I problemi di comprensione sono stati i più frequenti, quelli di lettura della domanda e di registrazione della risposta da parte degli intervistatori sono stati segnalati in percentuali significative solo dal debriefing e dalla codifica del comportamento verbale, e solo quest’ultima si è considerata in conclusione come la tecnica più attendibile perchè mostrava maggior coerenza. Gli stessi risultati sono stati ottenuti da uno studio simile effettuato da Willis, Schechter e Whitaker (1999). Nel 2004 Forsyth, Rothgeb e Willis hanno svolto uno studio per valutare i risultati di un pretest risultato molto efficace, condotto con tre tecniche: valutazione di esperti, informale e informale, e intervista cognitiva. Sulla base dei risultati ottenuti il questionario è stato modificato e

somministrato telefonicamente ad un campione casuale di intervistati, mentre un altro campione casuale riceveva la versione originale. Il tasso di non risposta alle domande, il debriefing degli intervistatori e la codifica del comportamento verbale di intervistatori e intervistati sono stati usati per valutare il funzionamento sul campo del questionario originale e per confrontarlo con il questionario rivisto in base agli esiti del pretest. I 3 ricercatori hanno valutato il loro pretest in termini di efficacia , intesa come capacità di individuare gli aspetti del questionario che sul campo causano problem; e in termini di utilità , intesa come possibilità di trarre indicazioni utili alla revisione del questionario. Il pretest con valutazione formale e informale degli esperti e con interviste è risultato efficace: i problemi segnalati da queste corrispondevano a quelli individuati, nelle interviste sul campo con lo stesso questionario, dal debriefing degli intervistatori e dalla codifica del comportamento verbale degli intervistatori e intervistati. Inoltre le domande che affrontavano temi delicati o causavano problemi di ricordo per gli intervistati, avevano anche i più alti tassi di non risposta. I risultati però non sono stati altrettanto chiari riguardo all’utilità del pretest: il confronto tra le interviste del gruppo di controllo e sperimentale ha indicato che il questionario rivisto in base agli esiti del pretest riduceva il tasso di non risposta alle domande, il numero di problemi dell’intervistatore segnalati sia dal debriefing degli intervistatori sia dalla codifica del comportamento verbale di intervistatori e intervistati restava però invariato mentre i problemi dell’intervistato diminuivano secondo il debriefing degli intervistatori ma non stando ai risultati della codifica del comportamento verbale di intervistatori e intervistati. Secondo i tre studiosi il risultato inatteso riguardo all’utilità del loro pretest potrebbe anche dipendere dal fatto di aver condotto una sola sessione di controllo del questionario, in quanto è difficile che in una sola volta si individuino tutti i problemi di un questionario, appunto per questo sarebbe utile fare più sessioni di pretest, sottoponendo lo strumento a un processo di controllo interattivo in cui i cambiamenti fatti sulla base dei risultati di una o piu tecniche di pretest vengono controllati ricorrendo ad altre tecniche, e cosi via fin quando non si ritenga di aver risolto i problemi piu importanti dello strumento. CAPITOLO 2

2. L’approccio cognitivista alla metodologia della ricercar sociale

2.4 Il ruolo della memoria

La memoria svolge una funzione conservativa e si costruisce attraverso processi che includono anche attività selettive. Essa custodisce un insieme di indizi del passato che vengono continuamente rievocati ed interpretati. Dal punto di vista weberiano, questa attività selettiva è indispensabile, senza di essi infatti l’individuo percepirebbe se stesso, la realtà circostante il tempo come un flusso informe e caotico. “Il singolo atto rimarrebbe insensato qualora venisse ricordato singolarmente. La memoria attraverso nessi di significato lo sottrae alla sua singolarità lo connette ad altri che include entro uno stesso continuum temporale”. Grazie alla critica dell’approccio comportamentista, il cognitivismo ha riportato la memoria al centro degli interessi degli psicologi. In genere le teorie sulla memoria autobiografica condividono l’assunto secondo cui le unità nelle quali le persone conservano e successivamente rievocano informazioni sul loro passato sono rappresentazioni di singoli eventi; su queste teorie però divergono riguardo ai modi con cui tali unità sono tra loro collegate in memoria. Secondo Tulving le info. sugli eventi formano la memoria episodica, un sistema di memoria distinto dalla memoria semantica, ossia dal deposito di conoscenze sulle parole e concetti, le loro proprietà e relazioni reciproche. Gli psicologi hanno proposto e studiato diversi tipi di memoria, oltre alla distinzione tra memoria episodica e semantica, si parla di memoria dichiarativa (informazioni relative a gente, luoghi, fatti ecc.) vs procedurale (conoscenze riguardanti modalità di azione, es. andare in bicicletta, guidare); memoria a breve vs a lungo termine. Nella memoria episodica le info. sono collegate tra loro da relazioni spazio temporali,

degli indizi di rievocazione (la probabilità di rievocazione di un evento è tanto più elevata quanto più la domanda propone indizi conformi alla traccia depositata in memoria) e il tempo concesso per rispondere. In merito al tempo concesso all’intervistato per rispondere, rallentare il ritmo dell’intervista ha qualche controindicazione: accresce il costo medio dell’intervista e può anche aumentare la stanchezza dell’intervistato, con conseguente deterioramento progressivo della sua prestazione e rischio di interruzione anticipata dell’intervista.

2.5 L’elaborazione dei giudizi

Rievocare le info. dalla memoria non è sempre sufficiente per formulare una risposta adeguata, spesso sono necessari ulteriori processi cognitivi per combinare o integrare le info. rievocate. Questi processi, che I cognitivisti chiamano la “fase di giudizio” del processo di risposta, hanno caratteristiche diverse a seconda del compito richiesto della domanda. Le classi in cui vengono distinti i compiti delle domande sono 3: elaborazione delle frequenze dei comportamenti, datazione di eventi e formulazione di opinioni.

2.5.1. I giudizi in risposta a domande su frequenze comportamentali

Questo tipo di domande è ricorrente sopratutto nelle ricerche sociali e in quelle di mercato, agli intervistati si chiede spesso di riportare la frequenza di comportamenti come la fruizione di qualche prodotto o servizio, la lettura di quotidiani, il consumo di bevande alcoliche ecc. Inizialmente si sosteneva che le risposte inesatte fossero dovute solo all’incapacità di rievocazione di alcuni episodi (omissione) o al loro errato collocamento nel tempo (telescoping), e che potessero essere evitati ricorrendo a strategie finalizzate a migliorare il ricordo. Blair e Burton ritengono che questa ipotesi sia ingiustificata e che sia necessario imputare gli eventuali errori anche ad altri fenomeni, i due studiosi chiesere a 384 soggetti di indicare le strategie usate per rispondere alla domanda sul numero di volte in cui erano andati a un ristorante in un certo period di tempo; sono riusciti ad individuare 12 processi cognitivi, raggruppati in tre classi: enumerazione degli eventi, ricordo a un tasso di occorrenza e una classe residuale comprendente tutti quei processi non classificabili come enumerazione diretta o semplice ricorso a un tasso di occorrenza. Il punto importante è che processi diversi dall’enumerazione episodica vengono usati dagli intervistati nel corso dei sondaggi e possono guidare le loro risposte. Tourangeau, Rips e Rasinski hanno individuato quattro strategie per elaborare le frequenze, distinte per tipo di info. usata:

  • (^) rievocazione di info sui singoli eventi e conteggio (enumerazione episodica)
  • (^) stima basata su info generiche (stima per il tasso di occorrenza)
  • (^) ricordo di frequenze esatte
  • (^) valutazione basata su impressioni generali Le prime due strategie corrispondono all’enumerazione episodica e alla stima per il tasso di occorrenza di Blair e Burton: l’elaborazione di frequenze dei comportamenti potrebbe infatti richiedere a un intervistato la rievocazione dei diversi episodi e il loro conteggio. I tre autori individuano due varianti della prima strategia e una variante della seconda. Oltre al semplice ricordo e conteggio di tutte le occorrenze gli intervistati possono adottare altre due strategie: scomporre la classe di eventi in sotto-classi, rievocare e contare gli episodi in ciascuna di esse oppure usare i singoli eventi rievocati per calcolare un tasso di occorrenza da applicare all’intero periodo di riferimento della domanda. La stima basata su info generiche invece può consistere nella rievocazione non solo del tasso di occorrenza ma anche del tasso ritenuto giusto, ed in quest’ultimo caso, il tasso rievocato può essere usato come ancoraggio da approssimare in funzione delle info rievocate. Es. domanda sul n° di vaccini somministrati ai figli, gli intervistati rievocano il n° di vaccini consigliato, mostrando una tenedenza a dare una risposta socialmente desiderabile. Es2. Due gruppi di intervistati, domande diverse gruppo A elenco di domande, gruppo B presentavano anche

alternative di risposta, dovevano indicare per quante ore al giorno gli intervistati guardassero la tv, i risultati mostravano l’influenza delle alternative di risposta, il condizionamento di risposta esercitato dall’intervistato può rappresentare un problema, questo potrebbe indurre l’intervistato ad ageduarsi, l’alternativa centrale funziona da ancoraggio. Considerata l’esistenza di processi cognitivi alternativi all’enumerazione episodica, bisogna chiedersi quali fattori determinano il ricordo e il conteggio dei singoli episodi. Blair e Burton sostengono che si devono prendere in considerazione tutte le caratteristiche del compito che potrebbero influenzare uno dei seguenti aspetti: lo sforzo cognitivo richiesto per enumerare, la motivazione a impegnasi in questo sforzo, l’accessibilità in memoria degli episodi, la disponibilità di processi diversi dall’enumerazione episodica, e cosi via. I fattori che influenzano sono principalmente il numero di eventi da rievocare, la loro distanza temporale e il tempo concesso per rispondere. Nelle loro ricerche hanno dimostrato che il numero degli eventi influenza la strategia di giudizio: al suo crescere diminuiva la probabilità del ricordo e conteggio dei singoli episodi.

2.5.2. La datazione degli eventi

Le domande sulla frequenza di alcuni eventi in un determinate periodo di riferimento richiedono all’intervistato un ulteriore compito: la collocazione degli episodi rievocati nell’intervallo temporale specificato dalla domanda. La datazione degli eventi è un processo cognitivo complesso sottoposto a potenziali distorsioni, tra cui il telescoping , ossia la tendenza da parte degli intervistati a collocare gli eventi in periodi precedenti o successivi a quello di effettiva occorrenza. A tal proposito sono state formulate due teorie, la “teoria della compressione temporale” e la “teoria della varianza”. La prima, proposta da Sudman e Bradburn, chiama in causa la mancata coincidenza tra periodo di riferimento della domanda e periodo effettivo del ricordo; quest’ultimo sarebbe infatti sempre più lungo del primo, portando gli intervistati ad una sovrastima degli eventi nel periodo di riferimento. I 2 studiosi considerano il period effettivo di ricordo come corrispondente a t+log(bt) dove t il periodo specificato della domanda e b è un parametron di scala, log implica che all’aumentare della durata del periodo di riferimento della domanda l’effetto del telescoping diminuisce. In merito alla seconda, spiegazione fornita da Huttenlocher, Hedges, Prohaska, Rubin e Baddley il telescomping sarebbe da imputare all’incertezza riguardo alle date di eventi più lontani nel tempo. Più un evento è remoto, maggiore è l’incertezze sulla sua data e quindi maggiore è la varianza di distribuzione delle datazioni possibili; poiché gli eventi remoti hanno una varianza maggiore di quelli recenti, la probabilità che un intervistato importi un evento remoto nel periodo di riferimento è maggiore della probabilità di esportazione di un evento più recente. Sarebbe quindi la maggiore incertezza sulle date di eventi remoti a indurre gli intervistati a sovrastimare il numero di eventi accaduti. Secondo una terza interpretazione di Sudman e Bradburn, lo spostamento di eventi anteriori nel periodo di riferimento sarebbe determinato almeno in parte dal desiderio degli intervistati di fare bella figura, invitandoli a pronunciarsi in senso affermativo piuttosto che negativo. Se dubbiosi sull’appartenenza di un evento al periodo di riferimento, gli intervistati decidono di sbagliare sul versante del troppo che del troppo poco. Nessuna di queste spiegazioni però riesce a isolare completamente le cause del telescoping, ma possiamo individuare i rimedi: I principali sono suggeriti da Neter e Waksberg che ricorrono a procedure di ricordo delimitato, ponendo la stessa domanda in diverse occasioni e ricordando agli intervistati gli eventi menzionati nella precedente intervista; ancorare l’inizio del periodo di riferimento a una data particolarmente significativa che faciliti la delimitazione del ricordo (es. Natale, giorno del compleanno, matromonio, la rievocazione di una pietra miliare (landmark) è una delle strategie che i soggetti usano nella datazione degli eventi); consentire agli intervistati di consultare documenti, diari e ricevute di acquisto in cui sono registrate le date degli eventi da rievocare.

Secondo Sudman, Bradburn e Schwarz poi, le persone costruiscono gli atteggiamenti usando le info. più accessibili, quelle che il contesto rende temporaneamente salienti oppure quelle permanentemente accessibili per effetto della loro frequenza d’uso. L’accessibilità temporanea delle info. e in gran parte funzione delle caratteristiche del questionario, mentre l’accessibilità permanente dipende molto dalle caratteristiche dell’intervistato. La stabilità degli atteggiamenti sarebbe dunque garantita, oltre che dalla rievocazione di giudizi già formati, anche dalla possibilità di costruire i giudizi ricorrendo a informazioni permanentemente accessibili. In conclusione possiamo affermare che gli atteggiamenti sono instabili e dipendono dal contesto, lo studioso non potrà fare altro che rilevare disposizioni temporanee, e che la stabilità di atteggiamenti nel tempo porterà a preferire una prospettiva che includa sia giudizi formati precedentemente all’intervista sia info. stabilmente accessibili.

2.6 La scelta di un’alternativa di risposta

Elaborato un giudizio, il compito che l’intervistato deve assolvere e tradurre in una risposta codificabile. Questo compito assume caratteristiche diverse a seconda che la domanda richieda all’intervistato la verbalizzazione aperta o la scelta di un’alternativa di risposta che lo rappresenti. Le alternative di risposta sono parte integrante della domanda, in molti casi sono indispensabili alla comprensione della stessa domanda. Tra le riflessioni sulla fase di risposta, è la Range-Frequency Theory ritenuta adeguata a comprendere i processi di risposta dei soggetti a batterie di domanda, di Parducci , sostiene che la scelta della posizione di una serie di oggetti cognitivi su una scala sarebbe il prodotto di un compromesso tra due principi: il range principle e il frequency principle. Il primo è la tendenza a individuare gli oggetti cognitivi della serie da collocare agli estremi della scala e a distribuire proporzionalmente tra essi gli oggetti restanti. Il secondo è la tendenza ad assegnare lo stesso numero di oggetti cognitivi a ciascuna delle posizioni disponibili. Interessante inoltre è il modello dell’elaborazione cognitiva proposto da Schwarz, Hippler e Noelle per comprendere gli effetti dell’ordine delle risposte. Imputano gli effetti dell’ordine delle risposte al grado di elaborazione cognitiva che le alternative ricevono, e questo dipende a sua volta dall’ordine e dal modo in cui le alternative di risposta sono somministrate. Nel caso in cui le risposte vengano lette all’intervistato è più probabile che un’alternativa di risposta venga scelta se viene presentata nella parte finale piuttosto che iniziale dell’elenco. Al contrario, quando l’intervistato ha la possibilità di leggere l’elenco di risposte, un’alternativa di risposta plausibile susciterà maggior accordo e sarà scelta se presentata nei primi piuttosto che negli ultimi posti dell’elenco ( primacy effect ). La collocazione di un’alternativa di risposta non plausibile nella parte iniziale piuttosto che finale dell’elenco determinerà con maggiore probabilità il suo rifiuto ( recency effect ). CAPITOLO 3

3.1 Aspetti generali

A partire dagli anni 80 alcune tecniche già usate in psicologia cognitiva sono state applicate al pretest, in particolare la tecnica dell’intervista cognitive. Si tratta di un’intervista parzialmente standardizzata o non standardizzata, finalizzata a ricostruire i processi cognitivi che gli intervistati mettono in atto per rispondere alle domande dei questionari e ad individuare le difficolta che incontrano. In una intervista cognitiva si somministra il questionario e contestualmente si raccolgono info verbali utili a valutare la qualità delle risposte e determinare se le domande generano info coerenti con le intenzioni del ricercatore. In un’intervista cognitive, si possono adottare due strategie procedurali: think aloud e verbal probing. La prima consiste nel sollecitare gli intervistati a verbalizzare spontaneamente tutti i loro pensieri quando rispondono alle

domande del questionario, mentre con la seconda si pongono domande per approfondire le risposte ottenute. In origine l’intervista cognitiva prevedeva il ricorso quasi esclusivo al think aloud, l’intervista si è poi progressivamente svincolata arrivando a includere diversi tipi di probes. Nei dibattiti più recenti queste strategie non sono ritenute alternative ma complementari. Combinarle è molto utile e si può fare in due modi: adottandole entrambe per il controllo della stessa domanda, o alternandole nel controllo di domande diverse, ed in questo caso la strategia dovrà essere scelta in funzione del tipo di domanda che si intende controllare.

3.2. Il think-aloud

Consiste nella richiesta all’intervistato di esprimere verbalmente tutti i suoi pensieri mentre risponde alle domande del questionario. Dopo aver ricevuto alcune istruzioni di base, l’intervistato è chiamato a verbalizzare i suoi pensieri come se parlasse con se stesso, riducendo al minimo il ruolo dell’intervistatore e limitando i suoi interventi a semplici sollecitazioni quando gli intervistati sembrano restii a pensare ad alta voce. Il think aloud risale all’Ottocento quando Wundt propose la tecnica dell’introspezione per indagare i processi psichici delle persone. Kuple ne propose un potenziamento introducendo “l’introspezione sperimentale sistematica”, che consisteva nel chiedere ai soggetti di realizzare un compito complesso come quello di stabilire connessioni logiche tra i concetti e fare un bilancio retrospettivo delle esperienze avute nel frattempo. Buhler a tal proposito avviò un programma di ricerca, che qualche anno più tardi Lazarsteld definì “studio empirico dell’azione”, che si sviluppò lungo tre direttrici: - gli scopi dell’azione

  • le intenzioni dell’attore
  • le influenze esterne sul corso dell’azione: Con questa tecnica si sottopone al soggetto una domanda per la quale è necessario per rispondere ad una certa riflessione; il soggetto dopodichè fornisce un resoconto il più possibile dettagliato dei passi che gli sono stati necessari per giungere alla risposta, essendo continuamente interrotto dallo sperimentatore con domande sulle caratteristiche del processo da lui seguito. Secondo Freud parlava della psicoloanalisi e per lui l’analista aveva la funzione di aiutare il soggetto in analisi e di svelare la natura dei processi e degli elementi che sono in lui presenti, utilizzando il materiale fornito dallo stesso analizzando. Il soggetto in analisi nel rapport che ha instaurato con l’analista, si deve riappropriare delle parti e degli elementi dimenticati e che sono ancora attivi e agiscono in lui. Per “materiale fornito dallo stesso analizzando” si intende non solo ciò che è osservabile, come i comportamenti, ma anche i processi di pensiero stimolate dall’analista. Piaget p a r l a v a d i p s o c o l o g i a e propose una tecnica detta “colloquio clinico” che consisteva nel presentare al soggetto un problema mediante una serie di domande e nel seguire passo passo le varie tappe che portano il soggetto alla soluzione, cosi da comprendere lo svolgersi del ragionamento che sta alla base della produzione delle risposte. Nella storia della psicologia altre tradizioni invece hanno osteggiato l’introspezione e verbalizzazione dei processi cognitivi come tecnica di ricerca, una fra tutte il comportamentismo. Se i comportamenti sono la vera natura della psiche, le rappresentazioni che i soggetti possono dare delle loro idee e dei loro ragionamenti sono fuori dal campo della psicologia come scienza. Secondo il comportamentismo infatti l’introspezione e verbalizzazione dei processi cognitivi sono tecniche di ricerca inutili se non dannose, perchè la psicologia deve affrontare i suoi problem solo nei termini di varibiali indipendenti manipolabili (stimoli) e varibiali dipendenti osservabili (risposte). Ericsson e Simon hanno ideato la teoria dell’ Information processing , secondo cui quando tentiamo di risolvere un problema eseguiamo una sequenza di processi mentali che depositiamo temporaneamente nella memoria a breve termine, e che possono essere riportati verbalmente perchè già codificati in memoria sotto forma di simboli; i resoconti pero possono essere fedeli solo se fatti durante lo svolgimento del compito,infatti

spesso ignorata: gli intervistati invece di alterare le loro performance, preferiscono dare una risposta immediata basata su emozioni o preferenze e poi motivare la loro scelta (NON ESPONGONO IL RAGIONAMENTO, GIUSTIFICANO LA RISPOSTA).

3.3 Il verbal probing

È la somministrazione di domande di approfondimento (probes) subito dopo che l’intervistato ha risposto alla domande del questionario oppure a conclusione dell’intervista. Come il think-aloud anche questo ha lo scopo di dare al ricercatore elementi per ricostruire i processi cognitivi degli intervistati e indagare i problemi che incontrano nel rispondere al questionario. Con i probes l’intervistatore assume un ruolo attivo di indirizzamento all’interazione e approfondimento dei problemi che emergono nel corso dell’intervista. Le origini di questa strategia vengono fatte risalire a Cantril, ma anche a Belson e Lazersfeld. Nel saggio The Art of Asking Why Lazarsfeld propone il ricorso ai probes per articolare la risposta a una domanda-perchè e chiarire il ruolo che certe motivazioni o influenze hanno avuto nel processo decisionale. Le risposte ai probes costituirebbero materiale empirico rilevante per studiare valori, opinioni e decisioni degli intervistati. Questa convinzione è alla base della open-ended interview che L. propone come alternativa sia all’intervista in profondità completamente destrutturata sia all’intervista standardizzata (l’intervistatore tenta di costruire il migliore rapporto con l’intervistato, somministra le 10-15 domande e interviene quando le risposte sono brevi, magari chiede esempi ecc, chi conduce l’intervista aperta ha l’obiettivo della ricerca ben impresso in mente ma adatta la ricerca alla situazione che viene a creare con il suo intervistato. Nella fase di pretest le interviste aperte servono come fonte di osservazione e idee da cui si possono trarre sequenze di domande precise che potranno essere piu facilmente gestite sul campo e sottoposte ad analisi statistica). I commenti così raccolti possono svolgere diverse funzioni: chiarire il senso delle risposte alle domande strutturate; far emergere gli aspetti specifici e più importanti delle opinioni o dei giudizi espressi; chiarire quali sono i fattori che hanno più influenzato una data opinione o decisione; aiutare il ricercatore a chiarire il significato delle relazioni statistiche che emergono dall’analisi delle risposte alle domande strutturate, ecc. Gli esponenti del CASM non hanno inventato i probes, hanno avviato una riflessione sistematica sui modi di applicazione del probing verbale al pretest dei questionari e alcuni possibili criteri di classificazione dei probes. Un primo criterio riguarda il momento in cui vengono somministrati: I probes possono essere posti subito dopo che l’intervistato ha risposto alla domanda da esaminare (probes simultanei) o al termine della somministrazione di tutto il questionario (probes retrospettivi) I probes simultanei, quando vengono somministrati simultaneamente la probabilità che i resoconti dei processi cognitivi siano fedeli è maggiore perché gli intervistati viene chiesto di richiamare solo gli elementi presenti nella memoria a breve termine con il rischio però di alterare il modo in cui verranno date le successive risposte. I probes retrospettivi, rischiano di rilevare resoconti infedeli perchè basati su razionalizzazioni ex-post dei processi cognitivi. I probes possono essere classificati anche in base al loro livello di generalità, i probes generali incoraggiano gli intervistati a dare quante più info. possibili su come hanno risposto alla domanda del questionario, sono applicabili per la valutazione di più domande dello stesso questionario, i probes specifici sono formulati per esaminare un determinato aspetto della domanda o per indagare una fase del processo di risposta generato da quella domanda, e questi ultimi possono essere efficaci quando si ha già consapevolezza dei possibili problemi delle domande, consentendo al ricercatore di focalizzare l’attenzione degli intervistati proprio sugli aspetti che si intendono indagare. Se invece l’analisi preliminare del questionario non mette in luce i potenziali problemi specifici, è meglio ricorrere a probes generali, che lasciano più liberi gli intervistati di ricostruire i modi con cui hanno risposto

al questionario facendo emergere direttamente o indirettamente i possibili difetti delle domande. Condussero uno studio che portò alla combinazone di varie tipologie di techine di interviste, in 4 varianti:

  • interviste con probes specifici simultanei
  • interviste con probes specifici retrospettive
  • interviste con probes generali simultanei
  • interviste con probes generali retrospettive Un’altra classificazione, proposta da Bichi, distingue i probes in consegne e rilanci, a seconda dell’obiettivo che con essi si vuole raggiungere: le prime hanno lo scopo di sollecitare l’intervistato a continuare il suo discorso e ad approfondire l’argomento appena narrato, i secondi portano l’intervistato a sviluppare gli aspetti intenzionali e valutativi del suo discorso per far si che emergano motivazioni e giudizi non legati a concatenazioni causali prodotte ad hoc; tra i rilanci possono essere compresi anche tutti quei comportamenti non verbali dell’intervistatore (sorrisi, cenni di interesse, gesti di riscontro o conferma). Willis ha individuato altri due criteri, distinguendo le domande di approfondimento in proattive e reattive: I probes proattivi sono domande che un intervistatore può porre indipendentemente dal fatto che l’intervistato manifesti un problema nel rispondere e potrebbero alterare il processo mentale suggerendo problemi che magari non avrebbe riscontrato, i probes reattivi sono innescate da qualcosa che l’intervistato stesso ha detto o ha fatto che segnata un problema (questo metodo distingue le domande di approfondimento in standardizzate e non a seconda che siano previste nella traccia cognitiva o poste in modo estemporaneo dall’intervistatore durante l’intervista). Articolando questi due criteri Willis individua quattro tipi di probes: anticipati (domande di approfondimento previsti e progettati in fase di stesura della traccia), spontanei (domande di approfondimento poste spontaneamente dagli intervistarori che decidono di indagare su alcuni problem da loro stessi ipotizzati) condizionali (posti solo in presenza di particolari comportamenti degli intervistati) ed emergenti (nascono quando si nota che l’intervistato ha un problema con una domanda). Willis inoltre pensa che i probes debbano essere standardizzati, proprio come le domande di un sondaggio ciò consente di limitare le variazioni nel comportamento degli intervistatori e di mantenere il massimo controllo da parte del ricercatore, perché sono in grado di stimolare risposte focalizzate sui problemi da indagare. Il punto di vista opposto è che il probing debba essere libero, flessibile e non standardizzato per concedere agli intervistatori ampia libertà di adattare nella conduzione delle intervista, senza essere vincolati. Per vari motivi preferisco un approccio misto. In un’intervista cognitiva è dunque opportune ricorrere a probes standardizzati e non, sia reattivi che proattivi. Prima di condurre una sessione di interviste cognitive in ogni caso è importante analizzare il questionario per valutare quali distorsioni potrebbero condizionare il funzionamento di ciascuna domanda. Il questionario può essere analizzato direttamente da chi progetta il pretesta cognitivo oppure sottoposto al giudizio di un gruppo di esperti.

3.4. Progettare e condurre un’intervista cognitiva

Progettare un pretest implica diverse decisioni: come scegliere l’intervistati, quante interviste fare, come scegliere e istruire gli intervistatori, con quale modalità condurre le interviste e come analizzare il materiale raccolto.

dell’esperienza degli intervistatori e del grado di libertà concesso nella conduzione delle interv. Gli intervistati dovrebbero sottoporsi ad una formazione mirata a potenziare le capacità di ascolto e la sensibilità metodologica.

3.4.3. La situazione di intervista

Quando si progetta un pretest, si affronta la questione della scelta del “dove” condurre le interviste e con quale modalità di somministrazione. Per consentire agli intervistati di ricostruire facilmente i processi cognitivi è opportuno condurre le interv. in un luogo tranquillo ed il piu possibile al riparo da fonti di distrazione: può essere una stanza privata, magari a casa dell’intervistato, sul posto di lavoro o in un contest familiare. Se da una parte si deve favorire la capacità di concentrazione dell’intervistato, un contesto controllato può avere anche delle controindicazioni: è possibile che gli intervistati prestino maggiore attenzione nel dare le risposte quando sono in un ambiente formale, oppure se sono consapevoli di essere video registrato o osservati attraverso un falso specchio, non facendo quindi emergere alcuni problemi che potrebbero invece condizionare la qualità delle info raccolte in una normale situazione di intervista. In merito alle modalità di conduzione, questa deve corrispondere a quella con cui sarà somministrato il questionario sul campo, il modo in cui le domande sono presentate infatti influenza la loro interpretazione da parte degli intervistati. Nonostante ciò, il pretest cognitivo sembra essere prevalentemente condotto mediate interviste faccia a faccia. Willis ritiene che la modalità faccia a faccia possa essere utile nelle prime fasi del pretest cognitivo, quando il ricercatore si propone di indagare problemi generali che non dipendono dalla modalità di somministrazione. In seguito, le interv. dovrebbero essere condotte come previsto per la rivelazione sul campo, così da cogliere i problem posti nella modalità di somministrazione. Quando le interviste cognitive sono condotte con la stessa modalità prevista per la rilevazione sul campo si deve comunque decidere se raccogliere i resoconti dei processi cognitivi solo dopo che gli intervistati hanno completato il questionario oppure durante l’intervista. Nel primo caso il questionario sarà somministrato proprio come avverrà sul campo; il rischio è però che gli intervistati, al termine della somministrazione del questionario, abbiano difficoltà a ricordare il percorso mentale seguito per rispondere alle domande. Nel secondo caso gli intervistati sono messi nelle condizioni migliori per verbalizzare ciò a cui pensano nel rispondere. Bisogna controllare i questionari auto-compilati con un approccio che comprenda una fase di osservazione dell’intervistato durante la compilazione.

3.4.4. L’analisi dei resoconti verbali

In fase di progettazione si deve anche stabilire come riportare le info raccolte: registrando e trascrivendo testualmente al termine dell’intervista i resoconti verbali e le risposte ai probes degli intervistati, oppure chiedendo agli intervistatori di prendere nota durante l’intervista di quello che gli intervistati dicono di rilevante per gli scopi del pretest, ma in realtà, si soffre l’assenza di criteri condivisi da parte dei ricercatori. Per cui Willis propone una tassonomia delle procedure di analisi basata su 2 criteri: la presenza o meno di uno schema di decodifica delle interviste e il tipo di procedura con cui tale schema viene costruito. Chi critica la mancanza di questi criteri standard preferisce ricorrere a uno schema di codifica costruito prima di condurre le interviste, basato su qualche modello del processo di risposta alle domande, il piu usato è il modello a 4 fasi di Tourangeau. Un codificatore viene istruito ad assegnare un codice specifico ogni volta che un intervistato manifesta difficoltà a - comprendere la domanda, - rievocare le informazioni richieste, - elaborare un giudizio o scegliere un’alternativa di risposta. Willis la chiama codifica cognitiva; Presser e Blair: adottano uno schema di codifica in cui le ultime 3 fasi del modello (rievocazione, giudizio e risposta) sono accorpati in una classe in cui sono incluse altre 2 classi: problema dell’intervistatore a leggere la domanda o registrare la risposta, problem di analisi della info. raccolte; Conrad e Blair costruiscono uno schema di codifica articolando 2 criteri: la fase del processo di risposta in cui

si può presentare il problema e il tipo di problema. Bolton, ha condotto un’analisi cercando nei resoconti verbali parole, espressioni, frasi ecc. che potrebbero segnalare un problema (pause, richieste di ripetere la domanda, espressioni come “non ricordo”, frasi interrotte, o parole come forse, probabilmente indicherebbero difficoltà dell’elaborare un giudizio ed epressioni come non so, non posso dirlo difficoltà a scegliere la rispsota. Willis e Lessler segnalano l’utilità del ricorso alla valutazione degli esperti: sia nella codifica cognitiva, sia in quella degli aspetti delle domande i codici sono costruiti a priori; in alternativa è possibile adottare una strategia di codifica ex-post dei resoconti e delle risposte ai probes. Procedendo in tal modo, si può descrivere come gli intervistati interpretano le domande (codifica dei temi) oppure individuare eventuali schemi di risposta che caratterizzano tipi di intervistati diversi (codifica degli schemi). Solo la strategia di codifica ex-post consente di cogliere la ricchezza semantica dei resoconti verbali.

3.5 Potenzialità e limiti dell’intervista cognitiva

L’intervista cognitiva è una tecnica utile per scandagliare il processo di risposta degli intervistati, individuare le difficoltà che incontrano nell’elaborazione cognitiva della domande e ottenere indicazioni per migliorarle. Con questa tecnica si possono soddisfare obiettivi diversi del pretest di un questionario. Innanzitutto, si può controllare come è stato concettualizzato il problema oggetto della ricerca per capire se sono stati considerati tutti gli aspetti rilevanti per il mondo vitale degli intervistati. Permette anche di raccogliere info con cui sostenere o contraddire il giudizio sulla validità semantica degli indicatori formulato dal ricercatore, e con i resoconti, controllare l’affidabilità delle definizioni operative e le cause di infedeltà dovute al testo delle domande o al modo in cui vengono elaborate dagli intervistati. Tra le tecniche di pretest, l’intervista cognitiva non è l’unica che persegue tali obiettivi (si pensi a tecniche come il debriefing che prevedono l’ascolto diretto degli intervistati o l’intervista sull’intervista) essa però si distingue dalle altre per gli assunti di fondo che portano a credere di poter controllare le cause di infedeltà nelle risposte indagando i processi cognitivi con cui gli intervistati elaborano le domande. Chi fa un pretest cognitivo presume che gli intervistati riescano ad articolare i processi cognitivi e soprattutto possano farlo fedelmente, fornendo in questo modo resoconti adeguati a valutare la fedeltà delle loro risposte. La teoria cognitiva da sola non basta, bisogna rivolgersi anche ad altre tradizioni di pensiero. Willis sostiene che l’intervista cognitiva deve essere considerata come una forma di ricerca non standard e che il suo uso può essere compreso e migliorato, volgendo uno sguardo all’antropologia, alla linguistica e in generale alle tradizioni di ricerca che più si sono avvalse degli approcci non standard: una certa sensibilità competenza a tal proposito consente al ricercatore di prefigurare i problemi che certi termini o espressioni, anche di uso comune, implicano nella formulazione delle domande e quindi di impostare in modo piu avvertito il pretest tramite interviste cognitive. Queste hanno più a che fare con le interviste in profondità che con l’intervista strutturata; interviste cognitive ed interviste in profondità poggiano più sulle capacità non formalizzabili dell’intervistatore che sul ricorso a questa o quella strategia di conduzione. L’intervista cognitiva permette di raggiungere i risultati soprattutto quando l’intervistatore la gestisce con ampi margini di flessibilità, sfruttando segnali che arrivano dall’intervistato, dalla sua conoscenza delle dinamiche dell’intervista e dei possibili problemi del questionario che sta valutando, adattandosi alle persone che ha di fronte per far emergere gli aspetti rilevanti dei ragionamenti degli intervistati.