PRETEST: UN APPROCCIO COGNITIVO.

CAPITOLO 1: Il pretest nei sondaggi.

All'inizio del 900 il radicamento nella cultura americana della filosofia individualista e la diffuzione

di una concezione aggregativa dell'opinione pubblica ha indotto a legittimare il sondaggio come una

strategia principe per rilevare l'opinione pubblica e come strumento di democrazia partecipativa.

Sono pochi i ricercatori che sottopongono a pretest i loro strumenti a causa dei vincoli economici e

temporali.

Raymond Sletto criticava la mancanza di studi in cui il sondaggio fosse assunto come oggetto di

indagine anziché come strumento.

Molti denunciarono la necessità di adottare dei pretest nel corso degli anni.

1.1: Il dibattito sul pretest.

Per molto tempo è stato condotto con un solo modo: gli intervistatori venivano invitati ad annotare

tutte le differenze incontrate durante l'intervistai organizzava una discussione di gruppo per

raccogliere le impressioni generali sul questionario e i relativi problemi.

Alcuni ricercatori ritenevano opportuno chiamare solo gli intervistatori esperti, altri proponevano

ion professionisti. Anche riguardo gli intervistati c'erano dibattiti: chi sosteneva che il campione del

pretest dovesse essere rappresentativo della popolazione, chi invece sosteneva che avesse la

massima eterogeneità.

Le critiche rivolte al pretest tradizionale riguarda la sua forte dipendenza dal giudizio degli

intervistatori e dal comportamento degli intervistati. Critiche che hanno portato ad una nuova

visione con: apertura ai concetti e agli strumenti di lavoro della psicologia cognitiva e sviluppo

della tecnologia informatica.

1.2: Obiettivi della fase di pretest.

Il pretest serve a controllare il funzionamento dello strumento di rilevazione per togliere i difetti

dalla qualità dei dati.

Qualità dei dati è la capacità di un'informazione di rispecchiare lo stato di un oggetto sulla relativa

proprietà.

Il pretest deve tenere conto degli obiettivi ricercati sul campo e deve tener conto di come

intervistatore e intervistato interagiscono tra di loro, delle negoziazioni di significato e tutti i casi.

Obiettivi:

–controllo e affinamento della concettualizzazione del problema di ricerca. Può servire per

indagare la mappa dei concetti e può sovrapporsi allo studio pilota nelle fasi preliminari.

–Controllo della validità degli indicatori.

–Controllo dell'affidabilità delle definizioni operative. Controlla se i procedimenti con cui una

proprietà viene trasformata in una variabile producono dati fedeli. Questa può essere

considerata una funzione principale del pretest. Questo controllo può essere scomposto in tre

sottosezioni:

- controllo delle distorsioni introdotte dagli intervistatori, controllare la capacità degli

intervistatori.

- controllo delle distorsioni dovute agli intervistati, capacità di comprensione del testo.

- controllo delle distorsioni introdotte dalla formulazione delle domande e dalla struttura del

questionario.

–Controllo della codifica delle risposte.

Oltre a individuare cause di infedeltà dei dati, il pretest valuta determinati aspetti della ricerca e

come possono influenzare il tasso di partecipazione.

Anteprima parziale del testo

Scarica Pretest, approccio cognitivo e più Sintesi del corso in PDF di Comunicazione Dell'industria Culturale solo su Docsity!

PRETEST: UN APPROCCIO COGNITIVO.

CAPITOLO 1: Il pretest nei sondaggi. All'inizio del 900 il radicamento nella cultura americana della filosofia individualista e la diffuzione di una concezione aggregativa dell'opinione pubblica ha indotto a legittimare il sondaggio come una strategia principe per rilevare l'opinione pubblica e come strumento di democrazia partecipativa. Sono pochi i ricercatori che sottopongono a pretest i loro strumenti a causa dei vincoli economici e temporali. Raymond Sletto criticava la mancanza di studi in cui il sondaggio fosse assunto come oggetto di indagine anziché come strumento. Molti denunciarono la necessità di adottare dei pretest nel corso degli anni. 1.1: Il dibattito sul pretest. Per molto tempo è stato condotto con un solo modo: gli intervistatori venivano invitati ad annotare tutte le differenze incontrate durante l'intervistai organizzava una discussione di gruppo per raccogliere le impressioni generali sul questionario e i relativi problemi. Alcuni ricercatori ritenevano opportuno chiamare solo gli intervistatori esperti, altri proponevano ion professionisti. Anche riguardo gli intervistati c'erano dibattiti: chi sosteneva che il campione del pretest dovesse essere rappresentativo della popolazione, chi invece sosteneva che avesse la massima eterogeneità. Le critiche rivolte al pretest tradizionale riguarda la sua forte dipendenza dal giudizio degli intervistatori e dal comportamento degli intervistati. Critiche che hanno portato ad una nuova visione con: apertura ai concetti e agli strumenti di lavoro della psicologia cognitiva e sviluppo della tecnologia informatica. 1.2: Obiettivi della fase di pretest. Il pretest serve a controllare il funzionamento dello strumento di rilevazione per togliere i difetti dalla qualità dei dati. Qualità dei dati è la capacità di un'informazione di rispecchiare lo stato di un oggetto sulla relativa proprietà. Il pretest deve tenere conto degli obiettivi ricercati sul campo e deve tener conto di come intervistatore e intervistato interagiscono tra di loro, delle negoziazioni di significato e tutti i casi. Obiettivi:

controllo e affinamento della concettualizzazione del problema di ricerca. Può servire per indagare la mappa dei concetti e può sovrapporsi allo studio pilota nelle fasi preliminari.
Controllo della validità degli indicatori.
Controllo dell'affidabilità delle definizioni operative. Controlla se i procedimenti con cui una proprietà viene trasformata in una variabile producono dati fedeli. Questa può essere considerata una funzione principale del pretest. Questo controllo può essere scomposto in tre sottosezioni:
- controllo delle distorsioni introdotte dagli intervistatori, controllare la capacità degli intervistatori.
- controllo delle distorsioni dovute agli intervistati, capacità di comprensione del testo.
- controllo delle distorsioni introdotte dalla formulazione delle domande e dalla struttura del questionario.
Controllo della codifica delle risposte. Oltre a individuare cause di infedeltà dei dati, il pretest valuta determinati aspetti della ricerca e come possono influenzare il tasso di partecipazione.

1.3: Una tipologia di tecniche del pretest. Le tecniche del pretest vengono classificate con criteri diversi.

Controllo sul campo. Uno di questi distingue tra tecniche che controllano gli strumenti testandoli in situazioni simili.
Controllo fuori dal campo.
Consapevolezza che i soggetti coinvolti hanno di partecipare alla fase di controllo di uno strumento. Tecniche partecipate e non partecipate.
Ascolto dal punto di vista degli intervistatori e degli intervistati sul funzionamento dello strumento. Costruzione della tabella a quattro celle sulle tecniche del pretest. La quarta è vuota. La prima cella, del non ascolto di entrambe le parti, è quella più numerosa, perchè si ha diffidenza nella loro soggettività. In nessuna delle tabelle c'è il focus group perchè esso è più adatto allo studio pilota. 1.3.1: Tecniche non basate sull'ascolto degli intervistatori e intervistati.
Codifica del comportamento verbale di entrambi. Gli schemi per farlo sono diversi, il più noto è quello di Cannell. Ogni deviazione nello schema domanda-risposta prevista dal ricercatore deve essere interpretata come un segnale di potenziale difetto del questionario. Ci sono dei limiti perchè con questa tecnica non si possono capire le cause.
Debriefing: Fornisce motivi dei problemi.
Valutazione degli esperti: Facile da applicare, si chiede a 3 o 4 studiosi estranei al gruppo di valutare i potenziali errori nel questionario. Il parere degli esperti può essere chiesto individualmente o con un incontro di gruppo. Possono rispondere a uno schema di domande che riguardano la codifica dei problemi: domanda difficile, introduzione e istruzioni imprecise, intento della domanda poco chiaro, assunti impliciti, informazioni richieste non note agli intervistati, nessuna opinione sul tema, argomento delicato, forma della domanda inappropriata. Questo modo di valutare si mostra essere efficace.
Analisi del questionario con software ed esame di movimento oculare. Lo strumento QUAID che analizza le domande per individuare gli aspetti che potrebbero compromettere la comprensione. Ma la presenza del ricercatore rimane fondamentale perchè deve valutare i risultati dell'analisi del software. L'altro strumento è l'eye tracking che esamina i movimenti oculari degli intervistati soprattutto quando non c'è la presenza dell'intervistatore. Lo strumento può essere considerato invasivo. 1.3.2: Tecniche basate sull'ascolto.
Debriefing degli intervistati, intervista sull'intervista. Domande di approfondimento delle risposte ottenute. Gli intervistati contribuiscono attivamente al miglioramento del questionario. L'intervista dell'intervista ha molto in comune con il debriefing ma essa è stata poco usata, più che altro solo da chi l'ha proposta, Lodz.
Intervista cognitiva. Fa riferimento ai resoconti dei processi del pensiero degli intervistati per indagare le cause di infedeltà nelle risposte, questa è spesso condotta in laboratorio. È un incontro tra intervistatore e intervistato in cui il primo è istruito ad accompagnare la lettura delle domande con la richiesta agli intervistati di approfondire le loro risposte o verbalizzare i loro pensieri. Alcune strategie di questa rigurdano: -vignette: brevi storie con cui l'intervistato è chiamato a reagire.
parafrasi: si chiede all'intervistato di ripetere la domanda con parole sue.
giudizi di sicurezza: l'intervistato è invitato a indicare su una scala quanto è sicura la sua risposta. -classificazione: capire come gli intervistati organizzano le conoscenze. 1.3.3: Tecniche basate sull'ascolto degli intervistatori. Debriefing degli intervistatori. Discussione tra ricercatori e intervistatori, dalla metà degli anni 80 si è trlasciata questa pratica per standardizzare le procedure di pretest. Gli studiosi hanno suggerito di integrare la discussione di gruppo con la compilazioneda parte degli intervistatori di schede di valutazione. Le schede di valutazione possono essere strutturate per ottenere tre tipi di informazioni:

Nel fare le domande gli intervistatori devono pesare l'importanza dell'evento, si ritiene che gli eventi rari e significativi sono ricordati con maggiore precisione. Passando alle caratteristiche delle domande che possono agevolare il ricordo ci sono due fattori: l'adeguatezza degli indizi di rievocazione e il tempo concesso per rispondere. In entrambi casi abbiamo pro e contro. 2.5: Elaborazione dei giudizi. Rievocare le informazioni non sempre fa dare una risposta giusta. Spesso si deve far ricorso alla fase di giudizio e processi di giudizio. 2.5.1: Giudizi in risposta a domande su frequenze comportamentali. Blair e Burton ipotizzavano l'esistenza di un unico processo di elaborazione di frequenze per queste domande: enumerazione dei singoli episodi. Altri affermavano che gli intervistati si limitassero a rievocare e contare le occorrenze ed i problemi di risposte inesatte fossero dovute all'incapacità di rievocazione di alcuni episodi. Tourangeau, Rips e Rasinski hanno individuato 4 strategie per elaborare le frequenze:

stima basata su informazioni generiche
ricordo di frequenze esatte
valutazione su impressioni generali Individuano due varianti alla prima strategia e una alla seconda. Oltre al semplice ricordo e conteggio delle occorrenze gli intervistati possono adottare due strategie: scomporre la classe di eventi in sotto-classi, rievocare e contare gli episodi di ciascuna di esse o usare i singoli eventi rievocati per calcolare il tasso di occorrenza. La stima basata su informazioni generiche può coesistere nella rievocazione non solo del tasso tipico di occorrenza ma ance del tasso ritenuto giusto. Considerata l'esistenze dai processi cognitivi alternativi ci si chiede quali sono i fattori che determinano il ricordo e conteggio dei singoli episodi: sforzo cognitivo, motivazione a impegnarsi, accessibilità in memoria, disponibilità di processi diversi nell'enumerazione. Blair e Burton considerano anche il numero di eventi, la distanza temporale, il tempo concesso per rispondere. (STUDIO DEI DUE RICERCATORI) 2.5.2: Datazione degli eventi. Le domande sulla frequenza di alcuni eventi richiede al soggetto lo sforzo di collocare gli episodi in un intervallo preciso. La datazione degli eventi è un processo difficile, c'è i rischio di telescoping, la tendenza a collocare gli eventi prima o dopo quello di effettiva occorrenza. Teoria della compressione temporale e della varianza per cercare di spiegare il telescoping. Rischio di generare incertezza dovuto alla fatica di ricordare eventi più lontani nel tempo. 2.5.3: I giudizi di risposta a domande su atteggiamenti. Tratto fondamentale del concetto di atteggiamento è la sua stabilità. La variabilità degli atteggiamenti dipendono dall'assenza di giudizi radicati. L'assenza in memoria di giudizi già formati indurrebbe ad un processo di fabbricazione degli atteggiamenti che risentirebbe del contesto di rilevazione. Per la logica costruttivista, gli atteggiamenti sono costruzioni temporanee che risentono del contesto di rilevazione e del tipo di riflessione in cui le persone sono impegnate. Le persone costruiscono i loro atteggiamenti attingendo a un ampio deposito che include comportamenti, stati d'animo. Le persone non sono interamente consapevoli dei motivi dei loro atteggiamenti pertanto quando viene richiesto loro di esplicitarli si focalizzano su quelli più accessibili. Seppur capace di spiegare la variabilità degli atteggiamenti, l'approccio costruttivista non è in grado di dar conto della loro stabilità. È idea diffusa che alcuni atteggiamenti restino costanti nel tempo. Nella prospettiva del belief sampling model, pur riconoscendo agli atteggiamenti la natura di costruzioni temporanee, si ammette la possibilità che tra le informazioni usate nell'attività di costruzione siano presenti valutazioni precedentemente formate. Gli atteggiamenti sono strutture di memoria in cui sono depositati sentimenti, opinioni e conoscenze su un tema e la loro instabilità dipenderebbe da variazioni nei processi di rievocazione e giudizio. Secondo questo modello sono tre i parametri che determinano la correlazione tra le risposte a una stessa domanda in due diverse

occasioni: la regolarità di assegnazione delle implicazioni, la coerenza interna delle considerazioni, il grado di sovrapposizione tra le considerazioni rievocate. La stabilità degli atteggiamenti sarebbe dunque garantita, oltre che dalla rievocazione di giudizi già formati, anche dalla possibilità di costruire i giudizi ricorrendo a informazioni accessibili. Se però gli atteggiamenti sono instabili questo dipende anche dal contesto. Questa sensibilità sarebbe limitate se le persone avessero una serie di posizioni che ritengono accettabili. 2.6: La scelta di un'alternativa di risposta. Il compito dell'intervistato è tradurre il giudizio in una risposta codificabile. Teoria della range-frequency: per comprendere i processi di risposta dei soggetti a batterie di domande. Secondo Parducci la scelta della posizione di una serie di oggetti cognitivi su una scala sarebbe il prodotto di un compromesso tra due principi: il range principle e il frequency. Il primo è la tendenza a individuare gli oggetti cognitivi della serie da collocare agli estremi della scala e a distribuire proporzionalmente tra essi gli oggetti restanti. Il secondo è la tendenza ad assegnare lo stesso numero di oggetti cognitivi a ciascuna delle posizioni disponibili. Modello dell'elaborazione cognitiva: se le risposte sono riportate su un cartellino, a ricevere maggiore elaborazione cognitiva sono le prime alternative dall'elenco; se la domanda è letta dall'intervistatore, le alternative ricevono maggiore attenzione se sono collocate alla fine dell'elenco. Quando l'intervistato ha la possibilità di leggere l'elenco la scelta ha maggiore probabilità di cadere tra le prime risposte. Questa teoria consentirebbe di prevedere l'insorgere e la direzione degli effetti dell'ordine delle risposte. CAPITOLO 3: L'intervista cognitiva. 3.1: Aspetti generali. Si tratta di un'intervista parzialmente standardizzata o no finalizzata a ricostruire i processi cognitivi che gli intervistati mettono in atto per rispondere alle domande dei questionari e individuare le difficoltà che incontrano. Si somministra il questionario e si raccolgono informazioni verbali utili a valutare la qualità delle risposte e determinare se le domande generano informazioni coerenti con le intenzioni del ricercatore. Si possono adottare due strategie:

think-aloud. Sollecitare gli intervistati a verbalizzare spontaneamente i pensieri
verbal probing. Si pongono domande per approfondire risposte ottenute. Nel dibattito recente le due strategie sono ritenute complementari, adottandole per la stessa domanda alternandole per il controllo. 3.2: Think-aloud. Minimo ruolo dell'intervistatore che sollecita e basta. Risale alla fine dell'800 quando Wundt propose la tecnica dell'introspezione. Kuple propose poi la tecnica dell'introspezione sperimentale sistematica. Buhler avviò un programma di ricerca e poco dopo Lazarsfeld elaborò lo studio empirico dell'azione. Buhler fa 3 direttrici: scopi dell'azione, intenzioni dell'attore, influenze esterne sul corso dell'azione. Verbalizzazione dei pensieri ha ruolo nella psicoanalisi, Freud e Piaget che parla di colloquio ciclico. Il comportamentismo ha osteggiato la visione della psicologia. Se i comportamenti sono la vera natura della psiche, le rappresentazioni che i soggetti possono dare delle loro idee e dei loro ragionamenti sono fuori dal campo della psicologia. La strategia della verbalizzazione dei processi cognitivi è stata riportata in alto dalla rivoluzione cognitivista degli anni 70. Ericsson e Simon hanno dato alla strategia un inquadramento teorico richiamando la teoria dell'information processing secondo cui tendiamo a risolvere un problema eseguendo una serie di processi mentali che depositiamo nella memoria a breve termine. Processi che possono essere

Si suggerisce di scegliere gli intervistati con un campionamento per quote in modo da avere una diversificazione. Un altro aspetto da considerare è la capacità delle persone di rispondere alle domande dando informazioni utili. Il numero di interviste da fare dipende dalle risorse e tempo, criteri per il campionamento, presenza di percorsi, domande filtro. Nelle prime fasi del pretest potrebbero essere sufficienti 2-4 interviste cognitive. Secondo Willis è opportuno condurre più sessioni di interviste cognitive con max di 12- 15 persone e con obiettivi diversi. Un criterio per stabilire quante interviste fare è quello della saturazione: il ricercatore può chiudere il ciclo delle interviste quando raggiunge la convinzione che altre interviste non darebbero informazioni significative. Più che il numero di intervistati conta l'eterogeneità. Per il reclutamento si può ricorrere ad approcci diretti, passaparola, annunci. È importante chiarire il committente della ricerca, le aspettative, la durata. 3.4.2: Scelta degli intervistatori. -esperienza.

conoscenza delle possibili distorsioni
conoscenza obiettivi del questionario
conoscenza tema di indagine. Tempi e costi di formazione variano in funzione dell'esperienza dell'intervistatore e il grado di libertà concesso nell'intervista. Formazione che mira a migliorare le capacità di ascolto e sensibilità metodologica. 3.4.3: Situazione di intervista. Scelta del dove e come condurla. Luogo tranquillo senza distrazioni, magari in un contesto familiare al soggetto. La modalità dovrebbe rispecchiare quella vera del questionario, ma a parte questo, il pretest sembra essere condotto prevalentemente face to face. Si deve decidere se raccogliere i resoconti dei processi cognitivi solo dopo che l'intervistati hanno completato il questionario o durante l'intervista. 3.4.4: Analisi dei resoconti verbali. Si deve decidere come riportare le informazioni raccolte: registrando e trascrivendo testualmente al termine dell'intervista i resoconti verbali e le risposte ai probes degli intervistati o chiedendo agli intervistatori di prendere nota, durante l'intervista, di quello che gli intervistati dicono di rilevante per gli scopi del pretest. Mancano dei criteri comuni ma Willis ne individua due: la presenza o meno di uno schema di codifica e il tipo di procedura con cui lo schema viene costruito. Ci sono degli schemi standard da poter utilizzare.
modello a quattro fasi di Tourangeau: un codificatore viene istuito ad assegnare un codice specifico ognivolta che un intervistato manifesta difficoltà a comprendere una domanda, rievocare informazioni, elaborare un giudizio.
Schemi automizzati rispetto a ciò che dice l'intervistato, silenzi, pause, uso di parole. I codici vengono costruiti a priori oppure si possono usare delle strategie di codifica ex-post (codifica di schemi o di temi) 3.5: Potenzialità e limiti dell'intervista cognitiva. Oltre tutti gli obiettivi di cui siamo già a conoscenza, l'intervista cognitiva permette di raccogliere informazioni con cui sostenere o contraddire il giudizio sulla validità semantica degli indicatori formulato dal ricercatore. Con i resoconti verbali dei processi cognitivi degli intervistati è possibile controllare l'affidabilità delle definizioni operative e le cause di infedeltà dovute al testo delle domande o al modo in cui vengono elaborate. Il pregio maggiore è spingere gli intervistati a descrivere i loro processi di risposta permettendo di

valutare la coerenza rispetto le aspettative del ricercatore ed esplorare le cause di infedeltà nelle risposte. Chi fa un pretest cognitivo ritiene che gli intervistati riescano ad articolare i processi cognitivi e possano farlo fedelmente. L'intervista cognitiva ha a che fare con le interviste in profondità. L'efficacia dell'intervista cognitiva poggia sulle capacità non formalizzabili dell'intervistatore rispetto al ricorso a delle strategie di conduzione. Si raggiungono i risultati quando l'intervistatore rimane per lo più flessibile.

Pretest, approccio cognitivo, Sintesi del corso di Comunicazione Dell'industria Culturale

Documenti correlati

Anteprima parziale del testo

Scarica Pretest, approccio cognitivo e più Sintesi del corso in PDF di Comunicazione Dell'industria Culturale solo su Docsity!

PRETEST: UN APPROCCIO COGNITIVO.